SWIFTopic: on-device AI for topic modeling

Despite AI advancements in topic modeling and embedding techniques, deploying these methods entirely on smartphones remains challenging. Current desktop frameworks like BERTopic rely on computationally intensive transformer-based models, making them unsuitable for devices with limited processing power. This limits high-accuracy, on-device topic modeling and raises privacy concerns, as data must be sent to remote servers for processing. Although model compression techniques have introduced Mini Language Models by reducing transformer size and computational demands, their application in mobile topic modeling is unexplored. This thesis presents SWIFTopic, a Swift-based framework designed to bring topic modeling inference onto iOS devices. SWIFTopic is inspired by BERTopic, a Python-based framework, and adapts its core inference tasks—such as tokenization, embedding, dimensionality reduction, and Euclidean distance calculation—for on-device execution. While training tasks, including clustering, weighting, and representation tuning, are performed on a desktop, the post-training artifacts (e.g., cluster centers, generated topics, and dimensionality reduction data) are then integrated into SWIFTopic for iOS inference. Applied to a healthcare use case on detecting suicidal ideation, a BERTopic model is first trained on a desktop using a dataset of anonymized suicidal and non-suicidal texts scraped from English corpora and Reddit. The training outputs are then transferred to SWIFTopic for topic inference on iOS. Through prompt-engineered labels, the application classifies the inferred topics as either “suicidal” or “non-suicidal,” achieving a classification accuracy of 82%. Performance evaluation shows SWIFTopic maintains a low memory usage (0.9% RAM) and competitive latency (500 ms) during inference. Although 14.5 times slower than remote inference, it trades off speed for privacy, providing acceptable response times while ensuring data security through local processing. This thesis advances on-device natural language processing and mobile software engineering, introducing a new framework that enables developers to build smarter iOS apps without compromising user privacy.

Nonostante i progressi nel topic modeling e nelle tecniche di embedding, l’implementazione su smartphone rimane una sfida. Framework per desktop come BERTopic si basano su modelli transformer ad alta intensità computazionale, inadatti a dispositivi con capacità limitate. Ciò limita la possibilità di effettuare topic modeling accurato sul dispositivo e solleva preoccupazioni sulla privacy, poiché i dati devono essere inviati a server remoti. Sebbene le tecniche di compressione abbiano introdotto Mini Language Models riducendo le dimensioni dei transformer e le richieste computazionali, la loro applicazione al topic modeling su smartphone rimane inesplorata. Questa tesi presenta SWIFTopic, un framework in Swift che porta l’inferenza del topic modeling su dispositivi iOS. Ispirato a BERTopic, SWIFTopic adatta algoritmi di inferenza—come tokenizzazione, embedding, riduzione dimensionale e calcolo della distanza euclidea—per l’esecuzione sul dispositivo. Mentre gli algoritmi di training, inclusi clustering, weighting e representation tuning, vengono eseguiti su desktop, i dati di post-training (centri dei cluster, argomenti generati e dati di riduzione dimensionale) sono poi esportati sul dispositivo. Applicato a un caso sanitario per la rilevazione dell’ideazione suicida, un modello BERTopic viene trainato su desktop con un dataset di testi anonimi, suicidari e non, raccolti da corpora in inglese e Reddit. I risultati del training sono trasferiti in SWIFTopic. Etichettando gli argomenti generati tramite prompt engineering, l’app classifica i topic come “suicidari” o “non suicidari”, raggiungendo un’accuratezza dell’82%. Una analisi delle delle prestazioni mostra che SWIFTopic mantiene un basso utilizzo della memoria (0,9% della RAM) e una latenza competitiva (500 ms) durante l’inferenza. Sebbene 14,5 volte più lento dell’inferenza remota, compromette la velocità a favore della privacy, offrendo tempi di risposta accettabili. Questa tesi rappresenta un avanzamento nel Natural Language Processing e nell’ingegneria del software mobile, introducendo un framework che consente agli sviluppatori di creare app iOS più intelligenti senza compromettere la privacy dell’utente.