Large Language Models (LLMs) can provide an intuitive interface for querying insights from Internet of Things (IoT) systems, yet reliable natural-language analytics over heterogeneous sensor streams remains difficult. In practice, plain LLMs lack access to private measurements and tend to produce plausible yet non-verifiable narratives. A key obstacle is that conventional Retrieval-Augmented Generation (RAG) is largely time-agnostic: semantic similarity can dominate retrieval, causing evidence from incorrect days or hours to be used in generation, and leading to longitudinal hallucinations and poor verification. This thesis proposes a Time-Aware RAG (TA-RAG) architecture that treats time as a first-class constraint across indexing, retrieval, and generation. First, raw multivariate IoT logs are transformed into hourly, human-readable documents with explicit {date, hour} metadata, enabling hour-level evidence units. Second, a calendar-partitioned indexing strategy (temporal sharding) builds one FAISS vector index per day, enforcing hard temporal boundaries at storage level. Third, a hybrid temporal parser combines rule-based extraction with an LLM fallback to normalize explicit and implicit temporal expressions into executable time windows. Fourth, a time-aware retrieval planner queries only the relevant daily shards and aggregates results into a chronological, hour-by-hour evidence timeline, explicitly marking missing intervals. Finally, a constrained prompt contract requires timestamped citations (e.g., [YYYY-MM-DD HH:00]) to improve faithfulness and auditability. We validate the system on real environmental datasets collected at the IoTLab of Politecnico di Milano during the thesis progress, benchmarking against some standard RAG baselines under diverse query families and evaluation metrics spanning temporal parsing, retrieval quality, answer faithfulness, and citation reliability. Experiments show that TA-RAG improves temporal correctness, answer faithfulness, and citation reliability compared with some standard RAG baselines, while remaining practical for scalable personalized IoT assistants.

I Large Language Models (LLM) possono offrire un’interfaccia intuitiva per interrogare e ricavare informazione dai sistemi dell'ecosistema Internet of Things (IoT); tuttavia, un’analisi affidabile in linguaggio naturale su flussi eterogenei di sensori rimane complessa. In pratica, gli LLM “puri” non hanno accesso a misurazioni private e tendono a generare narrazioni plausibili ma non verificabili. Inoltre, i framework convenzionali di Retrieval-Augmented Generation (RAG) sono spesso agnostici rispetto al tempo: la similarità semantica può dominare il recupero, portando a usare in generazione evidenze di giorni o ore errati e causando allucinazioni e scarsa verificabilità. Questa tesi propone un’architettura Time-Aware RAG (TA-RAG) che tratta il tempo come vincolo di primo livello lungo indicizzazione dati, recupero informazioni e generazione di sintesi. Partendo da una trasformazione dei file di log IoT multivariati in documenti orari leggibili, con metadati {data, ora}, si effettua un'indicizzazione partizionata per calendario (temporal sharding) per costruire un indice vettoriale FAISS indicizzato al giorno. Successivamente, un parser temporale ibrido (regole con fallback LLM) normalizza espressioni esplicite e implicite in finestre eseguibili, e un retrieval planner interroga solo i frammenti rilevanti e aggrega i risultati in una sequenza temporale cronologica, marcando gli intervalli mancanti. Infine, un contratto di prompt vincolato richiede citazioni con timestamp (ad es., [AAAA-MM-GG HH:00]) per migliorare l'attendibiilità delle risposte. L'architettura TA-RAG proposta è validata su dati ambientali reali raccolti presso l’IoTLab del Politecnico di Milano nel corso dello svolgimento della tesi, e confrontata con baseline RAG standard su metriche che includono l'interpretazione temporale, la qualità dell'estrazione dei dati, la fedeltà e affidabilità della risposta. I risultati mostrano miglioramenti in correttezza temporale, fedeltà e affidabilità delle risposte, suggerendo l'adozione in contesti IoT personalizzati e scalabili.

A time-aware retrieval augmented generation LLM architecture for personalized IoT data analytics

Dan, Qixun
2025/2026

Abstract

Large Language Models (LLMs) can provide an intuitive interface for querying insights from Internet of Things (IoT) systems, yet reliable natural-language analytics over heterogeneous sensor streams remains difficult. In practice, plain LLMs lack access to private measurements and tend to produce plausible yet non-verifiable narratives. A key obstacle is that conventional Retrieval-Augmented Generation (RAG) is largely time-agnostic: semantic similarity can dominate retrieval, causing evidence from incorrect days or hours to be used in generation, and leading to longitudinal hallucinations and poor verification. This thesis proposes a Time-Aware RAG (TA-RAG) architecture that treats time as a first-class constraint across indexing, retrieval, and generation. First, raw multivariate IoT logs are transformed into hourly, human-readable documents with explicit {date, hour} metadata, enabling hour-level evidence units. Second, a calendar-partitioned indexing strategy (temporal sharding) builds one FAISS vector index per day, enforcing hard temporal boundaries at storage level. Third, a hybrid temporal parser combines rule-based extraction with an LLM fallback to normalize explicit and implicit temporal expressions into executable time windows. Fourth, a time-aware retrieval planner queries only the relevant daily shards and aggregates results into a chronological, hour-by-hour evidence timeline, explicitly marking missing intervals. Finally, a constrained prompt contract requires timestamped citations (e.g., [YYYY-MM-DD HH:00]) to improve faithfulness and auditability. We validate the system on real environmental datasets collected at the IoTLab of Politecnico di Milano during the thesis progress, benchmarking against some standard RAG baselines under diverse query families and evaluation metrics spanning temporal parsing, retrieval quality, answer faithfulness, and citation reliability. Experiments show that TA-RAG improves temporal correctness, answer faithfulness, and citation reliability compared with some standard RAG baselines, while remaining practical for scalable personalized IoT assistants.
ING - Scuola di Ingegneria Industriale e dell'Informazione
26-mar-2026
2025/2026
I Large Language Models (LLM) possono offrire un’interfaccia intuitiva per interrogare e ricavare informazione dai sistemi dell'ecosistema Internet of Things (IoT); tuttavia, un’analisi affidabile in linguaggio naturale su flussi eterogenei di sensori rimane complessa. In pratica, gli LLM “puri” non hanno accesso a misurazioni private e tendono a generare narrazioni plausibili ma non verificabili. Inoltre, i framework convenzionali di Retrieval-Augmented Generation (RAG) sono spesso agnostici rispetto al tempo: la similarità semantica può dominare il recupero, portando a usare in generazione evidenze di giorni o ore errati e causando allucinazioni e scarsa verificabilità. Questa tesi propone un’architettura Time-Aware RAG (TA-RAG) che tratta il tempo come vincolo di primo livello lungo indicizzazione dati, recupero informazioni e generazione di sintesi. Partendo da una trasformazione dei file di log IoT multivariati in documenti orari leggibili, con metadati {data, ora}, si effettua un'indicizzazione partizionata per calendario (temporal sharding) per costruire un indice vettoriale FAISS indicizzato al giorno. Successivamente, un parser temporale ibrido (regole con fallback LLM) normalizza espressioni esplicite e implicite in finestre eseguibili, e un retrieval planner interroga solo i frammenti rilevanti e aggrega i risultati in una sequenza temporale cronologica, marcando gli intervalli mancanti. Infine, un contratto di prompt vincolato richiede citazioni con timestamp (ad es., [AAAA-MM-GG HH:00]) per migliorare l'attendibiilità delle risposte. L'architettura TA-RAG proposta è validata su dati ambientali reali raccolti presso l’IoTLab del Politecnico di Milano nel corso dello svolgimento della tesi, e confrontata con baseline RAG standard su metriche che includono l'interpretazione temporale, la qualità dell'estrazione dei dati, la fedeltà e affidabilità della risposta. I risultati mostrano miglioramenti in correttezza temporale, fedeltà e affidabilità delle risposte, suggerendo l'adozione in contesti IoT personalizzati e scalabili.
File allegati
File Dimensione Formato  
2026_03_Dan_Thesis.pdf

solo utenti autorizzati a partire dal 02/03/2027

Descrizione: Thesis
Dimensione 27.48 MB
Formato Adobe PDF
27.48 MB Adobe PDF   Visualizza/Apri
2026_03_Dan_Executive Summary.pdf

solo utenti autorizzati a partire dal 02/03/2027

Descrizione: Executive Summary
Dimensione 7.56 MB
Formato Adobe PDF
7.56 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/252225