AI's hidden footprint: what it really takes to power large language models like ChatGPT

This thesis, "AI's Hidden Footprint: What It Really Takes to Power Large Language Models Like ChatGPT," investigates the significant energy consumption and carbon emissions of Large Language Models (LLMs), particularly during the inference phase. We highlight that inference, despite individual operations being less intensive, can accumulate substantial environmental impact, potentially exceeding training costs over a model's operational lifetime, as evidenced by ChatGPT's energy consumption. The research distinguishes between training and inference demands and explores factors influencing LLM inference costs, including model characteristics, configuration (e.g., batching, context length), hardware, and deployment environment. A primary focus is the self-attention mechanism's quadratic computational complexity, a critical bottleneck for efficient inference. Our methodology analyzes conversational data to simulate realistic scenarios and quantify environmental costs using metrics like operational and embodied carbon emissions. The project also includes experimental approaches that exemplify the growth in environmental cost in multi-turn conversations. Furthermore, it details the implementation of an estimation tool that improves upon prior work, allowing users to monitor their carbon footprint within ChatGPT conversations and assess the influence of different setups on total emissions. This work aims to foster transparency on AI's environmental cost, enable informed optimization decisions, and contribute to more sustainable AI practices, advancing Green AI principles.

Questa tesi, "L'Impronta Nascosta dell'IA: Cosa Serve Realmente per Alimentare Grandi Modelli Linguistici Come ChatGPT," indaga il significativo consumo energetico e le emissioni di carbonio dei Grandi Modelli Linguistici (LLM), in particolare durante la fase di inferenza. Evidenziamo che l'inferenza, sebbene le singole operazioni siano meno intensive, può accumulare un impatto ambientale sostanziale, potenzialmente superando i costi di addestramento nell'arco della vita operativa di un modello, come dimostrato dal consumo energetico di ChatGPT. La ricerca distingue tra le richieste di addestramento e inferenza ed esplora i fattori che influenzano i costi di inferenza degli LLM, incluse le caratteristiche del modello, la configurazione (es. batching, lunghezza del contesto), l'hardware e l'ambiente di deployment. Un focus primario è la complessità computazionale quadratica del meccanismo di auto-attenzione, un collo di bottiglia critico per un'inferenza efficiente. La nostra metodologia analizza i dati conversazionali per simulare scenari realistici e quantificare i costi ambientali utilizzando metriche come le emissioni di carbonio operative ed incorporate. Il progetto include anche approcci sperimentali che esemplificano la crescita del costo ambientale nelle conversazioni multi-turno. Inoltre, dettaglia l'implementazione di uno strumento di stima che migliora il lavoro precedente, consentendo agli utenti di monitorare la propria impronta di carbonio all'interno delle conversazioni di ChatGPT e di valutare l'influenza delle diverse configurazioni sulle emissioni totali generate. Questo lavoro mira a promuovere la trasparenza sui costi ambientali dell'IA, a consentire decisioni di ottimizzazione informate e a contribuire a pratiche IA più sostenibili, promuovendo i principi della Green AI.