Implementation and benchmarking of local LLM agents: for the evaluation of functional performance and computational efficiency

The field of software engineering is currently seeing a paradigm shift driven by autonomous agents based on large language models (LLMs). While the models show significant potential for problem solving, their implementation relies heavily on massive cloud-based architectures, raising concerns about operational costs, data privacy, and energy sustainability. This thesis investigates the feasibility of deploying Language Models specifically Llama 3.1 and Qwen 2.5, in local environments to perform autonomous software engineering tasks. The study addresses the inherent limitations of smaller models, particularly their tendency towards hallucination and reasoning instability. To evaluate this, a comprehen sive benchmarking framework originally designed for large-scale models was established by integrating MLAgentBench with some adaptations and implementations for instance CodeCarbon for real-time energy monitoring and JMeter for variability analysis under severe load conditions. The core contribution of this work lies in the comparative analysis between free-form (original) prompting and a proposed Rigid Structured Prompting strategy. Experimental results demonstrate that constraining the model’s action space significantly enhances performance: the Qwen-2.5-7B model improved its task completeness rate from 19.4% (baseline) to 55.6% when using the rigid format. Furthermore, the energy analysis revealed a critical correlation between reasoning failures and carbon footprint, identifying hallucination loops as a primary source of computational waste. These findings suggest that with appropriate prompt engineering, language models offer a viable, energy-efficient alternative for local autonomous agents.

Il campo dell’ingegneria del software sta vivendo un cambiamento di paradigma guidato da agenti autonomi basati su modelli linguistici di grandi dimensioni (LLM). Sebbene tali modelli mostrino un potenziale significativo nella risoluzione di problemi, la loro implementazione dipende fortemente da imponenti architetture basate su cloud, sollevando preoccupazioni circa i costi operativi, la privacy dei dati e la sostenibilità energetica. Questa tesi studia la fattibilità dell’integrazione di modelli linguistici, nello specifico Llama 3.1 e Qwen 2.5, in ambienti locali per lo svolgimento di compiti autonomi di ingegneria del software. Lo studio affronta i limiti intrinseci dei modelli più piccoli, in particolare la loro tendenza all’allucinazione e all’instabilità del ragionamento. Per valutare ciò, è stato definito un framework di benchmarking completo, originariamente progettato per modelli giganti, integrando MLAgent Bench con adattamenti specifici, come CodeCarbon per il monitoraggio energetico in tempo reale e JMeter per l’analisi della variabilità in condizioni di carico elevato. Il contributo principale di questo lavoro risiede nell’analisi comparativa tra il prompting a forma libera (originale) e una strategia proposta di Rigid Structured Prompting. I risultati sperimentali dimostrano che limitare lo spazio d’azione del modello ne migliora significativamente le prestazioni: il modello Qwen-2.5-7B ha aumentato il suo tasso di completamento dei task dal 19,4% (base) al 55,6% utilizzando il formato rigido. Inoltre, l’analisi energetica ha rivelato una correlazione critica tra i fallimenti del ragionamento e l’impronta di carbonio, identificando i loop di allucinazione come una fonte primaria di spreco computazionale. Questi risultati suggeriscono che, con un’adeguata ingegneria dei prompt, i modelli linguistici rappresentano un’alternativa valida ed energeticamente efficiente per gli agenti autonomi locali.