LLAMA. A system for log management and analysis on a complex distributed environment

This thesis is about the development of a system to manage and analyze logs on a complex distributed environment. Logs are a crucial element used to check the behavior and the status of a system, but unfortunately their content and format are different in the various operating systems, software, network equipment or any other component of a system. Logs need to be collected, parsed and stored typically all in one place to be subsequently analyzed, but it's a problem to move huge quantity of data over internet. This is true both for network saturation and security or privacy issues. That's why it's safer to keep logs where they are, in a distributed fashion, also because we can split computational and storage resources in a much more efficient way. But we need a system to efficiently retrieve or analyze logs scattered over the distributed system, possibly through a central website tool. That’s why we develop a system composed by both our software and open-source public projects to have a unique tool to manage and analyze logs on a complex distributed environment, without external costs. We used the Microservices approach to design a modular lightweight system, easy to upgrade and deploy and to keep the possibility of changing only single components of the system. The result is the project LLAMA, a system to efficiently organize and archive logs on a distributed infrastructure with a central website tool to access and analyze all of them.

Questa tesi tratta lo sviluppo di un sistema per la gestione ed analisi di logs su di un complesso ambiente distribuito. I logs sono un elemento fondamentale utilizzato per controllare il comportamento e lo stato di un sistema, ma sfortunatamente il loro contenuto e formato spesso cambia nei vari sistemi operativi, software, equipaggiamento network o in ogni altro componente di un sistema. I logs devono essere collezionati, convertiti e salvati tipicamente tutti in un unico posto per poi essere analizzati, ma può essere un gran problema spostare immense quantità di dati su internet. Questo è vero sia per la saturazione della rete che per problemi di sicurezza e privacy. Per questo è molto più sicuro tenere i logs dove sono, in modo distribuito, anche perché in questo modo possiamo suddividere le risorse computazionali e di spazio in modo molto più efficiente. Ma abbiamo anche bisogno di un sistema per recuperare o analizzare i logs sparpagliati sul sistema distribuito, possibilmente attraverso un sito centrale. Per questo abbiamo sviluppato un sistema composto sia da un nostro software che progetti pubblici open-source per avere uno strumento unico per gestire e analizzare i logs su di un complesso ambiente distribuito, senza costi esterni. Abbiamo utilizzato un approccio volto ai microservizi per costruire un sistema leggero e modulare, facile da aggiornare e distribuire e anche per mantenere la possibilità di cambiare ogni singolo componente del sistema se necessario. Il risultato è il progetto LLAMA, un sistema per organizzare efficientemente e archiviare i logs su di un infrastruttura distribuita con un sito centrale per accedervi e analizzarli.