A unified platform for monitoring metrics and logs

Metrics, monitoring, and alerting are all building blocks that combined form the basis of a monitoring system. They help us understand trends in the usage or behavior of our applications and provide visibility into the health of our systems. If the metrics fall outside of our expected ranges, monitoring systems can send notifications to prompt an operator to take a look. This will assist in surfacing information to help identify the possible causes. The job of monitoring infrastructure and application environments has grown more complex as the underlying technologies continue to evolve. There are many data sources available for observing applications or infrastructure. In IT and cloud computing terms, observability is the ability to measure the current state of the system based on the data it generates. Three types of data considered to be the three pillars of observability are logs, metrics, and traces. These data types play an im- portant role in cloud-native observability workflows. Each of them provides a different perspective on an organization’s resources. Hence they are known as the three pillars of observability. Combining and analyzing these data sources will help us to get a complete picture of what is happening within our complex application environment. Monitoring solutions are usually built around either metrics or log-based data sources. Metrics are often used to monitor the health and performance of applications or infras- tructure as they are easily quantified. Logs are files that record events, warnings, and errors as they occur within a software environment. They include the time of occurrence, user endpoint, etc. In this paper, we propose and implement our idea of a monitoring platform that aggregates metrics and logs from various sources and visualizes them for better understanding and future analysis.

Metriche, sistemi di monitoraggio e sistemi di notifica permettono di osservare sistemi software complessi per individuare rapidamente comportamenti inattesi. Essi aiutano a comprendere le tendenze nell’utilizzo o nel comportamento di applicazioni e forniscono visibilità sullo stato dei sistemi software. Se le metriche non rientrano in intervalli previsti, i sistemi di monitoraggio possono inviare notifiche per richiedere l’intervento di un opera- tore. I sistemi di monitoraggio aiuteranno a far emergere le informazioni utili a identificare le possibili cause. Purtroppo, il compito dei sistemi di monitoraggio dell’infrastruttura e degli ambienti applicativi diventa sempre più complesso man mano che le tecnologie sottostanti continuano ad evolversi. Sono disponibili molte fonti di dati per l’osservazione di applicazioni o infrastrutture. In termini di IT e cloud computing, si definisce observability come la capacità di misurare lo stato attuale del sistema in base ai dati che genera. Tre tipi di dati considerati sono i tre pilastri per observability: log, metriche e tracce. Questi tipi di dati svolgono un ruolo importante nei flussi di lavoro di observability in ambiente Cloud. Ognuno di essi fornisce una prospettiva diversa sulle risorse di un’organizzazione. La combinazione e l’analisi di queste fonti di dati permette di ottenere un quadro completo di ciò che sta accadendo all’interno di un complesso ambiente applicativo. Le soluzioni di monitoraggio sono in genere basate su metriche o log. Le metriche vengono spesso utilizzate per monitorare l’integrità e le prestazioni delle applicazioni o dell’infrastruttura in quanto sono facilmente quantificabili. I log registrano eventi, avvisi ed errori non appena si verificano all’interno di un ambiente software. Includono informazioni quali l’ora di occorrenza e l’identificativo dell’utente. In questo documento, proponiamo e implementiamo la nostra idea di una piattaforma di monitoraggio che aggrega metriche e log da varie fonti e li visualizza per semplificare l’analisi e la comprensione.