Anomaly detection in GUIs applied to websites

This thesis presents a novel approach to anomaly detection in Graphical User Interfaces (GUIs) of websites, with a focus on detecting visual anomalies that deviate from the GUI's expected appearance. Utilizing a combination of image segmentation and anomaly detection models, the study specifically targets the dynamic and complex dashboard page of ABB's Energy Manager web application. By segmenting the webpage into core components and applying anomaly detection models like PaDiM, the research demonstrates enhanced anomaly detection performance compared to traditional methods. The dataset, created through automated processes, includes screenshots of both normal and artificially induced anomalous states, facilitating the training and validation of the models. The findings highlight the potential of applying image-based anomaly detection techniques to improve the reliability and user experience of web applications by automatically identifying and addressing visual inconsistencies.

Questa tesi presenta un approccio innovativo alla rilevazione di anomalie nelle Interfacce Grafiche Utente (GUI) dei siti web, focalizzandosi sul rilevamento di anomalie visive che si discostano dall'aspetto previsto della GUI. Utilizzando una combinazione di segmentazione dell'immagine e modelli di rilevazione delle anomalie, lo studio si concentra specificamente sulla dinamica e complessa pagina dashboard dell'applicazione web Energy Manager di ABB. Segmentando la pagina web in componenti fondamentali e applicando modelli di anomaly detection come PaDiM, la ricerca dimostra prestazioni migliorate nella rilevazione delle anomalie rispetto ai metodi tradizionali. Il dataset, creato attraverso processi automatizzati, include screenshot di stati normali e anomalie artificialmente indotte, facilitando l'addestramento e la validazione dei modelli. I risultati evidenziano il potenziale dell'applicazione delle tecniche di rilevamento delle anomalie basate su immagini per migliorare l'affidabilità e l'esperienza utente delle applicazioni web, identificando e affrontando automaticamente le incongruenze visive.