Artificial Intelligence for Image Classification and Anomaly Detection in the Food Sorting Industry A Comparative Study

This thesis aims at the implementation and comparison of machine vision algorithms based on deep learning for the quality control of tomatoes. Currently the partner of this thesis, which operates in the field of automated industrial food sorting, was not able to build a properly functioning machine, since the existing defects pose some specific issues that traditional machines are not capable to overcome. Therefore, the partner is interested in the recent developments of AI based computer vision and wants to implement such a method in a new machine. In this way a system able to substitute cumbersome, human labour-based, quality control for tomatoes is created. The goal of this thesis is to identify some open-source state of the art machine learning models for these needs, adapt them to the specific case, construct a common pipeline to handle and optimize them in a standardized way and finally identify the best one for the given application. Three classification algorithms and three anomaly detection algorithms based on deep learning are applied and optimized to this purpose in a python environment. Those optimized models are then compared. Comparisons are performed with statistically relevant tools to identify the best model for the given application in a robust way. Also, some insights on strengths and weaknesses of the different models are given. These characteristics could be exploited in other applications similar to the one presented. The best model for the case in exam is so identified. This model shows high performances, with a mean accuracy of 98.61%, an AUROC of 99.94% and elaboration times for single image low enough to be integrated with the already existing sorting machines. This optimized model is then additionally tested on in-field acquired images of the same vegetable obtaining an accuracy of 98.56%, proving the robustness of the proposed solution.

Questa tesi ha come scopo l’implementazione e il confronto tra algoritmi di visione artificiale basati sul deep learning per il controllo qualità di pomodori. Attualmente il partner industriale di questa tesi, che opera nel settore delle macchine selezionatrici automatiche, non riesce a fornire i propri servizi in questo campo perché i particolari difetti presenti nei pomodori freschi pongono delle problematiche che i sistemi tradizionali da loro adottati non sono in grado di superare. Per questo motivo il partner industriale è interessato ai recenti sviluppi dell’intelligenza artificiale nei sistemi di visione automatica e vuole sviluppare una nuova macchina usando questi metodi. In questa maniera si rende possibile un dispositivo in grado di sostituire il lavoro umano in questa gravosa operazione di controllo qualità nella filiera del pomodoro fresco. L’obbiettivo di questa tesi è di identificare dei modelli di machine learning sorgente aperti per questo scopo, adattarli all’applicazione specifica, costruire un architettura comune per gestirli e ottimizzarli in maniera standardizzata e infine identificare il modello migliore per l’applicazione di interesse. Con questo fine vengono identificati, implementati e ottimizzati tre algoritmi di classificazione e tre di rilevamento di anomalie in un ambiente Python. Questi modelli ottimizzati sono poi confrontati tra loro. Le comparazioni vengono fatte con strumenti statisticamente rilevanti per individuare il modello migliore in maniera robusta. Allo stesso tempo in questo processo vengono messi in luce i punti di forza dei singoli algoritmi, caratteristiche che potrebbero essere sfruttate in altre applicazioni simili a quella qui presentata ma con priorità diverse. Viene quindi identificato il modello migliore per l’applicazione. Questo restituisce delle prestazioni elevate, con un’accuratezza media del 98.61%, AUROC di 99.94% e tempi di elaborazione sulla singola immagine abbastanza bassi da poter essere integrati con le macchine selezionatrici già esistenti. Questo modello ottimizzato viene poi ulteriormente collaudato su immagini di pomodori acquisite in loco con un normale smartphone ottenendo un’accuratezza del 98.56%, il che dimostra la robustezza della soluzione qui proposta.