Machine learning techniques for integrity control

This thesis focuses on two particular aspects of integrity control: digital integrity and physical integrity. In particular, we propose Signal Processing, Machine Learning and Deep Learning techniques for solving relevant problems in these two areas. Given the vastness of these fields, we select two applications we consider the most relevant to investigate: Multimedia Forensics for the digital integrity world, and Food Safety Hyperspectral X-ray analysis for the physical integrity world. Digital integrity covers the crucial role of verifying and assessing trustworthiness in digital media content. We spend more and more time on social networks and chats, where we are constantly flooded with images and videos. Therefore, we strongly need tools to ensure that those contents are not tampered with. The more we continue in this vein, the more we are exposed to the risk of being fooled or manipulated by multimedia content over the internet. To solve this issue, we investigate three specific areas of interest: sensor integrity, coding integrity and semantic integrity. Sensor integrity deals with the integrity of the traces left by camera sensors on digital images. We know from the literature that it is possible to exploit sensor traces to bind a picture to the device that shot it effectively. In this work, to study the robustness of sensor-based integrity methods, we focus on image “anonymization”, i.e., the possibility of making device attribution techniques fail. We first propose a method for accomplishing image anonymization, and then a method for detecting it, both based on Convolutional Neural Networks. Coding integrity is about the integrity of the traces left by coding steps in the de-facto image compression standard format JPEG. This integrity is essential, as tampering with a JPEG image followed by another JPEG compression would likely compromise the typical structure left by the first coding step. We deeply investigate this scenario, proposing a method for detecting double JPEG compression, a method for detecting multiple compressions up to four steps, and a method for detecting double compression performed with different implementations of the codec. Semantic integrity regards the integrity of the meaning of images and videos, i.e., what we semantically perceive by watching them. More and more techniques allow the fully automatic generation of very realistic synthetic images and videos with minimal effort and no artistic nor graphic knowledge required. Consequently, we constantly face dramatic problems, like impersonation or puppeteering of someone in a video for malicious intent. We propose a method for detecting images generated through Generative Adversarial Networks and a method for detecting videos generated by Deepfake neural networks. Physical integrity concerns the integrity of objects: a gigantic field spanning from controlling buildings and infrastructures’ integrity to checking integrity in microscopic manufacturing. Among all the possible applications in this broad field, we consider the application of Hyperspectral X-ray analysis in the context of Food Safety, that is, using this powerful method to find contaminants buried in food in different stages of its industrial preparation. In this sense, we cover the integrity of the acquired signal, which is likely to be compromised whether a foreign body alters its characteristics. Compared to traditional X-ray analysis, the Hyperspectral allows finer scans of the object at hand. The whole radiation energy is divided into multiple sub-bands that we can analyze separately. This makes it possible to detect low-density contaminants (e.g., plastic polymers) undetectable by single-energy or dual-energy X-ray analysis. Unfortunately, this kind of X-ray acquisition suffers from noise due to the probabilistic nature of photons that cross the material and are counted by the sensor. For this reason, we start by investigating the task of denoising Hyperspectral X-ray acquisitions as a required step for performing other kinds of processing in a second moment. We first propose a data-driven method based on a Convolutional AutoEncoder, comparing it with a more traditional model-based Wiener filter approach. Continuing in this vein, we explore the world of AutoEncoders for the denoising task. We propose a comparison between different AutoEncoders variants to exploit physical modeling of dimensionality reduction. Finally, we move to the more application-oriented task of plastic polymers classification in industrial food preparation pipelines. We propose a method based on a Convolutional AutoEncoder to estimate the physical parameters related to plastic polymers and low-density metals. The proposed solution implements the multitask-learning paradigm to jointly denoise the X-ray acquisition provided as input while performing the parameter estimation. The results achieved in this thesis show that a mix of Signal Processing and Machine Learning is beneficial to solve a whole variety of integrity-related problems. Whenever a purely model-based solution proves lacking in some respect (e.g., due to simplistic assumptions), data-driven methods work as an alternative viable solution. Conversely, when a model for the problem at hand is well defined (e.g., due to physical constraints), signal processing may greatly help purely-data driven methods.

Questa tesi si concentra su due aspetti particolari del controllo dell'integrità: l'integrità digitale e l'integrità fisica. In particolare, proponiamo tecniche di Signal Processing, Machine Learning e Deep Learning per risolvere problemi rilevanti in queste due aree. Data la vastità di questi campi, selezioniamo due applicazioni che riteniamo più rilevanti da indagare: Multimedia Forensics per il mondo dell'integrità digitale e analisi a raggi X iperspettrali nel campo della sicurezza alimentare per il mondo dell'integrità fisica. L'integrità digitale ricopre il ruolo cruciale di verificare e valutare l'affidabilità dei contenuti dei media digitali. Passiamo sempre più tempo sui social network e sulle chat, dove siamo costantemente inondati di immagini e video. Pertanto, abbiamo un grande bisogno di strumenti per garantire che tali contenuti non siano manomessi. Più continuiamo in questa direzione, più siamo esposti al rischio di essere ingannati o manipolati dai contenuti multimediali. Per risolvere questo problema, investighiamo tre aree di interesse: integrità del sensore, integrità della codifica e integrità semantica. L'integrità del sensore riguarda l'integrità delle tracce lasciate dai sensori della fotocamere sulle immagini digitali. Sappiamo dalla letteratura che è possibile sfruttare le tracce dei sensori per collegare un'immagine al dispositivo che l'ha scattata. In questo lavoro, per studiare la robustezza dei metodi di integrità basati sui sensori, ci concentriamo sull'"anonimizzazione" dell'immagine, ovvero sulla possibilità di far fallire le tecniche di attribuzione del dispositivo. Proponiamo dapprima un metodo per anonimizzare l'immagine e poi un metodo per rilevare l'anonimizzazione, entrambi basati su Reti Neurali Convoluzionali. L'integrità della codifica riguarda l'integrità delle tracce lasciate dalle fasi di codifica nel formato standard di compressione delle immagini JPEG. Questa integrità è essenziale, poiché la manomissione di un'immagine JPEG seguita da una seconda compressione comprometterebbe la struttura tipica lasciata dal primo passaggio di codifica. Indaghiamo a fondo questo scenario, proponendo un metodo per rilevare la doppia compressione JPEG, un metodo per rilevare compressioni multiple fino a quattro passaggi e un metodo per rilevare la doppia compressione eseguita con diverse implementazioni del codec. L'integrità semantica riguarda l'integrità del significato di immagini e video, ovvero ciò che percepiamo semanticamente alla vista. Sempre più tecniche consentono la generazione completamente automatica di immagini e video sintetici molto realistici con il minimo sforzo e nessuna conoscenza artistica o grafica richiesta. Di conseguenza, siamo costantemente esposti a seri problemi, ad esempio l'impersonificazione di qualcuno in un video per intenti malevoli. Proponiamo un metodo per rilevare le immagini generate tramite Generative Adversarial Networks e un metodo per rilevare i video generati dalle reti neurali Deepfake. L'integrità fisica riguarda l'integrità degli oggetti: un campo molto vasto, che va dal controllo dell'integrità degli edifici e delle infrastrutture al controllo dell'integrità nella produzione microscopica. Tra tutte le possibili applicazioni in questo campo, consideriamo l'applicazione dell'analisi a raggi X iperspettrali nel contesto della sicurezza alimentare, ovvero l'utilizzo di questo potente metodo per rilevare contaminanti sepolti negli alimenti in diverse fasi della sua preparazione industriale. In questo senso si copre l'integrità del segnale acquisito, che rischia di essere compromesso nel caso un corpo estraneo ne alteri le caratteristiche. Rispetto all'analisi a raggi X tradizionale, l'iperspettrale consente scansioni più fini dell'oggetto considerato. L'intera energia della radiazione è divisa in più sottobande che possiamo analizzare separatamente. Ciò consente di rilevare contaminanti a bassa densità (ad esempio polimeri plastici) non rilevabili mediante analisi a raggi X a energia singola o doppia. Sfortunatamente, questo tipo di acquisizione di raggi X soffre di rumore a causa della natura probabilistica dei fotoni che attraversano il materiale e vengono conteggiati dal sensore. Per questo motivo, iniziamo studiando il problema di ripulire le acquisizioni di raggi X iperspettrali come passaggio necessario per eseguire altri tipi di elaborazione in un secondo momento. Per prima cosa proponiamo un metodo data-driven basato su un Convolutional AutoEncoder, confrontandolo con un approccio a filtro di Wiener basato su modello più tradizionale. Continuando in questo senso, esploriamo il mondo degli AutoEncoder nell'ambito del denoising. Proponiamo un confronto tra diverse varianti di AutoEncoder per sfruttare la modellazione fisica della riduzione della dimensionalità. Infine, passiamo al compito più orientato all'applicazione della classificazione dei polimeri plastici nelle linee di preparazione degli alimenti industriali. Proponiamo un metodo basato su un Convolutional AutoEncoder per stimare i parametri fisici relativi ai polimeri plastici e ai metalli a bassa densità. La soluzione proposta implementa il paradigma del multitask-learning per ripulire il segnale congiuntamente alla stima dei parametri fisici legati al materiale a scopo di classificazione. I risultati ottenuti in questa tesi mostrano che un mix di Signal Processing e Machine Learning è utile per risolvere tutta una serie di problemi legati all'integrità. Ogni volta che una soluzione puramente basata su modelli si rivela carente sotto qualche aspetto (ad esempio, a causa di ipotesi semplicistiche), i metodi basati sui dati funzionano come una soluzione alternativa praticabile. Al contrario, quando un modello per il problema in questione è ben definito (ad esempio, a causa di vincoli fisici), il Signal Processing può aiutare notevolmente i metodi basati esclusivamente sui dati.