Production-ready ID document tampering detection system: mathematical modeling and implementation

Nowadays, digital onboarding is widely adopted by companies to streamline processes for all involved parties. It eliminates the need for assigning employees to oversee the entire onboarding process, as they only need to check specific steps when necessary. Similarly, from the client's perspective, physical authentication at the company's premises is no longer required. Due to these advantages, many companies are incorporating digital onboarding into their service offerings. However, this shift necessitates the development of highly accurate onboarding software to prevent identity theft and fraudulent activities. This thesis focuses on developing a novel antitampering check for ID documents. The antitampering checks encompass security measures designed to detect and prevent unauthorized alterations or modifications, ensuring the integrity and authenticity of the content. The objective of this check is to detect tampering related to the data within the document by analyzing the Machine Readable Zone (MRZ). Using Optical Character Recognition (OCR), data was extracted from the document's image. Subsequently, the document's authenticity was assessed by comparing the characters in the MRZ with those present on the document. To implement this feature, custom OCRs were developed in Python using RetinaNet and YOLOv8 neural networks for character object detection. Following that, the models were incorporated into a C++ library, which was then integrated into two Rust web servers hosting three REST microservices related to the antitampering check. This design decision was driven by the integration requirements of CRIF S.p.A.'s onboarding product, the company with which this thesis has been developed.

Al giorno d'oggi il digital onboarding è ampiamente adottato dalle aziende per semplificare i processi di onbording per tutte le parti coinvolte. Elimina la necessità di assegnare dipendenti per supervisionare l'intero processo di onboarding, limitando il lavoro dell'operatore al solo controllo di passaggi specifici se necessari. Allo stesso modo, dal punto di vista del cliente, non è più richiesta un'autenticazione fisica presso la sede dell'azienda. A causa di questi vantaggi, molte aziende stanno incorporando il digital onboarding nei servizi offerti. Tuttavia, questa transizione richiede lo sviluppo di software di onboarding altamente precisi per prevenire furti di identità e attività fraudolente. Questa tesi si focalizza nello sviluppo di un nuovo controllo di antitampering per documenti d'identità. I controlli di antitampering comprendono misure di sicurezza progettate per rilevare e prevenire alterazioni o modifiche non autorizzate, garantendo l'integrità e l'autenticità dei contenuti. L'obiettivo di questo controllo è rilevare manomissioni legate ai dati all'interno dei documenti d'identià mediante l'analisi della Machine Readable Zone (MRZ). Utilizzando l'Optical Character Recognition (OCR), sono stati estratti i caratteri identificati all'interno della foto del documento. Successivamente, l'autenticità del documento è stata valutata confrontando i caratteri presenti nell'MRZ con quelli presenti nel documento. Per implementare questa funzionalità, sono stati sviluppati in Python degli OCR personalizzati utilizzando le reti neurali RetinaNet e YOLOv8 per il rilevamento dei caratteri. Successivamente, i modelli sono stati incorporati in una libreria C++, che è stata quindi integrata in due web server Rust che ospitano tre microservizi REST dedicati al controllo antimanomissione. Questa decisione di progettazione è stata guidata dai requisiti di integrazione del prodotto per il digital onboarding di CRIF S.p.A., l'azienda con cui è stata sviluppata questa tesi.