This thesis, and the work presented in, has been developed during an internship at STMicroelectronics, an important semiconductor manufacturer. In addiction, this work has lead to a preparation of a manuscript currently under review to the International Conference on Image Processing 2019 (ICIP 2019) hosted this year in Taipei (Taiwan). Chips in semiconductor manufacturing are produced in circular wafers that are constantly monitored by inspection machines. These machines produce a wafer defect map, namely a list of defect locations which corresponds to a very large, sparse and binary image. While in these production processes it is normal to see defects that are randomly spread, specific defect patterns might indicate problems in the production that have to be promptly identified. We cast wafer monitoring in a challenging image classification problem where traditional convolutional neural networks, that represent state-of-the-art solutions, cannot be straightforwardly employed due to the very large image size (say 20.000 x 20.000 pixels) and the extreme class imbalance. We successfully address these challenges by means of Submanifold Sparse Convolutional Networks, that were specifically designed to handle sparse data, and through an ad-hoc data augmentation procedure designed for wafer defect maps. Our experiments show that the proposed solution is very successful over a dataset of almost 30,000 maps acquired and annotated by the AG8/AGM division of STMicroelectronics, and that our data augmentation procedure is beneficial also in smaller images where we outperform the state-of-the-art on a public datasets of wafer defect maps. The purpose of this thesis is to provide STMicroelectronics with a set of tools to train a machine learning model to predict the labels from the raw data coming from the production environment. In addiction, we aim at building a fast and efficient framework in which our model can be deployed providing the classification results at a fast pace.

Questa tesi, insieme al lavoro presentato qui dentro, sono stati sviluppati durante un tirocinio presso STMicroelectronics, un importante produttore di semiconduttori situato ad Agrate, nei pressi di Milano. Il lavoro svolto ha portato alla stesura di un manoscritto attualmente in fase di revisione per la conferenza International Conference on Image Processing 2019 (ICIP 2019) quest'anno organizzata a Taipei (Taiwan). Nell'industria della costruzione di semiconduttori i chip sono prodotti in wafer circolari che vengono costantemente monitorati da macchine di ispezione. Queste macchine producono una Wafer Defect Map (mappe di difettosità), ovvero una lista di coordinate di difetti che possono essere viste come immagini binarie molto grandi e sparse. Normalmente, i difetti sono uniformemente distribuiti su tutto il wafer, tuttavia, quando i difetti hanno una specifica distribuzione spaziale, è possibile che ci siano problemi nella catena produttiva ed è necessaria una pronta identificazione. Affrontiamo il problema dell'analisi dei wafer come un problema di classificazione di immagini laddove le reti neurali convolutive sono considerate lo stato dell'arte. Tali reti tuttavia non possono essere facilmente usate in tale contesto a causa dell'elevate dimensione delle immagini (con una risoluzione di 20000 x 20000 pixels) e della natura sbilanciata del dataset. Noi affrontiamo con successo queste difficoltà utilizzando delle reti convoluzionali sparse, progettate specificamente per gestire dati sparsi e grazie ad una speciale fase di data augmentation per le mappe di difettosità. I nostri esperimenti mostrano l'efficacia sia della soluzione proposta utilizzando un dataset di circa 30,000 esempi annotati, costruito insieme a STMicroelectronics che della specifica fase di data augmentation utilizzando un dataset pubblico di immagini di wafer. Lo scopo di questa tesi è di fornire a STMicroelectronics un insieme di strumenti per addestrare una rete neurale a predirre le etichette di dati grezzi provenienti dalla produzione. Inoltre, la tesi punta a costruire un'infrastruttura veloce ed efficiente in cui installare il modello addestrato in modo poter essere utilizzato a regime.

Wafer defect map classification using sparse convolutional networks. Models and techniques to solve an industrial challenge

Di BELLA, ROBERTO
2017/2018

Abstract

This thesis, and the work presented in, has been developed during an internship at STMicroelectronics, an important semiconductor manufacturer. In addiction, this work has lead to a preparation of a manuscript currently under review to the International Conference on Image Processing 2019 (ICIP 2019) hosted this year in Taipei (Taiwan). Chips in semiconductor manufacturing are produced in circular wafers that are constantly monitored by inspection machines. These machines produce a wafer defect map, namely a list of defect locations which corresponds to a very large, sparse and binary image. While in these production processes it is normal to see defects that are randomly spread, specific defect patterns might indicate problems in the production that have to be promptly identified. We cast wafer monitoring in a challenging image classification problem where traditional convolutional neural networks, that represent state-of-the-art solutions, cannot be straightforwardly employed due to the very large image size (say 20.000 x 20.000 pixels) and the extreme class imbalance. We successfully address these challenges by means of Submanifold Sparse Convolutional Networks, that were specifically designed to handle sparse data, and through an ad-hoc data augmentation procedure designed for wafer defect maps. Our experiments show that the proposed solution is very successful over a dataset of almost 30,000 maps acquired and annotated by the AG8/AGM division of STMicroelectronics, and that our data augmentation procedure is beneficial also in smaller images where we outperform the state-of-the-art on a public datasets of wafer defect maps. The purpose of this thesis is to provide STMicroelectronics with a set of tools to train a machine learning model to predict the labels from the raw data coming from the production environment. In addiction, we aim at building a fast and efficient framework in which our model can be deployed providing the classification results at a fast pace.
CARRERA, DIEGO
FRAGNETO, PASQUALINA
ING - Scuola di Ingegneria Industriale e dell'Informazione
16-apr-2019
2017/2018
Questa tesi, insieme al lavoro presentato qui dentro, sono stati sviluppati durante un tirocinio presso STMicroelectronics, un importante produttore di semiconduttori situato ad Agrate, nei pressi di Milano. Il lavoro svolto ha portato alla stesura di un manoscritto attualmente in fase di revisione per la conferenza International Conference on Image Processing 2019 (ICIP 2019) quest'anno organizzata a Taipei (Taiwan). Nell'industria della costruzione di semiconduttori i chip sono prodotti in wafer circolari che vengono costantemente monitorati da macchine di ispezione. Queste macchine producono una Wafer Defect Map (mappe di difettosità), ovvero una lista di coordinate di difetti che possono essere viste come immagini binarie molto grandi e sparse. Normalmente, i difetti sono uniformemente distribuiti su tutto il wafer, tuttavia, quando i difetti hanno una specifica distribuzione spaziale, è possibile che ci siano problemi nella catena produttiva ed è necessaria una pronta identificazione. Affrontiamo il problema dell'analisi dei wafer come un problema di classificazione di immagini laddove le reti neurali convolutive sono considerate lo stato dell'arte. Tali reti tuttavia non possono essere facilmente usate in tale contesto a causa dell'elevate dimensione delle immagini (con una risoluzione di 20000 x 20000 pixels) e della natura sbilanciata del dataset. Noi affrontiamo con successo queste difficoltà utilizzando delle reti convoluzionali sparse, progettate specificamente per gestire dati sparsi e grazie ad una speciale fase di data augmentation per le mappe di difettosità. I nostri esperimenti mostrano l'efficacia sia della soluzione proposta utilizzando un dataset di circa 30,000 esempi annotati, costruito insieme a STMicroelectronics che della specifica fase di data augmentation utilizzando un dataset pubblico di immagini di wafer. Lo scopo di questa tesi è di fornire a STMicroelectronics un insieme di strumenti per addestrare una rete neurale a predirre le etichette di dati grezzi provenienti dalla produzione. Inoltre, la tesi punta a costruire un'infrastruttura veloce ed efficiente in cui installare il modello addestrato in modo poter essere utilizzato a regime.
Tesi di laurea Magistrale
File allegati
File Dimensione Formato  
Tesi_RobertoDiBella_877608.pdf

non accessibile

Descrizione: Thesis text"
Dimensione 13.99 MB
Formato Adobe PDF
13.99 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/147416