Development of an IT tool for assisting medical devices post-market surveillance : application to the Italian scenario

The new EU Medical Device Regulation (MDR) strongly focuses on the entire life cycle of a medical device (MD) and highlights the importance of Post Market Surveillance (PMS), i.e., the process of monitoring incidents once products are put on the market and used by patients. In this context, the project aims at developing a tool to support expert panels members in the process of certification of new medical devices and during the data retrieving phase of the Post Market Surveillance process to potentially highlight signals of increased danger for a specific category of products. A model focusing on the Italian MD market was developed since the information of the Italian MD market was publicly available. A first database relevant to the medical devices available in the Italian MD market and the associated category of product according to the National Classification of Devices (CND) was downloaded from the Ministry of Health website. The MD alerts reported by manufacturers were accessed using web-scraping to build a second local database. To associate the corresponding devices in the two databases, an Entity Resolution (ER) algorithm was implemented, that compared the most significant features of the two datasets and assigned a similarity score. Additionally, a Graphical User Interface (GUI) was created to allow performing different kinds of queries and clustering the devices according to the CND classification or the manufacturer of interest. Validation process demonstrated an accuracy of 88% of the ER algorithm in correctly classifying a MD with the proper fourth level of CND. The cumulated accuracy rised up to 95% if considering medical devices correctly classified at the first level of CND. This accuracy allows to create an effective tool that could be used by expert panel members in their pre-evaluation process of retrieving the cluster of the MDs of interest. Since the European Union decided to use the CND classification nomenclature to categorize devices of all EU Member States, we speculate that the implemented model could be used extensively in the future simply adapting the input of the model.

Il nuovo regolamento UE sui dispositivi medici (MDR) pone forte attenzione sull'intero ciclo di vita di un dispositivo medico (MD) e sottolinea l'importanza della Post Market Surveillance (PMS), ovvero il processo di monitoraggio degli incidenti una volta che i prodotti sono immessi sul mercato e utilizzati dai pazienti. In questo contesto, il progetto mira a sviluppare uno strumento per supportare i membri degli expert panels nel processo di certificazione di nuove MD e durante la fase di recupero dei dati del processo di Post Market Surveillance per mettere in evidenza segnali di accresciuto pericolo per una specifica categoria di prodotti. Un modello incentrato sul mercato italiano dei dispositivi medici è stato sviluppato, poiché le informazioni del mercato italiano dei dispositivi medici erano disponibili pubblicamente. Un primo dataset relativo ai MD disponibili nel mercato italiano é stato scaricato dal sito web del Ministero della Salute. Gli avvisi di sicurezza riportati dai produttori sono stati consultati utilizzando il web-scraping per costruire un secondo database locale. Per associare i dispositivi corrispondenti nei due databases, un algoritmo di Entity Resolution (ER), che confronta le caratteristiche più significative dei due dataset e assegna un punteggio di similarità, è stato implementato. Inoltre, un'interfaccia grafica utente (GUI) per eseguire diverse tipologie di queries e raggruppare i MD secondo la classificazione CND o il produttore di interesse, è stata creata. Il processo di convalida ha dimostrato una precisione dell'88% dell'algoritmo ER nel classificare correttamente il quarto livello di CND. L'accuratezza cumulativa é aumentata al 95% se si considerano i MD correttamente classificati al primo livello di CND. Questa accuratezza permette di creare uno strumento efficace che potrebbe essere utilizzato dai membri degli expert panels nel processo di pre-valutazione di recupero dei cluster dei MD di interesse. Poiché l'Unione europea ha deciso di utilizzare la nomenclatura di classificazione CND per classificare i dispositivi di tutti gli Stati membri dell'UE, ipotizziamo che il modello implementato potrà essere utilizzato ampiamente in futuro semplicemente adattando l'input del modello.