An item-level tagging system using visual fiducials

An electronic laboratory contains a myriad of components—testing boards, cables, signal generators, and tiny adapters—each of which can cost thousands of euros. Specifically, this work focuses on the Marvell Pavia Laboratory, where hardware validation and characterization occur on individual test benches. Testing requires a complex assembly of interconnected components. Ideally, these components should be returned to stock once the test is complete; however, this is often not the case. Additionally, Marvell has no formal system to track the utilization of each item, as micro-managing every single instrument is beyond the scope of any colleague. As a result, items are sometimes misplaced, and managers lack the data needed to make informed business decisions regarding laboratory assets. In this work, we have developed a proof of concept to address this issue by repurposing a visual fiducial as a sensing technology. We have attached small tags to each item and stored this information in a database. Our system detects these tags by capturing an image of the bench surface, applying pre-processing techniques, identifying the fiducials, and logging the presence of each instrument in the database. To make this information accessible, we also built a user interface where colleagues can check item locations and managers can view usage statistics. We have tested our proof of concept in 36 different scenarios, varying camera models, tag sizes, and distances. The system has successfully detected an average of 98.24% of the fiducials and produced only one false positive in a single scenario. These results exceed Marvell’s 80% accuracy requirement and demonstrate that our proof of concept is a functional and evaluated tool. It creates a usage record of laboratory items and provides managers with critical insights to support business decisions. In the future, with further development, our work can serve as a foundation for a real-time digital twin of the laboratory.

Un laboratorio elettronico è dotato di una miriade di componenti—schede di test, cavi, generatori di segnale e piccoli adattatori—ognuno dei quali può costare migliaia di euro. Il laboratorio in questione è il Marvell Pavia Laboratory, dove l'azienda valida e caratterizza l'hardware su test bench individuali. L'attività di test richiede un alto numero di componenti interconnessi, che idealmente andrebbero restituiti allo stock una volta terminato il test. Tuttavia, ciò spesso non accade. Inoltre, Marvell non dispone di un sistema formale per tracciare l’utilizzo di ciascun elemento, poiché la micro-gestione di ogni strumento va oltre le responsabilità dei singoli colleghi. Di conseguenza, i responsabili non hanno i dati necessari per prendere decisioni consapevoli sulle risorse di laboratorio. In questo lavoro, abbiamo sviluppato un proof of concept per affrontare il problema, riutilizzando un fiduciale visivo come tecnologia di rilevamento. Abbiamo applicato piccoli tag a ogni componente e memorizzato queste informazioni in un database. Il sistema rileva i tag catturando un'immagine della superficie del banco, applicando pre-processing, identificando i fiduciali e registrando la presenza di ogni strumento nel database. Al fine di rendere accessibili le informazioni ottenute, abbiamo anche sviluppato un'interfaccia front-end in cui i colleghi possono consultare la posizione degli oggetti e i responsabili possono visualizzare statistiche di utilizzo. Abbiamo testato il sistema in 36 scenari differenti, variando fotocamere, dimensioni dei tag e distanze. Il sistema ha rilevato con successo in media il 98,24% dei fiduciali, producendo un solo falso positivo in un caso. Questi risultati superano il requisito dell’80% fissato da Marvell e dimostrano che il nostro sistema è uno strumento funzionante e validato. Con ulteriori sviluppi, potrà costituire una base solida per un gemello digitale in tempo reale del laboratorio.