Usability assessment of a mixed reality platform for pre-operative planning in cardiac interventions.

Usability refers to the capability of a product to be correctly used by specific users in a specific context of use, and to the extent of effectiveness, efficiency, and satisfaction with which they can achieve specified goals through the product. Referring to medical devices, the standards IEC 62366-1 and IEC 62366-2 describe the usability engineering process, i.e., the process the manufacturer should follow to design and develop a usable device. In this comparative study, the usability of a mixed reality (MR) platform for pre-operative planning of cardiac interventions was investigated and compared with the usability of a DICOM viewer software commonly used for the same purpose. MR refers to the technologies that allow the user to visualize virtual 3D objects superimposed on the real world, and to interact with them while maintaining the physical connection with the surrounding environment. The 3D rendering is realized through a powerful workstation which processes digital images and the generated content is visible to the user by wearing a semi-transparent head-mounted display. Given the novelty of the technology, usability evaluation is pivotal to test if it could be positively accepted by potential users. Moreover, the new Medical Device Regulation (MDR) 2017/745 expects the mitigation of risks derived from human errors, thus implicitly requiring usability evaluation. To this goal, 16 physicians with no experience in MR technologies were enrolled and clus tered into two groups: experts (n=7) and newbies (n=9) in using traditional DICOM viewer software. Participants were asked to perform 3 specific tasks both with the MR platform and with a traditional DICOM viewer, and the time required to perform the tasks with the two technologies was measured. Subsequently, for both technologies, they filled in three validated questionnaires, namely User Experience Questionnaire (UEQ), System Usability Scale (SUS), and Surgery Task Load Index (S-TLX), and an ad hoc questionnaire related to the MR, which was designed in the present study. Eventually, users were asked to rate the relative relevance of different features of the MR platform, with the aim of identifying the most important features that could boost MR added value and which could be exploited as evaluation criteria for future assessment of similar technologies. Users who were newbies to the use of both technologies completed the tasks faster with the MR platform and preferred it in terms of perceived workload, usability, and general user experience. Opposite results were obtained from users experienced in the use of traditional DICOM viewers, even if they assigned high usability scores and low workload scores also to the MR platform. In general, all participants perceived the added value brought by the MR technology in the pre-operatory phase. Deeper studies will be however needed to derive more reliable conclusions.

Il termine usabilità si riferisce alla capacità di un prodotto di essere usato correttamente da specifici utenti in uno specifico contesto di utilizzo, e al livello di efficacia, efficienza, e soddisfazione con cui questi possono raggiungere determinati obiettivi sfruttando il prodotto. Riferendosi ai dispositivi medici, gli standard IEC 62366-1 and IEC 62366-2 descrivono il processo di usability engineering, cioè quel processo che il fabbricante deve seguire per sviluppare un dispositivo usabile. In questo studio comparativo è stata analizzata l’usabilità di una piattaforma di realtà mista (MR) da usare nella pianificazione pre-operatoria in ambito cardiaco e comparata a quella di un software per la visualizzazione di immagini DICOM comunemente utilizzato per lo stesso scopo. La MR consiste in tecnologie che permettono di visualizzare oggetti virtuali 3D sovrapposti al mondo reale e di interagire con questi mantenendo la connessione fisica con l’ambiente circostante. Il rendering 3D è realizzato attraverso una potente workstation che elabora immagini digitali ed il contenuto generato è visibile all’utente indossando un visore con lenti semitrasparenti. Data la novità della tecnologia, la valutazione dell’usabilità è fondamentale per capire se questa sarà accettata positivamente dai potenziali utilizzatori. Inoltre, il nuovo Regolamento per i Dispositivi Medici (MDR) 2017/745 prevede la mitigazione dei rischi derivanti da errori umani, richiedendo quindi implicitamente la valutazione dell’usabilità. A questo scopo, 16 medici senza esperienza con tecnologie di MR sono stati arruolati e suddivisi in due gruppi: esperti (n=7) e neofiti (n=9) nell’uso di tradizionali software per la visualizzazione di immagini DICOM. Ai partecipanti è stato chiesto di svolgere 3 task specifici sia con la piattaforma di MR che con un visualizzatore DICOM tradizionale, ed è stato misurato il tempo necessario per eseguire i compiti con le due tecnologie. Successivamente, con riferimento ad entrambe le tecnologie, i partecipanti hanno compilato tre questionari validati (User Experience Questionnaire (UEQ), System Usability Scale (SUS), Surgery Task Load Index (S-TLX)), e un questionario ad hoc relativo alla MR, che è stato sviluppato direttamente in questo studio. Alla fine, agli utenti è stato chiesto di valutare la rilevanza relativa di diverse caratteristiche della piattaforma di MR, con l’obiettivo di identificare le funzionalità più importanti che potrebbero aumentare il valore aggiunto della tecnologia ed essere sfruttate come criteri su cui basare una sua futura valutazione. Gli utenti inesperti nell’uso di entrambe le tecnologie hanno completato i task più velocemente con la piattaforma di MR e hanno preferito questa in termini di carico di lavoro percepito, usabilità ed esperienza utente in generale. Risultati opposti sono stati ottenuti per gli utenti esperti nell’uso di visualizzatori DICOM tradizionali, anche se questi ultimi hanno attribuito alti punteggi di usabilità e bassi punteggi di carico di lavoro anche alla piattaforma di MR. In generale, tutti i partecipanti hanno percepito il valore aggiunto portato dall’uso della tecnologia di MR nella fase di pianificazione pre-operatoria. Saranno tuttavia necessari studi più approfonditi per trarre conclusioni più attendibili.