Acoustic manipulation of micro-robots with visual servoing feedback control

Micro/nano-robots have the potential to create new opportunities in targeted and precise drug delivery. Acoustics with the ability to generate forces wirelessly will make existing therapeutic and diagnostic procedures less invasive and enable new methods never before possible. This thesis is written with the objective to research the possibilities of visual servoing control applied to acoustic applications. In particular, in this work, precise manipulation for micronano robots in microfluidic channels under the case of stagnant or chaotic flow has been considered. Furthermore, the visual feedback control system allowed the micro-robots to either autonomously or semi-autonomously perform a specific task in a complex environment. The project has been developed in partnership with Politecnico di Milano and ETH Zurich. The first step focused on analyzing the physical model of the micro-robots, which are microbubbles based on the resonant acoustic field, and then the mathematical model of the acoustic radiation forces generated by this field. In particular, in view of the design specifications, the dynamics of the system have been identified. Subsequently, the mathematical equations describing the attraction forces between microrobots have been analyzed, which created the swarming of the microrobots. After analyzing the model, several experimental setups have been used to test the control system in different environments and with various actuator positions. Subsequently, the control circuits have been described with the use of a custom-made driver for a function generator that generates the AC signals for the piezo transducers to transform them to an acoustic field. Afterward, the image acquisition and processing have been defined for object detection and tracking with assigning a specific ID for each micro-robot swarm while targeting to move the largest swarm to the destination. The resulting features extracted were then used in the different operating modes of the controller. The image-based visual servoing controller has shown difficulty in reaching the final target following a predefined path due to the unexpected dynamics of the system. To deal with the difficulties of driving the micro-robots, a PI controller has been designed to keep the speed of the micro-robot swarms constant all over the channel, Additionally driving the micro-robots to stick to the wall to reduce the drag force affecting them while moving towards the target.

I micro/nano-robot hanno il potenziale per creare nuove opportunità nella somministrazione mirata e precisa dei farmaci. L’acustica, con la capacità di generare forze in modalità wireless, renderà le procedure terapeutiche e diagnostiche esistenti meno invasive e consentirà l’uso di nuovi metodi fino ad oggi non possibili. Questa tesi è stata scritta con l’obiettivo di ricercare le possibilità del controllo del servocomando visivo applicato alle applicazioni acustiche. In particolare, in questo lavoro è stata considerata una manipolazione precisa per micro-nano robot in canali microfluidici in caso di flusso stagnante o caotico. Inoltre, il sistema di controllo del feedback visivo ha consentito ai microrobot di eseguire in modo autonomo o semi-autonomo un compito specifico in un ambiente complesso. Il progetto è stato sviluppato in collaborazione con il Politecnico di Milano e l’ETH di Zurigo. Inizialmente è stata effettuata l’analisi del modello fisico dei microrobot, che sono microbolle basate sul campo acustico risonante, in seguito è stata svolta l’analisi del modello matematico delle forze di radiazione acustica generate da questo campo. Alla luce delle specifiche progettuali sono state individuate le dinamiche del sistema. Successivamente sono state analizzate le equazioni matematiche che descrivono le forze di attrazione tra i microrobot, che hanno creato lo sciame dei microrobot. Dopo aver analizzato il modello, sono state utilizzate diverse configurazioni sperimentali per testare il sistema di controllo in diversi ambienti e con varie posizioni dell’attuatore. Successivamente sono stati descritti i circuiti di controllo con l’utilizzo di un driver su misura per un generatore di funzioni che genera i segnali AC per i trasduttori piezoelettrici per trasferirli in un campo acustico. Successivamente sono state definite l’acquisizione e l’elaborazione delle immagini per il rilevamento e il tracciamento degli oggetti con l’assegnazione di un ID specifico a ciascun microrobot durante il targeting al fine di spostare lo sciame più grande sul bersaglio. Le caratteristiche risultanti estratte sono state poi utilizzate nelle diverse modalità operative del controllore. Il controller di asservimento visivo basato sulle immagini ha mostrato difficoltà nel raggiungere l’obiettivo finale seguendo un percorso predefinito a causa delle dinamiche inaspettate del sistema. Per far fronte alle difficoltà di guidare il micro-robot, è stato progettato un controller PI per mantenere costante la velocità degli sciami di micro-robot su tutto il canale, costringendo inoltre i micro-robot ad attaccarsi al muro per ridurre la forza di trascinamento influenzandoli mentre si spostano verso il bersaglio.