Developing a computer vision framework for a robotic assistant in competitive chess games

People with disabilities, especially those with significant motor impairment, often encounter barriers when attempting to participate in sports competitions. Although chess has been classified as a sport by the International Olympic Committee since 1999, those with disabilities typically require assistance from a caregiver to move their chess pieces during official competitions, resulting in a sense of dependency and reduced self-esteem. To overcome this challenge, a service robot was developed to help disabled chess players move their pieces on a standard chessboard during competitions while adhering to the regulations of the international chess federation. The robot can be operated using a user-friendly graphical interface that can be navigated using devices like a mouse, touchpad, or calibratable Mini joystick for people with motion impairment. The application was implemented on a PAL Robotics TIAGo robot with a 7-degree-of-freedom arm, an extensible torso, and a re-orientable RGB-D camera. In this study, a novel computer vision framework is proposed for the service robot to improve its overall effectiveness in identifying the chessboard, and its features, and to recognize opponents’ moves from RGB-D images, which is then used to track and highlight the live game situation in the graphical interface. To assess the new framework’s robustness, six famous chess games were repeated numerous times on a standard wooden competition chessboard, integrating the new framework into the TIAGo robot and TIAGo representing the player with white or black pieces. The proposed framework effectively improved the overall performance of the robot in identifying the chessboard and its features by more than 40%, as well as recognizing opponents’ moves by more than 30%, enhancing the overall performance of the service robot. Therefore, the newly proposed computer vision framework brings the service robot one step closer to offering motor-disabled individuals the opportunity to compete autonomously in official chess tournaments.

Le persone con disabilità, specialmente quelle con significative disabilità motorie, incontrano spesso delle difficoltà quando cercano di partecipare a competizioni sportive. Anche negli scacchi, classificati come sport dal Comitato Olimpico Internazionale dal 1999, le persone con disabilità motorie devono essere assistite da un caregiver per muovere i loro pezzi durante le competizioni ufficiali, causando una riduzione del senso di indipendenza e dell’autostima. Al fine di emancipare i giocatori disabili da questa condizione, in un precedente lavoro di tesi è stata sviluppata un’applicazione allo scopo di impiegare un robot di servizio come assistente, rispettando le normative della federazione internazionale degli scacchi. Il robot può essere gestito mediante un’interfaccia grafica utente semplice che può essere controllata utilizzando dispositivi come mouse, touchpad o specific joystick per persone con disabilità motorie. L’applicazione è stata implementata su un TIAGo robot (PAL Robotics) con un braccio a 7 gradi di libertà, un torso estensibile e una telecamera RGB-D reorientabile. In questo studio, viene proposto un nuovo framework di computer vision, con lo scopo di migliorare l’affidabilità nell’identificazione dell’area di gioco e nel riconoscimento delle mosse dell’avversario, sulla base delle quali viene aggiornata l’interfaccia grafica del sistema. Per valutare la robustezza del nuovo framework, 6 note partite di scacchi sono state ripetute più volte su una scacchiera in legno da competizione, alternando le impostazioni in modo che il robot impersonasse sia il giocatore con l’armata nera che quello con l’armata bianca. Il framework proposto si è dimostrato efficace nel migliorare le prestazioni complessive dell’applicazione nell’identificare la scacchiera ed i centri delle caselle, con un aumento di oltre il 40% in accuratezza rispetto alla prima implementazione. Per quanto riguarda l’identificazione delle mosse, il nuovo framework ha aumentato il tasso di successo di oltre il 30%, migliorando le prestazioni generali del robot di servizio. Pertanto, il nuovo framework di computer vision proposto rappresenta un ulteriore passo verso il concretizzarsi dell’opportunità di introdurre un robot di servizio come assistente per le persone con disabilità motorie in competizioni scacchistiche ufficiali.