Automated generation of robot planning tasks observing human actions in virtual reality

One among the most significant challenges for industrial robotics is to reduce the expertise and efforts required to program a robot. Usually, to program a robot, the operator needs some technical knowledge for example on Euler angles or Cartesian coordinates. These skills are not common in people who work in Small Medium Enterprises (SMEs) and this might be a barrier for a wider use of robotics. Therefore, we developed an approach that aims at programming the robots intuitively without any prior robotic knowledge. In particular, the human operator performs a series of actions in a virtual environment, and the robot understands when such actions can be performed and what are their consequences. The learnt actions are then generalized through a particular language called PDDL which allows a planner to schedule the learned actions to reach human specified goals. In fact, after the teaching phase, the user defines a goal and the symbolic planner returns a series of actions to achieve it. The generated plan is performed both in the virtual and real environment by the collaborative robot Doosan A0509s.

Una tra le sfide più importanti per la robotica industriale è la riduzione della competenza e degli sforzi richiesti per programmare un robot. Solitamente, per programmare un robot l'operatore deve possedere una conoscenza tecnica riguardante per esempio gli angoli di Eulero o le Coordinate cartesiane. Tali conoscenze non si trovano facilmente in persone che lavorano nelle Piccole e Medie Imprese, il che può costituire una barriera a un uso pervasivo più dei robot. Motivati da questa considerazione, in questa tesi si sviluppa un approccio che consente di programmare i robot intuitivamente e senza alcuna conoscenza tecnica. In particolare, l'operatore umano esegue una serie di azioni nella realtà virtuale e il robot impara quando tali azioni possono essere eseguite e quali sono le loro conseguenze. Le azioni imparate sono poi generalizzate utilizzando un linguaggio chiamato PDDL, il quale permette ad un pianificatore di stabilire quali azioni eseguire e in che ordine per raggiungere l'obiettivo specificato dall'umano. Dopo aver eseguito la fase di insegnamento, l'utente definisce un obiettivo e il pianificatore simbolico restituisce una serie di azioni per raggiungerlo. Il piano generato è eseguito sia nell'ambiente virtuale che in quello reale grazie al robot collaborativo Doosan A0509s.