Relational Reinforcement Learning with the Algorithm TG

Artificial Intelligence (AI) is an area that aims at understanding and creating methods to emulate human intelligence and its ability to solve problems. Among the various elds of AI,Machine Learning is the one concerned with the question of how to develop computer programs that automatically improve with experience. This work presents the concepts related to Relational Reinforcement Learning (RRL), a learning technique that combines standard Reinforcement Learning (RL) with Inductive Logic Programming (ILP) to enable the learning system to exploit structural knowledge about the application domain. RL is concerned with how an agent ought to take actions in an environment so as to maximize some notion of long-term reward; ILP, in turn, provides a logical language system with which the acquired knowledge is stored and used for future actions. The main focus of this project relies on the TG algorithm, a fully incremental rst order decision tree learning algorithm, and the integration of this algorithm in the RRL system. We describe the TG algorithm and the RRL-TG system. We investigate the task of planning in the blocks world. Within this simple domain we demonstrate that RRL-TG allows us to employ structural representations, to abstract from speci c goals pursued and to exploit the results of previous learning phases when addressing new situations.

Intelligenza Artificiale (IA) e un settore che mira a comprendere e creare dei metodi per emulare l'intelligenza umana e la sua capacit a di risolvere i problemi. Tra i diversi campi di IA, l'apprendimento automatico (Machine Learning (ML)) e quello che si occupa di come sviluppare programmi per computer che migliorano autonomamente con l'esperienza. Questo lavoro presenta i concetti correlati all' apprendimento per rinforzo relazionale (Relational Reinforcement Learning (RRL)), una tecnica di apprendimento che combina l'apprendimento per rinforzo (Reinforcement Learning (RL)) standard con il paradigma di Inductive Logic Programming (ILP) per consentire al sistema di imparare a sfruttare la conoscenza strutturale sul dominio di applicazione. Il paradigma RL de nisce su come un agente dovrebbe agire in un ambiente in modo da massimizzare una nozione di ricompensa a lungo termine; ILP, a sua volta, fornisce un sistema di linguaggio logico con cui le conoscenze acquisite vengono memorizzate e utilizzate per azioni future. Il focus principale di questo progetto e l'algoritmo TG, un algoritmo completamente incrementale che si basa su un albero di decisione del primo ordine, e l'integrazione di questo algoritmo nel sistema RRL. Descriviamo l'algoritmo TG e il sistema RRL-TG. Poi esaminiamo il lavoro di piani cazione nel mondo dei blocchi. All'interno di questo semplice dominio dimostriamo che RRL-TG ci permette di impiegare le rappresentazioni strutturali, di astrarre da obiettivi speci ci e di sfruttare i risultati delle precedenti fasi di apprendimento al momento di a rontare nuove situazioni.