Smart task scheduling in autonomous mobile robots: a reinforcement learning approach

The rapid expansion of manufacturing and e-commerce industries triggered a notable rise in warehouse construction leading to challenges in labor availability and operational effectiveness. The need for urgent delivery services from customers and the existing issues in traditional warehouses created extra pressure on warehouse operations. Warehouse automation through the usage of Autonomous Mobile Robots (AMRs) represents a transformative answer as it decreases human labor while improving operational efficiency and workflow optimization. The scheduling methods which include First-In-First-Out (FIFO), Earliest Deadline First (EDF) and Closest Task First (CTF) fail to work effectively in dynamic unpredictable warehouse environments. These conventional approaches lack flexibility and fail to optimize real-time scheduling hipment penalties which diminishes both customer satisfaction and business profitability. A new efficient task-scheduling method for AMRs is presented through the use of Reinforcement Learning (RL). A Q-learning algorithm in a sequential decision-making framework enables the development of an adaptive system that determines task priorities through the evaluation of proximity and delivery deadlines. The proposed model undergoes testing within a simulated warehouse environment by using the Robot Operating System (ROS) and Gazebo with a TurtleBot3 robot. The experimental results demonstrate that the RL-based scheduling approach provides better performance than the existing traditional approaches because it shows faster completion time and reduces delivery delays. This study verifies how machine learning solutions can automate warehouse operations by providing a smarter solution beyond conventional task allocation practices.

La rapida espansione dell'industria manifatturiera e dell'e-commerce ha innescato un notevole aumento della costruzione di magazzini, con conseguenti sfide in termini di disponibilità di manodopera ed efficacia operativa. La necessità di servizi di consegna urgenti da parte dei clienti e i problemi esistenti nei magazzini tradizionali hanno creato ulteriore pressione sulle operazioni di magazzino. L'automazione del magazzino attraverso l'uso di robot mobili autonomi (AMR) rappresenta una risposta trasformativa, in quanto riduce il lavoro umano e migliora l'efficienza operativa e l'ottimizzazione del flusso di lavoro. I metodi di pianificazione che includono First-In-First-Out (FIFO), Earliest Deadline First (EDF) e Closest Task First (CTF) non riescono a funzionare efficacemente in ambienti di magazzino dinamici e imprevedibili. Questi approcci convenzionali mancano di flessibilità e non riescono a ottimizzare efficacemente i vincoli di schedulazione in tempo reale. La sola massimizzazione del rendimento non soddisfa i requisiti aziendali, perché la redditività rimane la preoccupazione principale. I magazzini che subiscono ritardi nelle operazioni di processo devono pagare spese di consegna più elevate e incorrere in penali per le spedizioni in ritardo, il che riduce sia la soddisfazione dei clienti che la redditività aziendale. Viene presentato un nuovo metodo efficiente di programmazione dei compiti per gli AMR, attraverso l'uso del Reinforcement Learning (RL). Un algoritmo di apprendimento Q in un quadro decisionale sequenziale consente di sviluppare un sistema adattivo che determina le priorità dei compiti attraverso la valutazione della vicinanza e delle scadenze di consegna. Il modello proposto è stato testato in un ambiente di magazzino simulato utilizzando il Robot Operating System (ROS) e Gazebo con un robot TurtleBot3. I risultati sperimentali dimostrano che l'approccio di schedulazione basato su RL fornisce prestazioni migliori rispetto agli approcci tradizionali esistenti, in quanto mostra tempi di completamento più rapidi e riduce i ritardi di consegna. Questo studio verifica come le soluzioni di apprendimento automatico possano automatizzare le operazioni di magazzino, fornendo una soluzione più intelligente rispetto alle pratiche convenzionali di assegnazione dei compiti.