Optimal Truss Design using Reinforcement Learning

In civil engineering, the process of designing, evaluating, and selecting the optimal design of a structure can be time-consuming and resource-intensive. Computational Design Synthesis (CDS) helps in automating this process, but selecting the optimal design from a large set of design options remains a challenge. Artificial intelligence, particularly reinforcement learning (RL), has shown potential to be used as an optimization algorithm. In this work, we explore the use of RL in optimal design synthesis by modeling the design synthesis process as a finite Markov Decision Process (MDP). In this framework, design configurations are represented as states, and available modifications are considered as actions. Immediate rewards are designed to reflect the improvement in the performance of the altered configuration in relation to the design objective consisting, for example, of compliance minimization. As immediate rewards in optimal design synthesis are typically unknown at the start of the process, RL is used to effectively solve the MDP. The objective of the RL agent is to maximize cumulative rewards, thereby generating the optimal design with the best performance. The suggested framework has been applied to obtain optimal designs for different planar trusses defined over different domains, loading conditions, and unique constraints. The results obtained show that this approach has the potential to be extended to complex design criteria. Overall, this work demonstrates the potential of RL as an optimization algorithm for CDS and provides insights for future research in this field.

In ingegneria civile, il processo di progettazione, valutazione e selezione della soluzione di progettazione ottimale può richiedere molto tempo e risorse. I principi alla base della Computational Design Synthesis possono aiutare ad automatizzare questo processo, ma selezionare la soluzione di progettazione ottimale da un ampio set di opzioni di progettazione rimane una sfida. L’intelligenza artificiale, in particolare l’apprendimento per rinforzo (Reinforcement learning-RL), può essere utilizzata come algoritmo di ottimizzazione. In questo lavoro, esploriamo l’uso di RL all’interno della CDS modellando il processo di sintesi della progettazione come un Processo Decisionale di Markov (Markov Decision Process-MDP). In questa cornice procedurale, le configurazioni di progettazione sono schematizzate come stati, e le modifiche disponibili sono considerate come azioni. Le ricompense immediate sono progettate per riflettere il miglioramento delle prestazioni della configurazione modificata in relazione all’obiettivo di progettazione consistente, per esempio, nella minimizzazione della cedevolezza della struttura. Poiché le ricompense immediate nella sintesi di progettazione ottimale sono tipicamente sconosciute all’inizio del processo, RL è utilizzato per risolvere efficacemente un MDP. L’obiettivo dell’agente di RL è massimizzare le ricompense cumulative, generando un progetto di struttura con prestazioni ottimizzate. Questa metodologia è stata applicata per la progettazione ottimale di sistemi reticolri in piano definiti su domini diversi, e con diverse condizioni di carico e vincoli. I risultati ottenuti mostrano che questo approccio ha il potenziale per essere esteso ad altri problemi di ottimizzazione strutturale. Dimostrando il potenziale di RL come algoritmo di ottimizzazione.