Topology optimization via Monte Carlo tree search in linear-elastic continua

Structural topology optimization seeks the best distribution of material within a design domain, subject to physical and geometric constraints. Classical methods such as Solid Isotropic Material with Penalization treat this as continuous optimization over a density field, but require relaxation when design variables are discrete and the search space becomes combinatorial. A different approach formulates design as a sequence of discrete decisions, in which an agent builds the structure one element at a time, learning from simulation-based feedback. This is formalized as a Markov Decision Process (MDP) and solved with Reinforcement Learning. This thesis extends a Monte Carlo Tree Search (MCTS)-based framework, initially developed for planar trusses, to continuum topology optimization using Constant Strain Triangle finite elements. The domain is discretized into triangular elements, each a binary active or inactive variable. The optimization is an MDP whose state is the set of active elements, whose actions are additions or removals under generative grammar rules, and whose reward derives from strain energy and volume. The rules keep every configuration connected and solvable via the Finite Element Method (FEM). Two Upper Confidence Bounds for Trees variants balance exploration and exploitation: an α-only formula and a four-term formula tracking the best per-branch result. Several features improve search efficiency: symmetry exploitation, seed-element removal, volume budget reduction, passive support nodes as hidden stiffness resources, and automated seed generation. A progressive construction variant is also developed that grows the structure from a single element under its own weight, balancing stiffness against added load. The FEM implementation is first validated physically, numerically, and against an analytical solution, then tested on four case studies: a pin-pin beam, a cantilever beam, an arbitrary-loading case, and a self-weight cantilever. Sensitivity analyses are also performed for hyperparameters α and β. Results confirm that the MDP–MCTS framework transfers successfully from truss to continuum finite elements.

L'ottimizzazione topologica strutturale ha l'obiettivo di individuare la migliore distribuzione di materiale all'interno di un dominio di progetto, nel rispetto di vincoli fisici e geometrici. I metodi classici, come il Solid Isotropic Material with Penalization, affrontano il problema come un'ottimizzazione continua su un campo di densità, ma richiedono una rilassazione quando le variabili di progetto sono discrete e lo spazio di ricerca diventa combinatorio. Un approccio diverso consiste nel formulare il processo di ottimizzazione come una sequenza di decisioni discrete, in cui un agente costruisce la struttura un elemento alla volta, apprendendo da un riscontro basato su simulazioni. Questo viene formalizzato come un Processo Decisionale di Markov (MDP) e risolto tramite apprendimento per rinforzo. Questa tesi estende un framework basato su Monte Carlo Tree Search (MCTS), sviluppato per strutture reticolari piane, all'ottimizzazione topologica di continui mediante elementi finiti triangolari a deformazione costante. Il dominio è discretizzato in elementi triangolari, ciascuno trattato come una variabile binaria, attiva o inattiva. L'ottimizzazione è un MDP in cui lo stato è l'insieme degli elementi attivi, le azioni sono aggiunte o rimozioni governate da regole grammaticali generative, e la ricompensa è calcolata a partire dall'energia di deformazione e dal volume. Le regole grammaticali garantiscono che ogni configurazione sia connessa e risolvibile dal solutore a elementi finiti. Due varianti della politica di selezione Upper Confidence Bounds for Trees bilanciano esplorazione e sfruttamento: una formulazione basata sul solo parametro α e una formula a quattro termini che tiene traccia anche del miglior risultato osservato in ciascun ramo. Diversi accorgimenti specifici al problema vengono introdotti per migliorare l'efficienza della ricerca: lo sfruttamento della simmetria; la rimozione controllata degli elementi del seed iniziale allo scopo di consentire alla ricerca di discostarsi dalla configurazione iniziale; la riduzione del budget di volume; nodi di supporto passivi che agiscono come risorse di rigidezza nascoste da scopirire e sfruttare; e una procedura automatizzata di generazione del seed. Viene inoltre sviluppata una variante a costruzione progressiva, in cui la struttura cresce a partire da un singolo elemento sotto il proprio peso, bilanciando la rigidezza acquisita con il carico aggiuntivo. L'implementazione agli elementi finiti viene validata rispetto a soluzioni analitiche e tramite un'analisi di convergenza di mesh, quindi testata su quattro casi di test: una trave appoggio-appoggio, una trave a mensola, un caso di carico arbitrario e una mensola sotto peso proprio, tutti coerenti con i risultati presenti in letteratura. Vengono condotte analisi di sensitività sugli iperparametri α e β. I risultati confermano che il framework MDP–MCTS si estende con successo dagli elementi reticolari agli elementi finiti continui.