Towards reviving the Master Builder : autonomous design and construction using Deep Reinforcement Learning

Deep Reinforcement learning has recently started to be adopted in Architectural research. The application has been mainly focused on solving specific tasks whether in construction or in design optimization. Given the uniqueness of each architectural project and the need to adapt different design parameters to the changing environmental characteristics and site constraints, the nature of such projects could benefit on a larger scale from the success of deep reinforcement learning in playing complex strategic games. This research experiments the use of state-of the art reinforcement learning algorithms in a simulated, physics enabled, environment to manipulate design and site constraints towards realizing a complete structure. This process is guided by hierarchical goals designed by the human (Architect) to realize an appropriate design. The agent then tries to figure out an appropriate method to achieve these design goals based on the environment parameters while reviewing simultaneously the effect of its behavior and actions on the constructability of the project. Accordingly, this research introduces a new framework for autonomously designing and constructing a project. In such a framework, the architect is decoupled from detailed design tasks and is more challenged to transform the tacit architectural knowledge into a sequence of goals that would be exploited by an agent and implemented by construction robots to realize these goals into a real habitable structure. Therefore, the architect’s role is proposed to be shifted towards a newly revived form of a “Master Builder” that is rather concerned with the “supervision” of the agents’ behavior and laying down the general strategic goals for achieving a successful design. As a proof of concept, this research demonstrates a brick pavilion project developed in Unity with a simulated physics environment and uses the deep reinforcement learning framework enabled by ML-Agents. The goals are divided into design and construction driven goals. The design goals include, for instance, the achievement of proper natural ventilation through the selection of the position, height and number of openings and their proper alignment with prevailing wind direction or selecting the right porosity or spacing between bricks based on the required architectonic purposes in each phase. On the other hand, construction goals are more related to obeying the physics-based rules when placing bricks to avoid collapse and optimize the placement sequence towards less energy consumption by the agent.

Il Deep Reinforcement Learning ha recentemente iniziato ad essere adottato nella ricerca architettonica. L'applicazione è stata principalmente focalizzata sulla risoluzione di compiti specifici sia nella costruzione che nell'ottimizzazione della progettazione. Data l'unicità di ogni progetto architettonico e la necessità di adattare diversi parametri di progettazione alle mutevoli caratteristiche ambientali e ai vincoli del sito, la natura di tali progetti potrebbe trarre vantaggio su scala più ampia dal successo dell'apprendimento per Reinforcement Learning nell’ ambiente di complessi giochi strategici. Questa ricerca sperimenta l'uso di algoritmi di apprendimento per Reinforcement Learning in un ambiente simulato, abilitato alla fisica, per manipolare i vincoli di progettazione e sito verso la realizzazione di una struttura completa. Questo processo è guidato da obiettivi gerarchici progettati dall'uomo (architetto) per realizzare un progetto appropriato. L'agente quindi cerca di capire un metodo appropriato per raggiungere questi obiettivi di progettazione sulla base dei parametri ambientali, rivedendo contemporaneamente l'effetto del suo comportamento e delle sue azioni sulla costruibilità del progetto. Di conseguenza, questa ricerca introduce un nuovo quadro per la progettazione e la costruzione autonoma di un progetto. In tale contesto, l'architetto è disaccoppiato dai compiti di progettazione dettagliata ed è più sfidato a trasformare la conoscenza architettonica tacita in una sequenza di obiettivi che sarebbero sfruttati da un agente e implementati da robot di costruzione per realizzare questi obiettivi in una struttura abitabile reale. Pertanto, il ruolo dell'architetto si propone di essere spostato verso una forma rinnovata di " Mastro Costruttore " che si occupa piuttosto della "supervisione" del comportamento degli agenti e della definizione degli obiettivi strategici generali per il raggiungimento di un progetto di successo. Come prova di concetto, questa ricerca dimostra un progetto di padiglione in mattoni sviluppato in Unity con un ambiente di fisica simulata e utilizza il framework di apprendimento per Reinforcement Learning abilitato da ML-Agents. Gli obiettivi sono divisi in obiettivi di progettazione e costruzione. Gli obiettivi progettuali comprendono, ad esempio, il raggiungimento di una corretta ventilazione naturale attraverso la scelta della posizione, dell'altezza e del numero delle aperture e del loro corretto allineamento con la direzione prevalente del vento o selezionando la giusta porosità o interasse tra i mattoni in base alle finalità architettoniche richieste in ogni fase. D'altra parte, gli obiettivi di costruzione sono più legati al rispetto delle regole basate sulla fisica quando si posizionano i mattoni per evitare il collasso e ottimizzare la sequenza di posizionamento verso un minor consumo di energia da parte dell'agente.