Natural Language Processing (NLP) is widely used to solve several tasks in different design and construction fields. However, there are no applications of NLP related to the Pre-design phase. Analyzing the Italian public design call for tenders procedure, possible information loss, misinterpretations, or different interpretations can occur among the actors (i.e., the appointing party, the design teams participating in the call for tenders, and the external committee in charge of the evaluation of the design proposals). The study develops, assesses, and evaluates an NLP-based tool, named ArchiBERTo, for the automatic processing and translation of quality demands and needs into hierarchized objectives and criteria. The purpose of the entire system is to increase the compliance of design proposals and bid evaluation criteria with the appointing party’s demands, improving effective communication among the involved actors and creating a consensus around the appointing party’s quality objectives. The increased level of communication and compliance with the requests expressed in natural language aims to reduce possible misinterpretations, or different interpretations during the quality objectives and demands identification and translation task, increasing the communication and consequently minimizing the risk of a quality gap between quality demand and design offer. ArchiBERTo is developed, assessed, and evaluated on Design Guideline documents (Documenti di Indirizzo alla Progettazione DIP) of an Italian public tender procedure for designing and constructing school buildings, belonging to the Progetto Iscol@. Progetto Iscol@, led by the Autonomous Region of Sardinia, aims at improving the regional educational offer by building new schools and renovating old ones. Iscol@ procedures are single-stage design tenders and the project delivery method adopted is the Design-Build (DB) which involves a single operator for both the design and construction phases. The proposed methodology preserves the possibility for the appointing party to express quality demands and needs through natural language, by acting exclusively on the subsequent translation phase supporting the evaluation of the design proposals. In the assessment phase, ArchiBERTo shows good accuracy metrics values and a good capability in translating natural language expressions into a ranking of quality objectives/criteria. ArchiBERTo can support the communication and foster consensus among the actors, clarifying the appointing party and end-user objectives to be fulfilled via the design proposals. Moreover, to evaluate ArchiBERTo in a real case study the outputs generated by the tool and the outputs provided by a group of architecture and construction experts are compared. The results show a good capability of the NLP tool to mirror the collective ability and sensitivity of the group of experts proving to be less biased when compared with the assessment of an individual in the hierarchization/ranking of quality objectives-related sentences.

L'elaborazione del linguaggio naturale o Trattamento Automatico della Lingua (TAL) è attualmente utilizzato per risolvere numerosi compiti in diversi campi del settore costruzioni. Tuttavia, non sono presenti in letteratura applicazioni di TAL relative alla fase di pre-progettazione. Durante i vari step di una procedura di appalto pubblico per servizi di progettazione e costruzione, è possibile che si verifichino perdite di informazioni o differenti interpretazioni delle informazioni trasmesse tramite documenti da parte degli attori coinvolti (stazione appaltante, gruppi di progettazione che partecipano al bando e la commissione esterna incaricata della valutazione delle proposte progettuali). Lo studio sviluppa e valuta uno strumento basato sul TAL, denominato ArchiBERTo, per l'elaborazione e la traduzione automatica di richieste ed esigenze di qualità in una lista gerarchica di obiettivi e criteri. Lo scopo del sistema è quello di aumentare la conformità delle proposte progettuali e dei criteri di valutazione delle offerte alle richieste del committente, migliorando la comunicazione tra gli attori coinvolti creando una base comune rispetto agli obiettivi di qualità del committente pubblico. Il miglioramento della comunicazione delle richieste espresse in linguaggio naturale ha lo scopo di ridurre i possibili fraintendimenti o le diverse interpretazioni durante l'identificazione e traduzione degli obiettivi e richieste di qualità, riducendo il rischio di gap tra qualità attesa e qualità dell'offerta progettuale. ArchiBERTo è stato sviluppato e valutato su Documenti di Indirizzo alla Progettazione (DIP) di una gara d'appalto pubblica italiana per la progettazione e la costruzione di edifici scolastici, appartenenti al Progetto Iscol@. Il Progetto Iscol@, istituito dalla Regione Autonoma della Sardegna, mira a migliorare l'offerta formativa regionale attraverso la costruzione di nuove scuole e la ristrutturazione di edifici scolastici esistenti. Iscol@ prevede l'utilizzo di concorsi di progettazione in un'unica fase e l'adozione della procedura di appalto integrato, il quale prevede un unico operatore per le fasi di progettazione e costruzione. La metodologia proposta dalla ricerca preserva la possibilità per il committente pubblico di esprimere richieste ed esigenze di qualità attraverso il linguaggio naturale, agendo esclusivamente sulla successiva fase di traduzione a supporto della valutazione delle proposte progettuali. Nella fase di sviluppo, ArchiBERTo mostra buoni valori di accuratezza e una buona capacità di tradurre le espressioni in linguaggio naturale in una classifica di obiettivi/criteri di qualità. ArchiBERTo si dimostra in grado di supportare la comunicazione e di favorire il consenso tra gli attori, chiarendo gli obiettivi da perseguire da parte dei progettisti in gara. Inoltre, per valutare ArchiBERTo in un caso di studio reale, sono stati confrontati gli output generati dallo strumento e quelli forniti da un gruppo di esperti nel campo dell'architettura e delle costruzioni. I risultati mostrano una buona capacità dello strumento di rispecchiare la capacità e la sensibilità collettiva del gruppo di esperti, dimostrando di essere meno soggetto a bias rispetto alla valutazione di un singolo esperto nell'attività di gerarchizzazione di obiettivi e criteri.

Natural language processing supporting the design proposals evaluation in a public tender procedure. ArchiBERTo : expanding the Information modelling approach to unstructured textual data

Locatelli, Mirko
2022/2023

Abstract

Natural Language Processing (NLP) is widely used to solve several tasks in different design and construction fields. However, there are no applications of NLP related to the Pre-design phase. Analyzing the Italian public design call for tenders procedure, possible information loss, misinterpretations, or different interpretations can occur among the actors (i.e., the appointing party, the design teams participating in the call for tenders, and the external committee in charge of the evaluation of the design proposals). The study develops, assesses, and evaluates an NLP-based tool, named ArchiBERTo, for the automatic processing and translation of quality demands and needs into hierarchized objectives and criteria. The purpose of the entire system is to increase the compliance of design proposals and bid evaluation criteria with the appointing party’s demands, improving effective communication among the involved actors and creating a consensus around the appointing party’s quality objectives. The increased level of communication and compliance with the requests expressed in natural language aims to reduce possible misinterpretations, or different interpretations during the quality objectives and demands identification and translation task, increasing the communication and consequently minimizing the risk of a quality gap between quality demand and design offer. ArchiBERTo is developed, assessed, and evaluated on Design Guideline documents (Documenti di Indirizzo alla Progettazione DIP) of an Italian public tender procedure for designing and constructing school buildings, belonging to the Progetto Iscol@. Progetto Iscol@, led by the Autonomous Region of Sardinia, aims at improving the regional educational offer by building new schools and renovating old ones. Iscol@ procedures are single-stage design tenders and the project delivery method adopted is the Design-Build (DB) which involves a single operator for both the design and construction phases. The proposed methodology preserves the possibility for the appointing party to express quality demands and needs through natural language, by acting exclusively on the subsequent translation phase supporting the evaluation of the design proposals. In the assessment phase, ArchiBERTo shows good accuracy metrics values and a good capability in translating natural language expressions into a ranking of quality objectives/criteria. ArchiBERTo can support the communication and foster consensus among the actors, clarifying the appointing party and end-user objectives to be fulfilled via the design proposals. Moreover, to evaluate ArchiBERTo in a real case study the outputs generated by the tool and the outputs provided by a group of architecture and construction experts are compared. The results show a good capability of the NLP tool to mirror the collective ability and sensitivity of the group of experts proving to be less biased when compared with the assessment of an individual in the hierarchization/ranking of quality objectives-related sentences.
SCAIONI, MARCO
CARAGLIU, ANDREA ANTONIO
TAGLIABUE, LAVINIA CHIARA
15-dic-2022
Natural language processing supporting the design proposals evaluation in a public tender procedure. ArchiBERTo : expanding the Information modelling approach to unstructured textual data
L'elaborazione del linguaggio naturale o Trattamento Automatico della Lingua (TAL) è attualmente utilizzato per risolvere numerosi compiti in diversi campi del settore costruzioni. Tuttavia, non sono presenti in letteratura applicazioni di TAL relative alla fase di pre-progettazione. Durante i vari step di una procedura di appalto pubblico per servizi di progettazione e costruzione, è possibile che si verifichino perdite di informazioni o differenti interpretazioni delle informazioni trasmesse tramite documenti da parte degli attori coinvolti (stazione appaltante, gruppi di progettazione che partecipano al bando e la commissione esterna incaricata della valutazione delle proposte progettuali). Lo studio sviluppa e valuta uno strumento basato sul TAL, denominato ArchiBERTo, per l'elaborazione e la traduzione automatica di richieste ed esigenze di qualità in una lista gerarchica di obiettivi e criteri. Lo scopo del sistema è quello di aumentare la conformità delle proposte progettuali e dei criteri di valutazione delle offerte alle richieste del committente, migliorando la comunicazione tra gli attori coinvolti creando una base comune rispetto agli obiettivi di qualità del committente pubblico. Il miglioramento della comunicazione delle richieste espresse in linguaggio naturale ha lo scopo di ridurre i possibili fraintendimenti o le diverse interpretazioni durante l'identificazione e traduzione degli obiettivi e richieste di qualità, riducendo il rischio di gap tra qualità attesa e qualità dell'offerta progettuale. ArchiBERTo è stato sviluppato e valutato su Documenti di Indirizzo alla Progettazione (DIP) di una gara d'appalto pubblica italiana per la progettazione e la costruzione di edifici scolastici, appartenenti al Progetto Iscol@. Il Progetto Iscol@, istituito dalla Regione Autonoma della Sardegna, mira a migliorare l'offerta formativa regionale attraverso la costruzione di nuove scuole e la ristrutturazione di edifici scolastici esistenti. Iscol@ prevede l'utilizzo di concorsi di progettazione in un'unica fase e l'adozione della procedura di appalto integrato, il quale prevede un unico operatore per le fasi di progettazione e costruzione. La metodologia proposta dalla ricerca preserva la possibilità per il committente pubblico di esprimere richieste ed esigenze di qualità attraverso il linguaggio naturale, agendo esclusivamente sulla successiva fase di traduzione a supporto della valutazione delle proposte progettuali. Nella fase di sviluppo, ArchiBERTo mostra buoni valori di accuratezza e una buona capacità di tradurre le espressioni in linguaggio naturale in una classifica di obiettivi/criteri di qualità. ArchiBERTo si dimostra in grado di supportare la comunicazione e di favorire il consenso tra gli attori, chiarendo gli obiettivi da perseguire da parte dei progettisti in gara. Inoltre, per valutare ArchiBERTo in un caso di studio reale, sono stati confrontati gli output generati dallo strumento e quelli forniti da un gruppo di esperti nel campo dell'architettura e delle costruzioni. I risultati mostrano una buona capacità dello strumento di rispecchiare la capacità e la sensibilità collettiva del gruppo di esperti, dimostrando di essere meno soggetto a bias rispetto alla valutazione di un singolo esperto nell'attività di gerarchizzazione di obiettivi e criteri.
File allegati
File Dimensione Formato  
PhD_Locatelli.pdf

non accessibile

Descrizione: Natural Language Processing supporting the design proposals evaluation in a public tender procedure. ArchiBERTo: expanding the Information Modeling approach to unstructured textual data
Dimensione 6.08 MB
Formato Adobe PDF
6.08 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/194931