This thesis presents Blaze, a deep reinforcement learning agent, and two audio designs, Adaptive and Enhanced, developed for the DareFightingICE Competitions at IEEE CoG 2024. Unlike state-of-the-art AIs that mainly depend on visual information, Blaze exclusively uses audio input to fight and relies on four distinct sound encoders. The training process utilizes the Rainbow algorithm, enabling the agent to learn and make strategic decisions. Experimental results demonstrate exceptional performance, showing it can effectively understand the game state through audio cues and outperform other opponents. The agent ultimately secured second place in the 2024 DareFightingICE AI competition. To further explore sound accessibility and enhance sound design in fighting games for Visually Impaired Players (VIPs), we propose two different approaches. The first, called Adaptive, is a novel Background Music (BGM) system that adjusts volume to reflect game states like Health Points (HP) and Energy Points (EP). The second, Enhanced, follows a more traditional sound design direction, focusing on improved sound effects. To evaluate the effectiveness of both designs, we conducted human and AI evaluations, notably using Blaze as one of the judges. As a result, Enhanced design outperformed the 2023 sound competition winner, securing third place in the 2024 DareFightingICE sound competition. When comparing the two sound designs, human players performed better with Adaptive design, while AIs favored Enhanced sound design. Together, these research contributions highlight the potential for audio-based solutions to improve game accessibility for VIPs.

L'obiettivo di questa tesi è presentare Blaze, un agente di deep reinforcement learning, insieme a due modelli di audio design denominati Adaptive ed Enhanced, sviluppati per le competizioni DareFightingICE all'IEEE CoG 2024. A differenza degli agenti all'avanguardia, che si basano principalmente su informazioni visive, Blaze utilizza esclusivamente input audio per il processo decisionale, sfruttando quattro sound encoder distinti. L'addestramento è stato effettuato utilizzando l'algoritmo Rainbow, permettendo a Blaze di apprendere e prendere decisioni strategiche. I risultati empirici mostrano prestazioni eccezionali, dimostrando la capacità dell'agente di comprendere lo stato del gioco attraverso segnali audio e di superare gli avversari, raggiungendo il secondo posto nella competizione AI DareFightingICE del 2024. Per esplorare la sound accessibility e migliorare il sound design nei giochi di combattimento per giocatori ipovedenti, proponiamo due approcci distinti. Il primo, Adaptive, è un sistema che regola il volume della musica di sottofondo in base a parametri di gioco come i punti salute e i punti energia. Il secondo, Enhanced, adotta un approccio più tradizionale, concentrandosi sugli effetti sonori migliorati. Abbiamo valutato l'efficacia di entrambi i design attraverso esperimenti condotti con persone e AI, utilizzando Blaze come uno dei giudici. I risultati hanno mostrato che il design Enhanced ha superato il vincitore della DareFightingICE sound competition del 2023, classificandosi terzo nell'edizione del 2024. Nel confronto tra i due approcci, i giocatori umani hanno ottenuto prestazioni migliori con il design Adaptive, mentre le AI hanno preferito l'approccio Enhanced. Questi contributi alla ricerca evidenziano il potenziale delle soluzioni audio-based per migliorare l'accessibilità dei giochi per giocatori ipovedenti.

Can blind AI fight? Exploring AI and audio design in DareFightingICE

Zhuang, Yan
2023/2024

Abstract

This thesis presents Blaze, a deep reinforcement learning agent, and two audio designs, Adaptive and Enhanced, developed for the DareFightingICE Competitions at IEEE CoG 2024. Unlike state-of-the-art AIs that mainly depend on visual information, Blaze exclusively uses audio input to fight and relies on four distinct sound encoders. The training process utilizes the Rainbow algorithm, enabling the agent to learn and make strategic decisions. Experimental results demonstrate exceptional performance, showing it can effectively understand the game state through audio cues and outperform other opponents. The agent ultimately secured second place in the 2024 DareFightingICE AI competition. To further explore sound accessibility and enhance sound design in fighting games for Visually Impaired Players (VIPs), we propose two different approaches. The first, called Adaptive, is a novel Background Music (BGM) system that adjusts volume to reflect game states like Health Points (HP) and Energy Points (EP). The second, Enhanced, follows a more traditional sound design direction, focusing on improved sound effects. To evaluate the effectiveness of both designs, we conducted human and AI evaluations, notably using Blaze as one of the judges. As a result, Enhanced design outperformed the 2023 sound competition winner, securing third place in the 2024 DareFightingICE sound competition. When comparing the two sound designs, human players performed better with Adaptive design, while AIs favored Enhanced sound design. Together, these research contributions highlight the potential for audio-based solutions to improve game accessibility for VIPs.
LOIACONO, DANIELE
ING - Scuola di Ingegneria Industriale e dell'Informazione
9-ott-2024
2023/2024
L'obiettivo di questa tesi è presentare Blaze, un agente di deep reinforcement learning, insieme a due modelli di audio design denominati Adaptive ed Enhanced, sviluppati per le competizioni DareFightingICE all'IEEE CoG 2024. A differenza degli agenti all'avanguardia, che si basano principalmente su informazioni visive, Blaze utilizza esclusivamente input audio per il processo decisionale, sfruttando quattro sound encoder distinti. L'addestramento è stato effettuato utilizzando l'algoritmo Rainbow, permettendo a Blaze di apprendere e prendere decisioni strategiche. I risultati empirici mostrano prestazioni eccezionali, dimostrando la capacità dell'agente di comprendere lo stato del gioco attraverso segnali audio e di superare gli avversari, raggiungendo il secondo posto nella competizione AI DareFightingICE del 2024. Per esplorare la sound accessibility e migliorare il sound design nei giochi di combattimento per giocatori ipovedenti, proponiamo due approcci distinti. Il primo, Adaptive, è un sistema che regola il volume della musica di sottofondo in base a parametri di gioco come i punti salute e i punti energia. Il secondo, Enhanced, adotta un approccio più tradizionale, concentrandosi sugli effetti sonori migliorati. Abbiamo valutato l'efficacia di entrambi i design attraverso esperimenti condotti con persone e AI, utilizzando Blaze come uno dei giudici. I risultati hanno mostrato che il design Enhanced ha superato il vincitore della DareFightingICE sound competition del 2023, classificandosi terzo nell'edizione del 2024. Nel confronto tra i due approcci, i giocatori umani hanno ottenuto prestazioni migliori con il design Adaptive, mentre le AI hanno preferito l'approccio Enhanced. Questi contributi alla ricerca evidenziano il potenziale delle soluzioni audio-based per migliorare l'accessibilità dei giochi per giocatori ipovedenti.
File allegati
File Dimensione Formato  
2024_10_Zhuang_Executive Summary.pdf

accessibile in internet per tutti

Descrizione: Executive Summary
Dimensione 805.21 kB
Formato Adobe PDF
805.21 kB Adobe PDF Visualizza/Apri
2024_10_Zhuang_Thesis.pdf

accessibile in internet per tutti

Descrizione: Thesis
Dimensione 8.46 MB
Formato Adobe PDF
8.46 MB Adobe PDF Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/227402