This thesis presents Blaze, a deep reinforcement learning agent, and two audio designs, Adaptive and Enhanced, developed for the DareFightingICE Competitions at IEEE CoG 2024. Unlike state-of-the-art AIs that mainly depend on visual information, Blaze exclusively uses audio input to fight and relies on four distinct sound encoders. The training process utilizes the Rainbow algorithm, enabling the agent to learn and make strategic decisions. Experimental results demonstrate exceptional performance, showing it can effectively understand the game state through audio cues and outperform other opponents. The agent ultimately secured second place in the 2024 DareFightingICE AI competition. To further explore sound accessibility and enhance sound design in fighting games for Visually Impaired Players (VIPs), we propose two different approaches. The first, called Adaptive, is a novel Background Music (BGM) system that adjusts volume to reflect game states like Health Points (HP) and Energy Points (EP). The second, Enhanced, follows a more traditional sound design direction, focusing on improved sound effects. To evaluate the effectiveness of both designs, we conducted human and AI evaluations, notably using Blaze as one of the judges. As a result, Enhanced design outperformed the 2023 sound competition winner, securing third place in the 2024 DareFightingICE sound competition. When comparing the two sound designs, human players performed better with Adaptive design, while AIs favored Enhanced sound design. Together, these research contributions highlight the potential for audio-based solutions to improve game accessibility for VIPs.
L'obiettivo di questa tesi è presentare Blaze, un agente di deep reinforcement learning, insieme a due modelli di audio design denominati Adaptive ed Enhanced, sviluppati per le competizioni DareFightingICE all'IEEE CoG 2024. A differenza degli agenti all'avanguardia, che si basano principalmente su informazioni visive, Blaze utilizza esclusivamente input audio per il processo decisionale, sfruttando quattro sound encoder distinti. L'addestramento è stato effettuato utilizzando l'algoritmo Rainbow, permettendo a Blaze di apprendere e prendere decisioni strategiche. I risultati empirici mostrano prestazioni eccezionali, dimostrando la capacità dell'agente di comprendere lo stato del gioco attraverso segnali audio e di superare gli avversari, raggiungendo il secondo posto nella competizione AI DareFightingICE del 2024. Per esplorare la sound accessibility e migliorare il sound design nei giochi di combattimento per giocatori ipovedenti, proponiamo due approcci distinti. Il primo, Adaptive, è un sistema che regola il volume della musica di sottofondo in base a parametri di gioco come i punti salute e i punti energia. Il secondo, Enhanced, adotta un approccio più tradizionale, concentrandosi sugli effetti sonori migliorati. Abbiamo valutato l'efficacia di entrambi i design attraverso esperimenti condotti con persone e AI, utilizzando Blaze come uno dei giudici. I risultati hanno mostrato che il design Enhanced ha superato il vincitore della DareFightingICE sound competition del 2023, classificandosi terzo nell'edizione del 2024. Nel confronto tra i due approcci, i giocatori umani hanno ottenuto prestazioni migliori con il design Adaptive, mentre le AI hanno preferito l'approccio Enhanced. Questi contributi alla ricerca evidenziano il potenziale delle soluzioni audio-based per migliorare l'accessibilità dei giochi per giocatori ipovedenti.
Can blind AI fight? Exploring AI and audio design in DareFightingICE
Zhuang, Yan
2023/2024
Abstract
This thesis presents Blaze, a deep reinforcement learning agent, and two audio designs, Adaptive and Enhanced, developed for the DareFightingICE Competitions at IEEE CoG 2024. Unlike state-of-the-art AIs that mainly depend on visual information, Blaze exclusively uses audio input to fight and relies on four distinct sound encoders. The training process utilizes the Rainbow algorithm, enabling the agent to learn and make strategic decisions. Experimental results demonstrate exceptional performance, showing it can effectively understand the game state through audio cues and outperform other opponents. The agent ultimately secured second place in the 2024 DareFightingICE AI competition. To further explore sound accessibility and enhance sound design in fighting games for Visually Impaired Players (VIPs), we propose two different approaches. The first, called Adaptive, is a novel Background Music (BGM) system that adjusts volume to reflect game states like Health Points (HP) and Energy Points (EP). The second, Enhanced, follows a more traditional sound design direction, focusing on improved sound effects. To evaluate the effectiveness of both designs, we conducted human and AI evaluations, notably using Blaze as one of the judges. As a result, Enhanced design outperformed the 2023 sound competition winner, securing third place in the 2024 DareFightingICE sound competition. When comparing the two sound designs, human players performed better with Adaptive design, while AIs favored Enhanced sound design. Together, these research contributions highlight the potential for audio-based solutions to improve game accessibility for VIPs.File | Dimensione | Formato | |
---|---|---|---|
2024_10_Zhuang_Executive Summary.pdf
accessibile in internet per tutti
Descrizione: Executive Summary
Dimensione
805.21 kB
Formato
Adobe PDF
|
805.21 kB | Adobe PDF | Visualizza/Apri |
2024_10_Zhuang_Thesis.pdf
accessibile in internet per tutti
Descrizione: Thesis
Dimensione
8.46 MB
Formato
Adobe PDF
|
8.46 MB | Adobe PDF | Visualizza/Apri |
I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.
https://hdl.handle.net/10589/227402