An AI-based methodology for the identification of amphibian species through acoustic pattern analysis

This thesis develops and evaluates an artificial intelligence methodology to identify amphibian species from passive acoustic monitoring recordings collected in the Tapytá Nature Reserve (Paraguay). In real-world conditions the soundscape is complex (wind, insects, rain, birds) and labeled data are scarce: the goal is to obtain a reproducible and updatable system, useful both for call recognition and for manual review of the data. Among the possible strategies, the final choice is a modular "encoder + classifier on top" approach: an audio model extracts a signal representation and a classification component, trained and calibrated on labeled data from the reserve, learns to predict the species. To provide the reserve with the most suitable alternative, technologies within the same scheme were compared: a ready-to-use baseline (BirdNET, with integrated feature extraction and classification) and "frozen encoder + linear classifier" pipelines based on pre-trained/self-supervised encoders (AVES and BYOL-A), including in-domain adaptation of BYOL-A (lightweight pre-training on the park's audio, training from scratch). Multi-label decisions use per-class thresholds calibrated on validation data; performance is measured with macro-F1, micro-F1, Top-1 accuracy, and exact match. The results indicate that BirdNET is an effective and robust solution with limited labeled data. However, the comparison also highlights competitive alternatives: starting from an off-the-shelf model and applying periodic in-domain pre-training, as labels and target species increase, can make the system progressively more specific to the reserve, provided that the adaptation corpus is well aligned with the target calls. The thesis also proposes two label-expansion strategies (clustering for frequent species and targeted scanning for rare species) and an archive-scanning procedure over unlabeled data that exports candidate segments, defining an iterative cycle "scan->manual review->adaptation->expansion".

Questa tesi sviluppa e valuta una metodologia di intelligenza artificiale per identificare specie di anfibi da registrazioni di monitoraggio acustico passivo raccolte nella Riserva Naturale Tapytá (Paraguay). Nel contesto reale il paesaggio sonoro è complesso (vento, insetti, pioggia, uccelli) e i dati etichettati sono pochi: l’obiettivo è ottenere un sistema riproducibile e aggiornabile, utile per il riconoscimento dei richiami e per la revisione manuale dei dati. Tra le diverse strategie possibili, la scelta è un approccio modulare "encoder + classificatore on top": un modello audio estrae una rappresentazione del segnale e un componente di classificazione, addestrato e calibrato con dati etichettati del parco, impara a predire le specie. Per proporre al parco l’alternativa più adatta sono state confrontate tecnologie nello stesso schema: un baseline pronto all’uso (BirdNET, con estrazione di caratteristiche e classificazione integrate) e pipeline "encoder congelato + classificatore lineare" basate su encoder pre-addestrati/auto-supervisionati (AVES e BYOL-A), includendo adattamento in-domain di BYOL-A (pre-addestramento leggero su audio del parco, addestramento da zero). Le decisioni multi-etichetta usano soglie per classe calibrate su validation; le prestazioni sono misurate con macro-F1, micro-F1, Top-1 accuracy ed exact match. I risultati indicano che BirdNET è una soluzione efficace e robusta con pochi dati. Tuttavia, il confronto evidenzia alternative competitive: partire da un modello off-the-shelf e applicare adattamenti periodici tramite pre-addestramento in-domain, man mano che aumentano etichette e specie, può rendere il sistema più specifico per il parco se il corpus di adattamento è ben allineato ai richiami target. La tesi propone inoltre due strategie di espansione delle etichette (clustering per specie frequenti e scansione mirata per specie rare) e una procedura di scansione dell’archivio non etichettato che esporta segmenti candidati, definendo un ciclo iterativo "scansione->revisione manuale->adattamento->espansione".