Marine ecosystem monitoring : a new deep learning based citizen science framework

Sea species play an important role to make our ecosystem balanced. They are high value coastal resources that provide a range of ecosystem services, including physical protection of coastlines, maintenance of water quality, increasing fisheries productivity, tourism, pollution reduction, and protection from sudden climate change. With the rapid development of our society and economy, human marine activities have also increased, which has caused several imbalances in marine ecosystems making them vulnerable. Therefore most of the countries having oceans are required to run sea species monitoring programs. In order to measure the e↵ects of the anthropic pressure on these environments, we have studied a new type of underwater surveillance consisting in embedding a camera in sport equipment of citizens such as face masks, surfboards, paddleboards or kiteboards. In this thesis we propose a deep learning algorithm, for the classification of marine images taken in motion, exploiting the transfer learning technique. We have solved this challenge using manual annotation, algorithms for dataset separation (train & validation sets), data augmentation techniques, thresholding strategies and mini-batch strategies. We have implemented our models in Python and we have tested their performance on real datasets. Thanks to the results obtained, it was possible to create presence maps useful to start monitoring the general health status of studied species.

Le specie marine giocano un ruolo importante nell’equilibrio del nostro ecosistema. Esse sono una risorsa di alto valore che fornisce una serie di servizi ecosistemici tra cui la protezione fisica delle coste, il mantenimento della qualit`a dell’acqua, l’aumento della produttivit`a della pesca, il turismo, la riduzione dell’inquinamento e la protezione da improvvisi cambiamenti climatici. Con il rapido sviluppo della nostra societ`a e della nostra economia, anche le attivit`a umane marine sono aumentate, il che ha causato diversi squilibri negli ecosistemi marini rendendoli molto vulnerabili. Pertanto, la maggior parte dei paesi che hanno oceani sono tenuti a eseguire un programma di monitoraggio delle specie marine. Al fine di misurare gli e↵etti della pressione antropica su questi ambienti, abbiamo studiato un nuovo tipo di sorveglianza subacquea che consiste nell’incorporare una telecamera nelle attrezzature sportive dei cittadini come tavole da surf, paddleboard, maschere o kiteboard. In questa tesi proponiamo un algoritmo di deep learning, per la classificazione di im- magini marine riprese in movimento, sfruttando la tecnica del transfer learning. Dopo aver scattato una foto, la classificazione delle specie presenti su di essa `e una sfida che abbiamo risolto utilizzando l’annotazione manuale delle immagini, algoritmi per la separazione del dataset (train & validation sets), tecniche di data augmentation, strate- gie di thresholding e strategie di mini-batch. Abbiamo implementato i nostri modelli in Python e abbiamo testato le loro prestazioni su dataset reali. Grazie ai risultati ottenuti, `e stato possibile creare mappe di presenza utili per iniziare un monitoraggio sullo stato generale di salute delle specie studiate.