A study of the design of tailored proteins using knowledge distillation and a transformer-based architecture

Proteins regulate life’s most fundamental functions. The spontaneous folding of long polypeptide chains into protein structures is the simplest form of biological self-organization. If we were able to understand the principles of protein folding it would be possible to design from scratch tailored proteins with new or enhanced properties, as well as proteins with therapeutic potential. Classical research about protein structure is performed in laboratories, requiring long processes and high costs. However, Artificial Intelligence now offers a quicker and cheaper alternative route. This study investigates using one such Artificial Intelligence technique, Deep Learning, as a viable alternative to the classical approach. However, Deep Learning models can be very complex and resource demanding. This study therefore also explores using Knowledge Distillation as a method to address these issues. Results from the study show the importance of an adequate choice of the Student architecture and of the Knowledge transfer from the Teacher architecture in the context of Knowledge Distillation.

Le proteine regolano le funzioni fondamentali della vita. Il ripiegamento spontaneo di lunghe catene polipeptidiche in strutture proteiche è un esempio di auto-organizzazione biologica. Se noi fossimo in grado di comprenderne i principi, saremmo capaci di progettare da zero proteine su misura con nuove proprietà terapeutiche. Solitamente gli studi sulla struttura delle proteine vengono eseguiti in laboratorio, richiedondo processi lunghi e costi elevati. Tuttavia, l’Intelligenza Artificiale ora offre un percorso alternativo più veloce e più economico. Questo studio indaga una tecnica di intelligenza artificiale, ovvero il Deep Learning, come valida alternativa all’approccio classico. Tuttavia, i modelli di Deep Learning possono essere molto complessi, richiedendo risorse elevate. Questo studio considera quindi anche l’utilizzo di una tecnica chiamata Knowledge Distillation come metodo per affrontare questi problemi. I risultati di questo studio dimostrano l’importanza della scelta di un’adeguata rete Student e del processo di trasferimento della conoscenza da parte della rete Teacher nel contesto di Knowledge Distillation.