Towards scalable micro-scaling floating point GEMM acceleration: implementation and validation of the SeyrITA SoC

Transformer-based workloads make dense linear algebra (GEMM) a dominant cost, and on embedded systems performance is constrained not only by compute throughput. The memory wall makes it difficult to sustain high utilization when parameters and activations must be moved repeatedly. As a result, efficiency depends on keeping matrix tiles on-chip, moving data efficiently across the memory hierarchy, and limiting the software cost of repeatedly configuring, launching, and synchronizing kernels. In addition, standard low-precision formats such as INT8 are challenged by transformer activation outliers, motivating micro-scaling formats (MX) where blocks of mantissas share scaling exponents. This thesis implements SeyrITA, a heterogeneous RISC-V SoC designed around these constraints, and prototypes it on FPGA. The system integrates an application-class host subsystem with a near-memory compute domain based on a many-core cluster sharing a software-managed banked Tightly Coupled Data Memory (TCDM). Within the cluster domain, it integrates an MX-based GEMM accelerator (MANTA) targeting a performance peak of 512 MAC/cycle. Moreover, it adapts the software stack to the SoC memory map and control interfaces, enabling host-driven offload, explicit data movement, and interrupt-driven completion. A key outcome of this work is a validated full-stack hardware/software platform that can be tested beyond RTL simulation through FPGA prototyping. In addition, the FPGA prototype enables cycle-level measurements that characterize the behavior of the integrated accelerator in its system context and support quantitative positioning against comparable SoC-integrated GEMM designs when sufficient information is available. In the accelerator activity window, sustained throughput reaches up to 93% of peak. Overall, the thesis provides a complete integration baseline, from RTL to software stack and physical prototyping, for studying MX-based dense compute within an open, TCDM-based RISC-V SoC, and establishes a validated platform that can be extended toward broader workloads and ASIC implementation.

Applicazioni basate su Transformer rendono il prodotto matriciale (GEMM) una componente dominante del tempo di esecuzione, ma nei sistemi embedded le prestazioni non dipendono solo dalla potenza di calcolo. Il memory wall rende difficile mantenere alta l’utilizzazione quando pesi e attivazioni devono essere letti e scritti ripetutamente. Dunque, l’efficienza dipende dalla capacità di tenere i dati on-chip, di gestire bene i trasferimenti e di contenere l’overhead software dovuto alla configurazione, avvio e sincronizzazione dei kernel. Inoltre, i formati di dati a bassa precisione più comuni (e.g. INT8) diventano problematici sui Transformer per via degli outlier nelle attivazioni, motivando l’adozione di formati di micro-scaling (MX) in cui gruppi di mantisse condividono gli esponenti di scala. Questa tesi implementa SeyrITA e lo prototipa su FPGA, realizzando un SoC eterogeneo che integra un application-class host con un sottosistema di calcolo near-memory composto da cluster many-core con memoria scratchpad L1 gestita via software (TCDM). All’interno del cluster viene integrato un acceleratore GEMM basato su MX (MANTA), con un picco di 512 MAC/cycle, adattando lo stack software alla memory map e alle interfacce di controllo del SoC, in modo da supportare l’offloading da host a cluster, trasferimenti dati espliciti e completamento tramite interrupt. Un risultato centrale del lavoro è una piattaforma HW/SW completa e validata, utilizzabile per test di sistema su FPGA a velocità non ottenibili in simulazione RTL. Il prototipo FPGA abilita inoltre metriche di performance cycle-accurate, utili a studiare il comportamento dell’acceleratore nel contesto in cui è integrato e a posizionarlo quantitativamente rispetto a soluzioni GEMM integrate in SoC comparabili, quando le informazioni pubblicate lo consentono. Nella finestra di attività dell’acceleratore, il throughput sostenuto raggiunge fino al 93% del picco. In sintesi, la tesi fornisce una baseline completa di integrazione, da RTL allo stack software fino alla prototipazione fisica, per studiare un acceleratore di GEMM basato su MX in un SoC RISC-V open e con TCDM, e stabilisce una piattaforma validata estendibile verso applicazioni più complesse e verso l’implementazione ASIC.