A novel hybrid HBM-DDR main memory architecture for HPC systems

Modern High-Performance Computing (HPC) systems are increasingly limited by memory bandwidth rather than processor performance. While CPUs can process data faster, conventional DDR memory fails to supply it at a matching rate. High Bandwidth Memory (HBM) offers a potential solution thanks to its higher bandwidth, but its limited capacity and cost prevent it from replacing DDR entirely. This thesis presents a synthesizable cache controller microarchitecture that uses HBM as a Last-Level Cache (LLC) for DDR memory. The design combines the advantages of both memories and introduces scalable management policies optimized for HPC workloads. Experimental results show that the proposed controller efficiently exploits data locality, achieving significant performance improvements for sequential and high-reuse access patterns. Synthesis results confirm feasibility at 1 GHz with a compact area, making the architecture suitable for ASIC integration.

I moderni sistemi di calcolo ad alte prestazioni (HPC) sono sempre più limitati dalla larghezza di banda della memoria piuttosto che dalla potenza di calcolo. Le CPU possono elaborare i dati più rapidamente di quanto la memoria DDR riesca a fornirli. La memoria HBM, grazie alla sua maggiore banda, rappresenta una possibile soluzione, ma la capacità ridotta e l’alto costo ne impediscono l’uso esclusivo. Questa tesi propone una microarchitettura sintetizzabile di un cache controller che utilizza la HBM come cache di ultimo livello (LLC) per la memoria DDR. Il design combina i vantaggi delle due memorie e introduce politiche di gestione scalabili, ottimizzate per i carichi di lavoro HPC. I risultati sperimentali mostrano che il controllore sfrutta efficacemente la località dei dati, ottenendo miglioramenti significativi per accessi sequenziali e con alto riutilizzo. La sintesi conferma il corretto funzionamento a 1 GHz e un’area contenuta, rendendo l’architettura adatta all’integrazione ASIC.