Exploring power reliability and performance aspects in on-chip networks for multi-cores

While the aggressive technology scaling is fueling the integration of more and more transistors in a single die, power, heat and reliability constraints forced the computer industry to shift from single-core to multi-core architectures in order to better manage such constraints. In this scenario, the need for huge and flexible interconnection resources highlights the limits of classic bus-based architectures and Networks-on-Chip (NoCs), also called On-Chip Networks (OCNs), emerged as a viable solution to deliver such requirements. Most of the previous research focused on NoC optimizations exploiting actuators such as DVFS and power gating, eventually combined with novel microarchitectural solutions without carefully consider the associated overheads which can partially or even totally shadow the benefits of the proposed methodology. Moreover, the need to account for both cores and memory subsystem interactions during the NoC design and optimization, requires flows providing a variety of accurate estimates related to the considered architecture. In this perspective, the proposed research provides contributions in three different ways to explore and optimize the power-reliability-performance figure of merit in NoC-based multi-cores. First, a complete cycle accurate simulation framework which allows to collect power, performance and reliability metrics on both cores and NoC has been developed starting from available open source tools. Some of them have been enhanced while part of the toolchain has been developed from scratch. Second, two different actuators, i.e. power gating and DFS with partial support for voltage scaling, have been integrated in the simulation flow starting from accurate analytical models. Furthermore, the developed SPICE models allowed to integrate both their timing and power consumption. The proposed actuators have been coupled with the NoC model enabling the possibility to use them on a per router basis up to islands of routers of different sizes. The third contribution is related to the development of three different methodologies jointly considering power, reliability andperformance. In particular, the first proposal focuses on the dynamic-power/performance trade-off in NoC routers exploiting the DFS model by implementing a control-based methodology. The second proposal concerns static-power/performance optimization of routers' buffers, which is the main static power source. It effectively exploits the power gating support offered by the implemented simulation flow. Moreover, the proposal takes into account the NBTI aging mechanism, that is a physical phenomena which tends to degrade the CMOS logic performance over the time. The last methodology focuses on static operating frequency assignment in a multi-core to reduce the power consumption, with the final objective to control the thermal profile. A complete linear model of the system has been created to optimally set the frequencies considering several figures of merit. The research ideas still in a early stage of maturity, representing the directions of the future investigations, have been gathered in the Appendix. Such chapter is split in two parts. First of all it is proposed a methodology which combines multiple mechanisms i.e. DFS and adaptive routing, to aggressively face with power-performance trade-off. It is worth to note that the adaptive routing represents an additional mechanism to manage the already considered metrics. Second, a preliminary DVFS timing and power models have been integrated in the NoC model, enabling the simulation analysis to compares DVFS, DFS and the static frequency solutions.

La possibilità di integrare un numero sempre maggiore di transistors all'interno del singolo die, grazie al processo di miniaturizzazione tecnologica, consente un continuo aumento delle prestazioni dei calcolatori, determinando al contempo un impatto maggiore dei problemi di affidabilità, dissipazione del calore e consumo di potenza del chip. Per fronteggiare questi problemi, si assiste al passaggio da architetture a singolo core verso architetture multi-cores dove i sottosistemi di interconnesione tra i cores acquisiscono un importanza via via crescente. In questo scenario, i limiti di scalabilità, flessibilità e affidabilità delle architetture basate su bus determinano l'avvento delle soluzioni di On-Chip Networks (OCNs), note anche come Networks-On-Chip (NoCs), come standard nell'interconnessione on-chip per i sistemi multi-cores. Tuttavia, queste architetture necessitano di un'attenta analisi in fase di design al fine di ottimizzare gli aspetti di consumo di potenza, affidabilità, prestazioni, poichè tali metriche si riflettono direttamente sulle prestazioni dell'intero chip. Questa ricerca propone tre contributi fondamentali partendo dallo stato dell'arte delle Networks-On-Chip. Primo, un flusso di simulazione completo per sistemi multi-cores in grado estrarre contemporaneamente differenti metriche relative alla NoC, ai cores e al sottosistema di memoria è stato proposto al fine di ottimizzare il design della NoC. Tale flusso è motivato dalla necessità di valutare differenti metriche durante l'ottimizzazione e design della NoC e dalla stretta relazione tra la NoC e gli altri sottosistemi on-chip, cores e gerarchia di memoria. Il secondo contributo riguarda la modellazione e integrazione nel flusso di simulazione di moduli di Dynamic Voltage and Frequency Scaling (DVFS) e power gating utilizzati come attuatori nell'ottimizzazione dei tradeoff power-performance e reliability-performance. In particolare, la necessità di considerare gli overheads prestazionali e di consumo di potenza degli attuatori consente di non sovrastimare i benefici delle metodologie proposte che potrebbero essere parzialmente o totalmente annullati dagli overheads dell'attuazione. Il terzo contributo della ricerca, riguarda lo studio di tre differenti metodologie per l'ottimizzazione congiunta di aspetti consumo di potenza, affidabilità e performance della NoC. La prima metodologia studia l'ottimizzazione potenza-dinamica/prestazioni tramite moduli DVFS nei routers. La seconda metodologia si focalizza sulla riduzione congiunta del consumo statico di potenza ed effetti di invecchiamento di tipo Bias Temperature Instability (BTI) sotto un vincolo di prestazioni per i routers della NoC. La terza metodologia si concentra sull'assegnamento ottimo delle frequenze operative del multi-core al fine di ridurre il consumo di potenza, controllando il profilo termico e garantendo fairness tra i processi in esecuzione.