An hybrid ensemble model for time series prediction

Accurate time series forecasting remains a challenge with significant real-world implications spanning from optimizing decision-making processes, reducing costs, and mitigating risks across industries like finance, energy, and supply chain management. This thesis addresses two questions: Can hybrid models combining statistical and machine learning (ML) methods outperform standalone approaches? How do dataset characteristics influence hybrid effectiveness? We propose an ensemble framework integrating seasonal ARIMA (SARIMA) with LSTMs and tree-based boosters, using dynamic weighting to adapt contributions based on performance. Experiments on S\&P 500 and EUR/USD datasets reveal that the framework excels in volatile, non-trending environments (e.g., EUR/USD), where no single model dominates, by balancing adaptability and interpretability. However, in persistent trends (e.g., S\&P 500), static weighting outperforms dynamic adjustments, highlighting a trade-off between reactivity and consistency. Nonetheless, the proposed ensemble framework improves upon the performance of the best base model in both tested datasets, demonstrating the viability of hybrid approaches even as their effectiveness varies with data characteristics. While these results highlights the potential of dynamically weighted ensembles, future work is needed in order to further optimize the weighting strategy, possibly integrating context-aware meta-learning, or developing an automated parameter optimization frameworks to enhance robustness across diverse forecasting scenarios.

La previsione accurata delle serie temporali rimane una sfida con implicazioni significative nel mondo reale, che spaziano dall'ottimizzazione dei processi decisionali, alla riduzione dei costi e alla mitigazione dei rischi in settori come finanza, energia e gestione della supply chain. Questa tesi affronta due quesiti: i modelli ibridi che combinano metodi statistici e di machine learning (ML) possono superare gli approcci autonomi? In che modo le caratteristiche dei dataset influenzano l’efficacia degli ibridi? Proponiamo un framework ensemble che integra modelli ARIMA stagionali (SARIMA) con LSTM e metodi di boosting basati su alberi, utilizzando una ponderazione dinamica per adattare i contributi in base alle prestazioni. Esperimenti sui dataset S&P 500 ed EUR/USD rivelano che il framework eccelle in contesti volatili e privi di trend evidente (es. EUR/USD), dove nessun modello singolo domina, bilanciando adattabilità e interpretabilità. Tuttavia, in presenza di trend persistenti (es. S&P 500), una ponderazione statica supera gli aggiustamenti dinamici, evidenziando un compromesso tra reattività e coerenza. Nonostante ciò, il framework proposto migliora le prestazioni del miglior modello base in entrambi i dataset testati, dimostrando la fattibilità degli approcci ibridi anche se la loro efficacia varia in base alle caratteristiche dei dati. Sebbene questi risultati sottolineino il potenziale degli ensemble a ponderazione dinamica, futuri lavori dovranno ottimizzare la strategia di pesatura, integrando possibilmente meta-apprendimento contestuale o sviluppando framework automatizzati di ottimizzazione dei parametri per migliorare la robustezza in scenari previsivi eterogenei.