A big data decision support system for the evaluation of mass market promotional events

In the Mass Market Retailer industry, promotional events are generally considered hard to predict both for the nature of the effects, which are widespread on long time periods and difficult to isolate, and for the nature of promotional features measurability. Considering this ecosystem, a few thing have been done in the literature to implement machine learning capabilities into a simulation system which is able to reduce decisional bias and evaluate features combination effectiveness. One of the main reasons behind this technological gap is the lack of a unique indicator for evaluating the overall promotional effectiveness. The objective of this thesis is the design and empirical testing of a comprehensive simulation Decision Support System which evaluates the effectiveness of promotional events in Mass Market Retailer industry, leveraging Big Data analysis trough Machine Learning techniques, and, moreover, provide a new evaluation metric which takes into account short, intermediate and long term effects, in order to suggest the best possible configurations of promotional features for supporting the decision making process. During the testing phase we analyzed data from an Italian Mass Market Retailer and implements three different models for providing accurate real time forecasts on a given promotion on a planning phase. The forecasted quantities are then tested against precomputed non promotional baselines in order to estimate the Promotional Sales increment, the Cross Product and Cross Period effects. The outcomes of this process shape the PADG, which is the proposed evaluation metric for estimating the promotional effectiveness, considering the marginal gains and losses produced by every effect analyzed. Our work enabled us, first of all, to reduce the current forecast MMR MAPE error of nearly 270%, providing more accurate estimates for the procurement department, and potentially reducing the costs of overstocking and generally the sales losses due to stock outs. Moreover, the results obtained confirms that every promotional feature has a different impact on the effects studied, enabling an optimization process through simulations for computing the best promotional feature configuration, and more generally, supporting the decision making process.

Nell'ambito della Grande Distribuzione Organizzata, gli eventi promozionali sono generalmente riconosciuti come difficili da prevedere, sia per la natura dei loro effetti, che si possono estende su lunghi periodi e sono difficili da studiare singolarmente, sia per la difficile misurabilità delle sue componenti. Considerando questa tematica, nella letteratura pochi lavori sono stati svolti per implementare le possibilità date dalle tecniche di Machine Learning in un sistema di simulazione che consente di ridurre il bias cognitivo e valutare oggettivamente l'efficacia delle varie combinazioni di diversi strumenti promozionali. Una delle maggiori ragioni di questa lacuna tecnologica è la mancanza di un unico indicatore per valutare l'efficacia globale di un evento promozionale. Lo scopo di questa tesi è quello di progettare e testare un sistema di simulazione e supporto decisionale onnicomprensivo, che sia in grado di valutare l'efficacia di una promozione nella Grande Distribuzione, avvantaggiandosi dell'analisi dei Big Data attraverso tecniche di Machine Learning, e inoltre proporre una nuova metrica di valutazione che tenga in considerazione effetti di una promozione sul breve e lungo periodo, sia sul prodotto che sull'intera categoria, per suggerire all'utente la miglior combinazione di tali strumenti promozionali. Nella fase di testing sono stati analizzati i dati provenienti da una importante GDO italiana, e abbiamo implementato tre diversi modelli per fornire previsioni precise e in tempo reale riguardanti una promozione in fase di pianificazione. Le quantità stimate sono state poi misurate con delle quantità di riferimento precomputate in periodo non promozionale, allo scopo di stimare l'incremento nelle vendite promozionali del prodotto, l'effetto di Cross Product e Cross Period. Il risultato di queste valutazioni forma il PADG, ovvero la nuova metrica proposta per stimare l'efficacia della promozione stessa, considerando i guadagni e perdite marginali riguardanti ogni effetto considerato. Il nostro lavoro ha permesso, innanzitutto, di ridurre l'errore percentuale attuale della GDO del 270%, fornendo stime più accurate al reparto acquisti, e potenzialmente riducendo i costi dovuti all'acquisto di merce in eccesso o le perdite causate dall'esaurimento delle scorte. Inoltre, i risultati ottenuti confermano che ogni strumento promozionale ha un impatto differente sui vari effetti studiati, consentendo un processo di ottimizzazione attraverso simulazioni per calcolare la miglior configurazione di tali strumenti e, più in generale, per supportare il processo decisionale.