Evaluation and optimization of an agile team's performance: a case study at Accenture

This thesis is based on a six-month internship at Accenture S.p.A. The research delves into the performance evaluation of an Agile team within the company, referred to as the Target Team, working for a major client in the insurance industry. During an initial assessment, the team members were asked to fill out a list of agile checkpoints: a list of statements about agile practices to disclose if they are fulfilled or not. These checkpoints were examined to assess the Target Team's performance across various dimensions including Engagement, Strategy, Communication, Quality Management, Estimation and Planning, Metrics, Defect Management, Knowledge Management, and Testing. It was observed that the team lacked a measurement framework to evaluate its performance. Moreover, it was found that there are several areas that need some interventions in order to improve the team’s agile practices. Therefore, this research aims to develop a measurement framework tailored to the Target Team. In addition, the second objective of the thesis is to provide suggestions for optimizing agile practices and, consequently, team performance. The research methodology adopted a mixed approach, combining qualitative and quantitative methods. Data collection involved interviews with team members and the Agile Coach, direct observation by the author who was a team member, and a literature review to understand existing measurement methods. Through the analysis of the collected data, evaluation parameters and metrics have been defined to develop a specific measurement framework. The following key performance indicators (KPIs) have been selected: Sprint Goal Success, Product Backlog Item Lifecycle, Escaped Defects, Product Backlog Item ROI and Team and Customer satisfaction. Moreover, it emerged that there was a need to closely measure and monitor team predictability, control of stories transferred from sprint to sprint, impact of scope changes during the release cycle, reduction of technical debt, and timeliness of defect closure. Some metrics and indicators have been provided to measure all these dimensions. As highlighted, through the analysis of agile checkpoints, several areas for improvement have been identified. For this reason, specific recommendations are provided to improve quality management, estimating and planning, defect management, and test management. In conclusion, this thesis addresses the need for a tailored performance evaluation framework for the Target Team and offers concrete recommendations for optimizing Agile team performance. The study contributes to a comprehensive understanding of Agile performance evaluation in a business context. Implementing the recommendations and continuously monitoring performance metrics will enhance the team's agility and effectiveness in delivering high-quality solutions to the client company. These findings underscore the significance of ongoing performance evaluation in ensuring the long-term success of Agile methodologies. A limitation of this research is its specific focus on the Target Team within Accenture, limiting the generalizability of the results to other organizational settings. Future research could explore the applicability of the developed framework across different teams and industries.

Il lavoro di tesi è basato su un’esperienza di tirocinio della durata di sei mesi presso la società di consulenza Accenture S.p.A. La ricerca approfondisce la valutazione delle performance di un team Agile all'interno dell'azienda, qui denominato Target Team, che lavora per un importante cliente del settore assicurativo. Durante una valutazione iniziale, ai membri del team è stato chiesto di compilare una lista di checkpoint agili, ovvero un elenco di affermazioni sulle pratiche agili per verificare se all’interno del team siano soddisfatte o meno. Questi checkpoints sono poi stati esaminati per valutare le prestazioni del team target in varie dimensioni, tra cui Engagement, Strategy, Communication, Quality Management, Estimation and Planning, Metrics, Defect Management, Knowledge Management, e Testing. È stato osservato che il team non dispone di un framework di misurazione per valutare le proprie performance. Inoltre, è emerso che ci sono diverse aree che necessitano alcuni interventi per migliorare le pratiche agili del team. Pertanto, questa ricerca mira a sviluppare un sistema di misurazione adatto al Target Team. Inoltre, il secondo obiettivo della tesi è quello di fornire suggerimenti per ottimizzare le pratiche agili e, di conseguenza, le prestazioni del team. La metodologia di ricerca ha adottato un approccio misto, combinando metodi qualitativi e quantitativi. La raccolta dei dati ha comportato interviste ai membri del team e all'Agile Coach, l'osservazione diretta da parte dell'autore che era un membro del team e una revisione della letteratura per comprendere i metodi di misurazione esistenti. Attraverso l'analisi dei dati raccolti, sono stati definiti parametri di valutazione e metriche per sviluppare un framework di misurazione specifico per il team. Sono stati selezionati i seguenti key performance indicators (KPI): Sprint Goal Success, Product Backlog Item Lifecycle, Escaped Defects, Product Backlog Item ROI and Team and Customer satisfaction. Inoltre, è emersa la necessità di misurare e monitorare da vicino la predictability del team, il controllo delle storie trasferite da uno sprint all'altro, l'impatto delle modifiche allo scope durante il ciclo di rilascio, la riduzione del debito tecnico e la tempestività della chiusura dei difetti. Sono state identificate alcune metriche e indicatori per misurare tutte queste dimensioni. Come già evidenziato, attraverso l'analisi dei checkpoint agili, sono state identificate diverse aree di miglioramento. Per questo motivo, vengono fornite raccomandazioni specifiche per migliorare la gestione della qualità, la stima e la pianificazione, la gestione dei difetti e la gestione dei test. In conclusione, questa tesi risponde alla necessità di un sistema di valutazione delle prestazioni su misura per il Target Team e offre raccomandazioni concrete per ottimizzare le prestazioni del team Agile. Lo studio contribuisce a una comprensione completa della valutazione delle prestazioni agili in un contesto aziendale. L'implementazione delle raccomandazioni e il monitoraggio continuo delle metriche di performance miglioreranno l'agilità e l'efficacia del team nel fornire soluzioni di alta qualità all'azienda cliente. Questi risultati sottolineano l'importanza della valutazione continua delle prestazioni per garantire il successo a lungo termine della metodologia Agile. Un limite di questa ricerca è il focus specifico al Target Team di Accenture, che limita la generalizzabilità dei risultati ad altri contesti organizzativi. Ricerche future potrebbero esplorare l'applicabilità del framework sviluppato in team e settori diversi.