Specification, estimation and monitoring of quality-related software strategic indicators in agile software development

Abstract

(English) In line with the current trend of exploiting corporative data, software companies, especially those using Agile and Rapid software development, are challenged to improve the quality of their products, their profitability and efficiency by exploiting the large amount of data related to their software processes and products from the use of their corporate tools (e.g., continuous inspection tools, continuous integration tools, project management tools, and issue trackers).

Although such data exploitation has shown to be beneficial for supporting decision-making processes, the evidence shows that existing support is mostly related to operational decisions, letting aside the support for strategic decision making. Operational decisions are simple routine decisions linked to the effective and efficient execution of the daily operations within the company (e.g., test specification and implementation, bug tracking, version control, etc...). Strategic decisions refer to complex, non-routine decisions related to business goals and objectives.

The main problems that endanger the task of supporting strategic decision making through data exploitation are: a) the lack of approaches that help software companies to specify their own software strategic indicators (SSI). SSIs refer to measurable aspects (e.g., software quality, on-time delivery) that a software company considers important for their strategic decision-making processes, b) the inherent complexity of estimating SSIs, and c) the need of supporting the operationalization of the specification and estimation of SSIs by enabling their monitoring.

This PhD thesis aims to overcome these problems by: - Devising a novel method called SESSI (Specification and Estimation of Software Strategic Indicators) that provides support for operationalizing the specification, estimation, and monitoring of SSIs in software companies. The method was conceived under design science and action-research principles in the context of the industrial partners of the Q-Rapids European project and applied to quality-related SSIs.

- Presenting how the use of the SESSI method and associated software supporting artifacts have shown promising results to enable an SSI monitoring infrastructure according to the needs and resources of a software company.

Additionally, this thesis explores the potential use of the resulting monitoring infrastructure and other related outputs from the SESSI method for enabling advanced decision-making support. In particular, a solution for forecasting the values of SSIs based on the SESSI method was applied in a software development company with positive results.

The results of this thesis aim to advance the state of the art on approaches to support evidence-based strategic decision making, in software companies using agile and rapid software development. The developed software support artifacts have been released as open source and can be reused and/or adapted by other software companies or researchers.

(Català) En línia amb la tendència actual d'explotació de dades corporatives, les empreses software, especialment les que utilitzen el desenvolupament software àgil i ràpid, tenen el repte d’aconseguir millores sobre la qualitat dels seus productes, així com la seva rendibilitat i eficiència mitjançant l'explotació de la gran quantitat de dades relacionades amb els seus processos i productes software provinents de les seves eines corporatives (per exemple, eines d'inspecció contínua, eines d'integració contínua, eines de gestió de projectes i eines de gestió d’errors).

Tot i que aquesta explotació de dades ha demostrat ser beneficiosa per donar suport als processos de presa de decisions, l'evidència mostra que el suport existent està principalment relacionat amb les decisions operatives, deixant de banda el suport per a la presa de decisions estratègiques. Les decisions operatives són simples decisions rutinàries vinculades a l'execució eficaç i eficient de les operacions diàries dins de l'empresa (per exemple, especificació i implementació de proves, seguiment d'errors, control de versions, etc.). Les decisions estratègiques es refereixen a decisions complexes i no rutinàries relacionades amb les metes i objectius empresarials.

Els principals problemes que dificulten la tasca de suport a la presa de decisions estratègiques mitjançant l’explotació de dades són: a) la manca de propostes que donin suport a les empreses software a especificar els seus propis indicadors estratègics software (SSI). Els SSI fan referència a aspectes mesurables (per exemple, qualitat del software, lliurament puntual) que una empresa software considera importants per als seus processos de presa de decisions estratègiques, b) la complexitat inherent de l’estimació dels SSI, i c) la necessitat de donar suport a la operacionalització de l’especificació i l’estimació dels SSIs per tal d'habilitar el seu monitoratge.

Aquesta tesi doctoral pretén superar aquests problemes mitjançant:

- El disseny d'un nou mètode anomenat SESSI (Especificació i Estimació d'Indicadors Estratègics Software) que ofereix suport per l'especificació, avaluació i seguiment dels SSI a empreses software. El mètode va ser concebut sota els principis de design-science i action-research en el context dels socis industrials del projecte europeu Q-Rapids i aplicat sobre SSIs relacionats amb la qualitat.

- La presentació de com l'ús del mètode SESSI i els artefactes de suport software associats han mostrat resultats prometedors per habilitar una infraestructura de monitoratge de SSIs d'acord amb les necessitats i recursos d'una empresa software.

Addicionalment, aquesta tesi explora l'ús potencial de la infraestructura de monitoratge resultant i altres sortides relacionades del mètode SESSI per donar suport avançat a la presa de decisions. Específicament, es va disenyar i aplicar una solució per predir els valors dels SSI basats en el mètode SESSI en una empresa software amb resultats positius.

Els resultats d'aquesta tesi tenen com a objectiu avançar l'estat de l'art quant a les solucions per donar suport a la presa de decisions estratègiques basades en evidències, en empreses software que utilitzen desenvolupament àgil i ràpid. Els artefactes software desenvolupats han estat alliberats com a codi obert i poden ser reutilitzats i/o adaptats per altres companyies software o investigadors.