Avaluació de la transferència de la formació contínua per a directius/ves de l'Administració Pública de Catalunya: Creació, aplicació i anàlisi d'un model d'avaluació de la transferència

Abstract

Tant els professionals de la pràctica com els investigadors troben diverses dificultats per mesurar l'efectivitat de la formació contínua amb precisió, i la majoria de vegades no són capaços de determinar si una acció formativa ha estat transferida al lloc de treball, produint millores en l'actuació professional de les persones participants en la formació.<br/>Els models actuals d'avaluació de la formació contínua han emergit recentment, prenent com a punt d'inici el clàssic Kirkpatrick i els seu Model d'Avaluació dels Quatre Nivells, el qual es basa en l'avaluació de "la reacció", "l'aprenentatge", "el comportament" i "els resultats" (Kirkpatrick, 1999). Alguns investigadors han intentat oferir reelaboracions, actualitzacions i modificacions del model de Kirkpatrick (Brinkerhoff, 1991; Kaufman i Keller, 1994; Phillips, 1997; Pineda, 2002; Swanson, 1996). D'altra banda, altres investigadors han observat que cal trobar noves aproximacions i alternatives (Abernathy, 1999; Kraiger, 2002; Preskill i Torres, 1999). No obstant, tot i que en tots els models "la transferència" és un dels nivells d'avaluació clau, les diverses propostes són encara excessivament àmplies i necessiten ser definides.<br/>El valor de l'avaluació de la transferència resideix en mesurar l'èxit de la formació en l'assoliment dels resultats esperats en el lloc de treball i en identificar quins factors han facilitat o obstaculitzat aquest procés. Per un costat, l'avaluació dels resultats de la transferència fa relació a la mesura de l'aplicació de l'aprenentatge adquirit en la formació al lloc de treball. Diversos estudis han subratllat la necessitat de crear sistemes d'avaluació que siguin vàlids, fiables i viables operativament per tal d'avaluar esmentats resultats de la transferència (Bell i Kerr, 1987; Cronshaw i Alexander, 1991; Kraiger, McLinden i Casper, 2004; Lawson, 1993, 1994; Phillips, 1997, 1999; Yadapadithaya i Steward, 2003), però només alguns d'aquests han dut a terme aquestes avaluacions i només al voltant de la meitat de les accions formatives són avaluades a partir d'objectius comportamentals (Sims, 1993: 591; Swanson i Holton, 2001, 364).<br/>Per un altre costat, l'avaluació dels factors que afecten la transferència té relació amb la identificació i l'avaluació dels aspectes que han afectat positiva o negativament l'èxit de l'aplicació de la formació. Noe (1986), i Baldwin i Ford (1988) són probablement els autors clàssics que més han desenvolupat conceptualment aquests factors. Al 2000, Holton, Bates i Ruona van desenvolupar l'única eina psicomètrica validada mundialment per a mesurar els factors que afecten la millora de l'actuació professional com a resultat de la participació en formació: el LTSI (Learning Transfer System Inventory). <br/>En aquesta Tesi, presentem els resultats d'una recerca realitzada per avaluar la transferència de la formació contínua per a directius/ves. Varem dissenyar un model per avaluar la transferència basat en la identificació de canvis en el comportament dels participants desprès de la formació i en descobrir millores en la seva actuació professional, junt amb l'anàlisi del context de transferència i dels factors que podien haver afectat els resultats. Utilitzant enquestes pre/post-formació per a participants i pels seus superiors, varem constatar que les accions formatives avaluades havien estat transferides al lloc de treball amb èxit, i que havien estat envoltades per un clima de suport a la transferència. Igualment, varem aprendre que la creació i la implementació d'un sistema d'avaluació de la transferència que sigui exhaustiu i rigorós requereix de la inversió de molts recursos, la qual cosa ens va portar a realitzar propostes per a millorar el model creat i per a utilitzar altres alternatives.

Both practitioners and researchers find several difficulties in order to measure training effectiveness in precise terms, and most of the times are not able to determinate whether a training program has been transferred to the work, producing improvements into trainees' performance. <br/>The current training evaluation models have emerged recently, with the starting point being input from the classical Kirkpatrick and his Four Levels of Evaluation Model, which is based in "reaction", "learning", "behavior" and "results" evaluation (Kirkpatrick, 1999). Some researchers have attempted to offer elaborations, updates and variations of Kirkpatrick's model (Brinkerhoff, 1991; Kaufman and Keller, 1994; Phillips, 1997; Pineda, 2002; Swanson, 1996). Moreover, other researchers have observed that new approaches and alternatives are needed (Abernathy, 1999; Kraiger, 2002; Preskill and Torres, 1999). Nevertheless, despite in all the models "transfer" forms one of the key levels of evaluation, their proposals are still broad and need to be defined.<br/>The value of transfer evaluation lies in measuring the training success in achieving the expected results in the work, and identifying what factors have facilitated or impeded this process. On the one hand, the evaluation of the results of transfer relates to the measurement of the implementation of the learning acquired through training in the job. Several studies have underlined the perceived need to create valid, reliable, and operationally viable measures to evaluate transfer results (Bell and Kerr, 1987; Cronshaw and Alexander, 1991; Kraiger, McLinden and Casper, 2004; Lawson, 1993, 1994; Phillips, 1997, 1999; Yadapadithaya and Steward, 2003), but only some of them have carried out those measures and only about half of the training programs are evaluated for objective performance outcomes (Sims, 1993: 591; Swanson and Holton, 2001, 364).<br/>On the other hand, the evaluation of factors affecting transfer relates to the identification and assessment of aspects which have positively or negatively affected the success of transfer. Noe (1986), and Baldwin and Ford (1988) are probably the classical authors who have most conceptually developed these factors. In 2000, Holton, Bates and Ruona developed the only worldwide validated psychometric assessment tool to measure the factors identified as affecting the improvement of professional performance as a result of training: the LTSI (Learning Transfer System Inventory). <br/>In this dissertation, we present the results of a research carried out in order to evaluate transfer in training for managers and leaders. We designed a model for transfer evaluation based on the identification of changes in the behavior of participants after training and in discovering improvements in their professional performance, altogether with the analysis of the transfer context and the factors that could affect the results. Using pre/post-training surveys to trainees and their supervisors, we realized that the training program had been transferred to the work successfully, and that it had been surrounded by a supportive transfer climate. However, we learned that the creation and implementation of an exhaustive and rigorous training transfer evaluation system needed a huge amount of sources, which brought us to make proposals to improve the model created and use other alternatives.