Evaluación de la Eficacia: Estandarización y Eficacia

 

En mi última participación en el posgrado de la Universidad de Buenos Aires, donde tuve el honor de hablar sobre la gestión de la capacitación, ante una consulta esbocé una respuesta que, debido a las limitaciones de tiempo, tuvo gusto a poco. La consulta versaba sobre cómo hacer para que la evaluación de la eficacia cumpliera con su fin y no chocara con la estandarización de la gestión de calidad. Quiero, entonces, ampliar aquello en este posteo.

Me parece importante repasar algunos conceptos, como qué es o qué medimos en esta evaluación, delinear algunas de las herramientas que usamos para llevarla adelante y los pormenores para diseñarla adecuadamente, ya que su eficacia reposa en un diseño apropiado. Evaluaremos cómo ajustar el diseño a la estandarización de la gestión de calidad sin que la medición pierda la sustancia que nos permite un análisis y la mejora continua.

Evaluación de la Eficacia

Vayamos a los que saben para entender qué es esta medición y para qué nos sirve. Recurro a Abraham Paín, quien indica que ella nos permite “ubicar los conocimientos adquiridos en relación con la realidad cotidiana del trabajo”. Con ella pretendemos comprobar el grado de aplicación de los aprendizajes en la tarea cotidiana. Dicho en criollo, nos permite saber si los aprendizajes objeto de la capacitación contribuyeron a la mejora de la tarea diaria respecto de la situación previa.

La referencia necesaria para esta medición son los objetivos de aplicación, que deben ser definidos al momento del diseño. Estos expresan lo que se espera que realicen quienes participan del proceso de capacitación, en la tarea que tienen asignada, al finalizar la actividad.

Los objetivos de aplicación se deben definir junto con los indicadores que serán usados para realizar la medición y que, probablemente, estén vinculados a los analizados en la etapa previa a la definición de la necesidad, los cuales marcan el estado previo a la capacitación.

No menos importante es incluir, tanto en el análisis de la necesidad como en los resultados, los contextos en los que se desarrollan las tareas, tanto macro como micro. Debemos considerar que la eficacia de la capacitación estará siempre en la contribución que esta realiza a la mejora de la tarea, pero dicha mejora es multicausal, al igual que las problemáticas que generan las necesidades. Por eso siempre hay que ponderar los contextos.

Por ejemplo: al hacer la evaluación de un curso de ventas se observa que mejoraron significativamente los indicadores de tasas de ventas. Surge entonces la tentación de asumir el éxito de la capacitación. Ahora bien, al hacer un análisis más profundo vemos que, independientemente del aporte que ella ha hecho al mejorar las técnicas de ventas, hubo cambios en las políticas gubernamentales que beneficiaron positivamente el mercado. Por tanto, el aumento de ventas ha sido general. En este caso, la eficacia de la capacitación debe ser ponderada y evaluar si ese aumento de ventas es igual a la media del mercado o la supera; recién allí podemos decir que las técnicas generaron un diferencial.

Esta ponderación también vale cuando las condiciones cambian en forma desfavorable. Quizás del análisis veamos que la capacitación contribuyó a que los indicadores no fueran peores, teniendo en cuenta dichas condiciones.

Evaluación y Estandarización

Ajustar la evaluación a cada capacitación puede colisionar, a priori, con la estandarización que la gestión de calidad exige. Por lo cual hay que encontrar alternativas para que se cumplan los requerimientos y, a la vez, la evaluación sea eficaz. La balanza no puede inclinarse hacia alguno de los lados: si generamos una evaluación que cumpla los requisitos de estandarización pero no sirve para el análisis, tiene todas las fichas para transformarse en un proceso burocrático que consume recursos sin que la organización obtenga beneficios. Una evaluación ineficaz contradice el espíritu de la gestión de calidad.

En este sentido, tanto procedimentalmente como en los formularios normalizados, debemos mantener el equilibrio.

Procedimientos

En los procedimientos se definen los procesos, las formas y los tiempos en que estos se realizan. Entre otras cosas, debe plasmarse qué actividades deben ser alcanzadas por las mediciones y cuáles están excluidas en razón de su naturaleza —como, por ejemplo, la capacitación en oferta—. También se definen los intervalos de tiempo en que deben realizarse las mediciones; las formas en que estas se llevan a cabo; y los lineamientos para determinar en cada caso los responsables de completar los formularios. El procedimiento debe contener todas las variables que permitan estandarizar lo estándar y diferenciar lo que corresponde, y a la vez ser eficiente.

Las áreas de aprendizaje gestionan actividades íntimamente ligadas a la tarea y actividades abiertas ofrecidas a todos los colaboradores. En las primeras se parte de indicadores de desempeño o proyectos con indicadores definidos para evaluar la evolución. Las segundas son abiertas y, si bien responden a necesidades generales, también incluyen contenidos no necesariamente vinculados a la tarea. Quienes participan no siempre aplican directamente esos contenidos en su labor cotidiana, lo que hace casi imposible medir una efectividad puntual, aunque sí se pueden realizar análisis que determinen la pertinencia de esas actividades.

También debe registrarse el intervalo de tiempo entre la acción de capacitación y la medición. Se debe considerar que los aprendizajes hayan tenido oportunidad de aplicarse y contemplar la curva de aprendizaje. A priori podría creerse que el mejor intervalo debe definirse en el diseño de cada capacitación, pero esto complica la gestión. Por ello es ideal que el procedimiento establezca intervalos diferenciados entre dos grandes clasificaciones de cursos:

- Técnicos, cuya aplicación se puede medir en un tiempo prudencial (habitualmente tres meses).
- Competencias blandas, con curvas más largas e indicadores menos evidentes. Considero que, en este caso, la medición no debería ser inferior a seis meses y, si es posible, a doce, pudiendo asociarse a los encuentros de feedback.

Otra diferenciación debe contemplar actividades relacionadas con implementaciones. En este caso el intervalo será desde el momento en que realmente se ejecute la implementación. Si bien es lógico no capacitar mucho antes, la experiencia indica que muchas veces surgen inconvenientes que retrasan la puesta en marcha. Si no se prevé esto, la evaluación se hará sin resultados efectivos y terminará como “No aplica”, perdiendo recursos y una medición valiosa.

Formularios

Los formularios normalizados son un punto clave y dieron origen a la consulta que motiva este artículo. Son el medio para recoger datos y la forma en que se estandariza la medición.

Surgen algunas preguntas: Debe haber un solo formulario? ¿Siempre debe realizarse una evaluación por participante? ¿Qué pasa con las capacitaciones masivas?

A mi entender, debemos desarrollar varios formularios con enunciados y preguntas acordes a la naturaleza general de los aprendizajes. Estos deben remitir a los indicadores definidos, permitiendo valorar la información. La clave no está en un formulario único, sino en la fuente de los datos para completarlo. En este sentido, se puede acompañar con un anexo (no normalizado) que recuerde los indicadores.

Las preguntas deben ser estándar, pero siempre referidas a los indicadores de cada capacitación. También pueden indagar sobre los contextos actuales.

Respecto de quién debe completar el formulario, inmediatamente surge el superior inmediato. Esto suele ser lógico cuando la evaluación puede hacerse individualmente. Pero no siempre es posible, especialmente cuando los capacitados son muchos o cuando el responsable inmediato no tiene acceso a los indicadores (por ejemplo, ausentismo regional o métricas de proyectos). En esos casos debe completarlo quien sí tenga acceso, y probablemente lo haga de manera general.

Para un correcto proceso, los evaluadores y la línea directa deben participar desde el principio, incluso en el diseño. Así como no deben recibir una invitación a una capacitación sin conocer su contenido, tampoco deben recibir un formulario aislado que se convierta en un trámite burocrático.

Comparto un ejemplo: una jefa regional recibió el formulario para evaluar a una colaboradora que había tomado un curso y se lo entregó a la propia participante diciendo: “Escribí cómo te fue en el curso”. Delegó una tarea que no correspondía y repitió la evaluación de impacto. Conversar sobre los aprendizajes está bien, pero el formulario debe completarse con análisis en base a los indicadores. Por ejemplo, si enviamos a alguien a un curso de Excel para acelerar reportes y los tiempos no mejoran, quizás la persona aplique lo aprendido pero su computadora es demasiado lenta. Esto debe quedar plasmado: la capacitación fue eficaz, pero el resultado esperado no se logró por un factor externo no identificado inicialmente.

Sobre las evaluaciones masivas, la experiencia indica que suelen completarse rápida y burocráticamente. Por ello debería haber un formulario diferenciado que permita ponderaciones globales. Por ejemplo: “Del total de participantes, ¿en qué porcentaje considera que los aprendizajes fueron efectivos? 100%, 70%, 50%, 20%, 10%, 0%”, profundizando en los porcentajes críticos.

Además, la evaluación masiva debe reducirse al mayor agrupamiento posible, según criterios de eficiencia: región, gerencia, zona, etc.

Conclusión

Podemos concluir que debemos mantener un equilibrio: que la estandarización no convierta la medición en un hecho burocrático, ni que la diferenciación llegue al extremo de volverla inmanejable e imposible de procesar. Las nuevas tecnologías permiten mantener ese equilibrio y hacer de esta medición una herramienta útil para los procesos de aprendizaje, evitando que la inversión se convierta en un gasto.

Espero no haber sido extenso y, como siempre, no espero que estés de acuerdo; por eso estoy atento a tus comentarios.

Lic. Marcelo Eduardo Grecco