Você sabia que há um meio de você medir a eficácia de um treinamento ou curso híbrido? Em tempos de investimento em habilidades e competências interpessoais na empresa, é necessário que você compreenda como funciona a medição da eficácia de um curso por duas razões:
1. Seus alunos estão aprendendo?
2. Como anda o seu ROI - retorno dobre o investimento?
Avaliar efetivamente seu programa de aprendizado híbrido é uma parte crucial do processo de aprendizado pois jjuda-nos a justificar o custo e demonstrar o valor acrescentado, ao mesmo tempo que nos fornece insights para melhorias. A avaliar não é fácil, no entanto.
Neste post vou me ater exclusivamente ao que ocorre no meio corporativo. Quem trabalha no meio sabe que as pessoas e suas habilidades representam funções estratégicas do negócio. Mas o custo do seu investimento em recursos humanos também é sempre um motivo de preocupação, desta forma devemos considerar como medir essa eficácia e que atitudes tomar em relação ao investimento. Medir o impacto da aprendizagem híbrida não é diferente de medir o impacto da aprendizagem em comum, porém diferente do que ocorre no meio acadêmico é que no meio corporativo temos muito mais elementos para medir.
Sabemos que medir o verdadeiro impacto do aprendizado em uma organização é um enorme desafio e podemos contar com a metodologia de Kirkpatrick que fala dos 4 níveis de avaliação:
Quanto mais alto você salcançar os níveis, mais tempo e recursos serão necessários e melhor será a informação obtida.
Nível 1: Reação
A avaliação neste nível é mais fácil uma vez que a medição das reações do aluno por meio de pesquisas simples após um evento de aprendizado parece ser simples. Embora essas pesquisas forneçam um contexto sobre como seus alunos estão respondendo ao aprendizado, eles serão suficientes para ajudar você quando houver a necessidade maior investimento em treinamento, em especial quando os orçamentos forem limitados.
Nível 2: Aprendizagem
Aqui medimos a mudança positiva ocorrida com a aprendizagem, aplique pré e pós questionários para avaliar se o conhecimento sobre um assunto específico aumentou. O aprendizado bem projetado geralmente inclui maneiras de os alunos demonstrarem uma maior competência incorporada ao programa. Por meio de exercícios práticos e verificações de conhecimento, podemos acompanhar algumas medidas gerais de mudança de aprendizado, por exemplo, "Dos 300 participantes que participaram do treinamento online, 100 conseguiram passar pela primeira verificação de conhecimento no final do curso". Isso é um parâmetro para verificações seguintes pois são úteis para justificar o aprendizado, mas são suficientes para argumentar sobre o valor do aprendizado para a organização. A aprendizagem não significa necessariamente um melhor desempenho.
Nível 3: Comportamento
Neste nível mede-se a aplicação e a implementação da aprendizagem - comportamentos alterados no trabalho. É útil repetir essas medidas em intervalos de 3 meses, 6 meses, 1 ano com o mesmo grupo focal para garantir que não diminuíram. As melhores avaliações deste nível envolvem a avaliação do comportamento do aprendiz por outros - um supervisor, mentor ou colega. Utilize a observação direta, entrevista, demonstração de habilidades, treinamento ou outra forma de teste de habilidades.
Nível 4: Resultados
A mudança no comportamento do empregado está resultando em ganhos mensuráveis para a organização?
Você pode quantificar o valor dessas mudanças de comportamento?
Suas métricas serão vinculadas aos seus objetivos de aprendizado?
Os objetivos de aprendizagem devem se transformar em um objetivo de impacto voltado para a organização como um todo?
Há dados concretos ligados aos comportamentos que você está ensinando?
Parâmetros para Cálculo
Unidades desenvolvidas ou construídas / tempo especificado.
Produção ou processo no prazo - o número de trabalhos concluídos a tempo.
Tempo - o tempo necessário para concluir uma tarefa.
Utilização do equipamento - o equipamento é usado para capacidade e é usado corretamente.
Custa a poupança, incluindo o tempo economizado porque os erros não foram feitos.
Menos reclamações e devoluções de clientes.
Número reduzido de incidentes negativos - acidentes, desperdício de material, queixas, etc.
Benefícios e habilidades interpessoais
Muitas vezes o real objetivo do treinamento é a mudança de atitude. Kirkpatrick sugerem que as melhores habilidades técnicas podem levar à melhoria de estatísticas mensuráveis, como aumento da produtividade ou menores níveis de rotatividade. Não tente avaliar as alterações nas habilidades sociais imediatamente pois a mudança não ocorre logo após um evento de aprendizado, mas, com o passar do tempo, os antigos hábitos ressurgem; os funcionários podem ceder à pressão dos colegas ou simplesmente se acomodar. Assim sendo faça avaliações em 2-3 meses e repetir a 6 meses e até 1-2 anos afora.
Por exemplo, se seu objetivo de aprendizado for conduzir uma revisão eficaz do desempenho do funcionário, a meta organizacional pode ser criar um ambiente de trabalho mais positivo e, com isso, reduzir a rotatividade de funcionários. Indicadores não faltam para medir resultados. Foque naqueles que são mais aparentes e difíceis de resolver.
Calculando o ROI
O ROI é uma medida de desempenho que calcula a relação entre os benefícios de um programa e seus custos Um custo-benefício superior indica uma oferta bem sucedida, por exemplo, os benefícios excedem os custos. Quando os custos superam os benefícios, no entanto, você precisará considerar alterações ou melhorias para justificar o investimento contínuo no programa.
Uma fórmula alternativa e igualmente útil calcula o ROI como um retorno percentual sobre os custos. Isso talvez seja mais compreensível para investidores e acionistas com base no mercado.
A fórmula para calcular o ROI dessa maneira é:
ROI (%) = Benefício - Custo x 100 Custo
Um programa com um resultado calculado maior que 100% tem um benefício líquido depois de contabilizar os custos. Um ROI% = 120% indica uma oferta que resultou em um retorno de 120% do dinheiro investido; Ou seja, o programa gerou R$ 1,20 para cada real que custou.
Um resultado calculado de menos de 100% significa que um programa levou a um custo líquido. Se for esse o caso, pode valer a pena ver se existe um benefício não identificado, talvez social, que não é facilmente mensurável, como um aumento no moral dos funcionários ou melhor trabalho em equipe. Se você vir esses tipos de melhorias, precisará determinar se a perda monetária é justificável devido aos custos incorridos.
Uma perda de 3% de vários milhares de dólares pode ser considerada um custo justificável para realizar um local de trabalho mais feliz, mas você estaria disposto a incorrer em um custo de 3% de 5 milhões de reais? Provavelmente não.
É esquisito quando você pensa em termos de fórmulas, mas para estabelecer o ROI de uma oferta, você precisa coletar dados. Isso é feito através da avaliação do conhecimento e das habilidades adquiridas e dos comportamentos que mudaram. O "custo" é um pouco mais fácil de determinar; determinar os benefícios do treinamento é mais desafiador e envolve saber como avaliar o programa de treinamento no Nível 4 de Kirkpatrick.
Enfim... programas que têm impacto visível e mensurável e máximo retorno global do investimento. A adoção de metodologias de avaliação é, portanto, imperativa para empresas e organizações de treinamento. E você? Como calcula o ROI na sua instituição? Já pensou em trocar indicadores ou avaliar focos mais importantes e que necessitam de maior impacto?
IDI - Instituto de Desenho Instrucional
Comments