As métricas de aprendizagem e desenvolvimento são fundamentais para provar o verdadeiro impacto dos seus programas de formação. A maioria das equipas concentra-se nos dados errados ou não identifica os conhecimentos que realmente interessam aos líderes empresariais. Neste artigo, vou explicar quais as métricas de L&D que importam, por que razão tantas equipas fazem isto mal e como pode utilizar dados relevantes para demonstrar o verdadeiro valor das suas iniciativas de aprendizagem — indo além das estatísticas de vaidade e avançando para métricas que o seu CEO irá realmente apreciar.
O ouro: tudo aquilo de que a empresa necessita
A primeira e melhor métrica que pode acompanhar enquanto equipa e líder de aprendizagem e desenvolvimento é aquela que a empresa (e/ou os líderes dessa empresa) lhe dizem que querem acompanhar. É tão simples quanto isso. E tão complexa quanto isso.
Uma vez, estava numa sessão de formação quando o facilitador afirmou que todas as decisões empresariais se resumem a um de três resultados pretendidos:
- Mais receitas
- Menos custos
- Risco mitigado
Por isso, se estiver a fazer uma medição do seu programa de aprendizagem com base numa métrica de que a empresa necessita, essa métrica irá enquadrar-se numa destas categorias.
Exemplos disso incluem ajudar as pessoas a serem mais produtivas (menos custos), vender mais ou obter mais renovações (mais receitas), ou saber o que podem e não podem fazer em determinadas situações (risco mitigado).
É claro que existem outros exemplos, mas penso constantemente nestes três resultados pretendidos.
Por que razão acompanhá-la?
Este é o caminho para provar o retorno do investimento do seu programa de L&D. É a forma de provar que alcançou os KPIs ao nível da empresa e correspondeu às expectativas de eficácia da formação.
A única forma de fazer isto de maneira incontestável é direcionar as suas medições para aquilo que a empresa pretende obter com os seus programas. Isto retira o seu trabalho do isolamento e integra-o na estratégia empresarial mais ampla. Quaisquer métricas ou resultados de L&D concebidos internamente podem sempre ser postos de lado como uma medição isolada.
Em suma, o porquê é todo o jogo. Os nossos objetivos enquanto profissionais de L&D devem ser objetivos empresariais. O nosso papel é sermos prestadores de serviços e facilitadores. Provar isto através do padrão-ouro é aquilo que continua a ser difícil de alcançar no nosso setor.
Como acompanhá-la?
É aqui que reside alguma dificuldade. Estas métricas são notoriamente difíceis de acompanhar. Existem várias razões para isso e vou abordar algumas delas aqui.
Mas, antes de o fazer, deixe-me dizer que penso que uma organização saudável seria aquela onde isto acontece de forma colaborativa. Uma equipa de L&D pode não ter o acesso adequado aos dados que pretende medir, ou esses dados podem ser difíceis de obter devido à sua desorganização.
Embora considere que uma equipa de aprendizagem e desenvolvimento responsável por uma formação associada a uma métrica de resultados empresariais adequada deve ser responsável por impulsionar essa métrica, não pode ser totalmente responsável também por acompanhar e garantir o acompanhamento dessa métrica. Isso deve ser feito com a ajuda de uma equipa de operações, analistas ou uma equipa interna de dados.
E, quando trabalhar com estas equipas, esperemos que possam explicar por que razão pode ser difícil captar verdadeiramente a métrica que procura. Isto porque a experimentação baseada em pessoas é difícil. Para acompanhar verdadeiramente uma alteração, seria necessário ter dois grupos de desempenho: um grupo de controlo e um grupo de teste ou de intervenção. E estes grupos precisam de ser tão semelhantes quanto possível.
Mas, no caso das pessoas, raramente o são. Os colaboradores podem diferir em antiguidade, salário, nível, experiência, etc. Podem até simplesmente ter um dia ou uma semana menos bons, ou estar a participar apenas parcialmente, por estarem cansados ou devido a questões pessoais.
Por isso, comparar dois grupos raramente é comparar coisas equivalentes. Pergunte à maioria das pessoas que trabalham diariamente com dados e dir-lhe-ão que os grupos de pessoas raramente o são. Não deixe que isso comprometa a sua experiência. Pode continuar a utilizar o método científico na sua abordagem e desenvolver uma hipótese segundo a qual um grupo fará algo de forma diferente do outro (melhor ou pior).
Não permita que o perfeito seja inimigo do bom! Afinal, continua a querer demonstrar, da melhor forma possível, que a sua iniciativa de formação impulsionou uma métrica empresarial, mesmo que não possa ser medida com uma perfeição absoluta.
Se souber que a sua medição é feita num grupo estável, mesmo que parte dela possa ser contestada, a liderança verá que o seu trabalho teve um impacto positivo na empresa e que a aprendizagem é um investimento de capital empresarial que vale a pena.
Este é o padrão-ouro daquilo que fazemos com as equipas internas de L&D. É aí que reside o valor que proporcionamos às nossas organizações. Então, como pode ultrapassar os desafios relacionados com os dados acima mencionados?
- Realize sessões com alguns grupos diferentes
- Uma boa prática seria realizar isto com grupos totalmente aleatórios para ajudar nos testes de hipóteses. Pode não ser possível obter um segmento verdadeiramente aleatório e, se não for, compare-o com um segmento de “controlo” tão alinhado quanto possível
- Acompanhe os valores atípicos e as razões pelas quais um grupo pode não ser totalmente aleatório
- Estes podem incluir aspetos como a antiguidade, a experiência anterior ou experiências anteriores em que uma pessoa possa ter participado. Enquanto princípio de dados, deve assinalar o maior número possível destes detalhes atípicos.
- Tenha alunos suficientes para poder excluir alguns quando chegar o momento da medição.
- Se possível, teste com grupos superiores a 10 pessoas. Se duas ou três pessoas desistirem, deverá continuar a ter pessoas e dados suficientes para apresentar resultados
- No final, não se esqueça de considerar também o custo da formação (pode ter a certeza de que os líderes da sua empresa estão a pensar nisso).
Se tiver interesse em ver mais, publiquei um exemplo (com dados ocultados) de um relatório de formação que procura demonstrar o sucesso neste modelo. Pode encontrá-lo aqui.
Have an account? Log In
A Prata: comportamentos dos alunos e correlações comportamentais
Em seguida, temos uma medição dos comportamentos alterados ou modificados (esperemos que de forma positiva) e medições da correlação entre as iniciativas de formação e o desempenho.
Começarei pelos comportamentos. O que a maioria dos programas de L&D procura fazer é ensinar, desenvolver competências, formar ou alterar comportamentos. Tenho a certeza de que há mais. Em última análise, queremos melhorar a capacidade de alguém para fazer algo.
Pode tratar-se de uma ferramenta específica (Excel), de uma linguagem (SQL) ou de uma competência (empatia), mas é algo. Por isso, a métrica que queremos captar consiste em verificar se alterámos ou melhorámos efetivamente essa competência. Podemos não conseguir associá-la a uma métrica empresarial (“A Prata”, acima), mas conseguimos ver que algo mudou.
Eis um exemplo: numa das empresas onde trabalhei anteriormente, tínhamos uma função do tipo “serviço de assistência”. Conseguíamos ver quem utilizava o serviço de assistência e com que frequência, mas queríamos tentar ajudar os colaboradores a fazer as coisas autonomamente, em vez de dependerem dele (não tínhamos custos associados a isto; caso contrário, poderíamos tê-lo integrado numa métrica empresarial melhor).
Por isso, trabalhámos com os utilizadores “avançados” da função — aqueles que mais a utilizavam — para ver se conseguíamos.
Dividimos os utilizadores avançados em três grupos:
(1) Um grupo de tratamento ao qual enviámos um módulo de aprendizagem eletrónica sobre como encontrar recursos autonomamente
(2) Um grupo com o qual realizámos uma breve formação presencial para compreender por que motivo utilizava o serviço de assistência com tanta frequência e ao qual enviámos posteriormente recursos (incluindo aprendizagem eletrónica)
(3) Um grupo de controlo com o qual não fizemos nada.
Adivinhe o que aconteceu? Ambos os grupos de tratamento (1 e 2) reduziram a utilização do serviço de assistência (não lhes pedimos nem dissemos que esse era o objetivo), em comparação com o grupo de controlo (3). Mas o Grupo 2, que teve uma compreensão direta do comportamento e um acompanhamento posterior, apresentou uma redução muito maior e mais duradoura na utilização.
Por si só, isto foi um grande sucesso. Não tínhamos forma de abordar as poupanças de custos resultantes de uma alteração deste tipo naquela empresa, por isso ficámo-nos por esta métrica de nível “Prata”, em vez da de nível “Ouro”, mas provámos que conseguíamos ajustar os comportamentos do nosso público.
Por que motivo deve acompanhá-lo?
Porque acompanhar os comportamentos ajuda a compreender as lacunas de competências e as áreas de oportunidade. Também ajuda a identificar onde colocar os recursos da equipa de aprendizagem e desenvolvimento para impulsionar os objetivos da sua empresa (chegando eventualmente a uma medição de nível “Ouro”).
Significa ter melhores gestores, que orientam os colaboradores para progredirem mais rapidamente (mobilidade interna) ou permanecerem mais tempo na empresa (retenção de colaboradores). Significa conseguir que as pessoas se comprometam mais com a missão ou os valores da empresa (envolvimento dos colaboradores).
Também começa provavelmente a colocar a sua estratégia e conceção de aprendizagem no centro das atenções. Pode não ter o impacto empresarial global que as métricas de “Ouro” têm, mas ajudará a demonstrar que o seu programa de aprendizagem é capaz de produzir alterações naquilo que se propõe influenciar.
Como acompanhá-lo?
Precisará de outro conjunto de dados para acompanhar isto corretamente. É provável que se trate de algum tipo de dados históricos sobre o desempenho dos colaboradores, as classificações de desempenho ou as avaliações. Dependendo da sua organização, poderá ser difícil obtê-los, mas são fundamentais para demonstrar crescimento ou valor.
Eis uma sugestão: peça às suas equipas de RH uma versão destes dados à qual tenham sido removidas as informações pessoais. Peça-lhes que o ajudem a associar os seus dados de aprendizagem aos dados de desempenho dos colaboradores e que lhos devolvam.
Tem agora um conjunto de dados anónimo para analisar alterações históricas e/ou correlações. Encontre um bom analista e execute alguns modelos de regressão sobre as variáveis que tem agora!
O Bronze: Conhecimentos e Competências dos Formandos
É aqui que a maioria dos programas de L&D chega ao limite. E não há problema nisso. Conseguir demonstrar que os formandos adquiriram conhecimentos ou colmataram lacunas de competências é admirável e deve manter o investimento nos programas de formação e desenvolvimento dos colaboradores em andamento.
Porquê acompanhá-lo?
Deve acompanhar este aspeto porque prova que a experiência de aprendizagem teve valor e que teve um efeito nos colaboradores.
Aumentar os conhecimentos ou as competências de alguém é importante e sabemos que isso ajuda em métricas de desempenho das pessoas, como o envolvimento e a retenção dos colaboradores.
Como acompanhá-lo?
É aqui que entram as pontuações das avaliações, mas estas têm de ser significativas. Por exemplo, se criar um módulo completo de aprendizagem eletrónica e, depois, elaborar uma avaliação baseada apenas nessa aprendizagem eletrónica, o que prova uma classificação de aprovação?
Prova que compreenderam o que escreveu, mas será que se vão lembrar do conteúdo dos módulos? Provavelmente não. O facto de serem aprovados significa que vão desempenhar melhor alguma tarefa no trabalho? Talvez (ver acima).
Acompanhar as alterações nos conhecimentos e nas competências é realmente importante, mas tem de ser feito da forma correta. Algumas boas formas incluem analisar as avaliações anteriores e posteriores e procurar melhorias.
Melhor ainda, faça ambas as coisas e depois realize outra avaliação 60 dias mais tarde, ou inclua uma pergunta de avaliação numa formação diferente e veja quantas pessoas acertam.
Também pode pedir aos responsáveis que acompanhem quaisquer alterações que tenha definido como objetivo observar na rotina de trabalho de um colaborador após a formação e que lhe transmitam os resultados. Isto é algo subjetivo, mas está subjetivamente direcionado para a pessoa certa: o respetivo responsável.
Dependendo do número de colaboradores (ou dos seus grupos de teste), existem todos os tipos de formas criativas de analisar esta questão; tenha apenas em consideração o tempo e o esforço que está a exigir aos responsáveis.
Outro Bronze: Retorno à Aprendizagem e Ritmo de Aprendizagem
Parto do princípio de que a maioria das equipas acompanha quem está a aprender e quantas pessoas estão a aprender num determinado período (semana/mês/trimestre).
Estas são métricas importantes, mas são apenas registos de atividade. Transformá-las em algo significativo — mesmo que não consiga concretizar algumas das métricas acima — é importante para demonstrar a saúde da sua cultura de aprendizagem.
E há uma boa razão para demonstrar à sua liderança que uma cultura de aprendizagem saudável é imperativa. De acordo com a McKinsey, as empresas que disponibilizam programas de formação abrangentes têm um rendimento por colaborador superior em até 200%.
Porquê acompanhá-lo?
Uma métrica de retorno à aprendizagem mostra a frequência com que os formandos regressam à plataforma ou ao programa de aprendizagem que está a disponibilizar.
Não quer ver pessoas que participam apenas uma vez; quer ver pessoas que se comprometem e voltam a comprometer-se com a melhoria de competências e quer medir isso.
A ressalva aqui é que, mesmo num ambiente de trabalho saudável, as pessoas estão ocupadas. Uma taxa mensal de formandos que regressam (aqueles que participam mais do que uma vez) superior a 20% é boa, e superior a 40% é muito boa.
O ritmo de aprendizagem ajudará a medir a frequência com que os formandos regressam à plataforma — ou a frequência com que aderem a programas de aprendizagem desde o momento em que começaram.
Isto pode indicar-lhe se as pessoas visitam uma plataforma de aprendizagem uma ou duas vezes por mês, em média, ou se a maioria regressa ao fim de 40 dias. No entanto, aquilo que começa a ser realmente significativo é saber que tipo de formação pode impulsionar um ritmo mais rápido.
Por exemplo, a sua formação para responsáveis é tão boa que as pessoas regressam todas as semanas para aprender mais? As pessoas gostam realmente dos conteúdos disponibilizados por terceiros? Acompanhe estes dados e analise as tendências mês a mês ou trimestre a trimestre.
Como acompanhar e um exemplo
Peter Meerman, especialista em análise da aprendizagem, começou a reunir alguns destes dados em painéis simples que, creio, muitas equipas podem utilizar. Pode ver aqui alguns dos seus trabalhos — incluindo um painel que combina Formandos Ativos, Média de Horas por Formando e itens discriminados, como a Média de Investimento por Formando.
Todos estes elementos são imperativos para compreender uma pontuação geral de “saúde” de uma cultura de aprendizagem, mas tenha cuidado com aquilo que deseja neste caso e seja ainda mais cuidadoso com a forma como apresenta estes dados.
Defina sempre as expectativas com as partes interessadas sobre o que significa “bom” no que diz respeito ao número de formandos que visitam a sua plataforma ou LMS todos os meses.
Para grandes organizações, qualquer valor acima de 50% por mês é realmente bom. Se estiver a utilizar um fornecedor de aprendizagem para conteúdos ou software, peça-lhe métricas de referência.
More Articles
Métricas de formação que deve considerar não acompanhar
Poderá notar que falta neste artigo uma métrica comum utilizada por muitas equipas de L&D. Trata-se dos índices de satisfação do cliente (cSAT), do Net Promoter Score (NPS) ou de qualquer tipo de pontuação em que um formando lhe diga quanto apreciou ou recomendaria um curso. Outra é a simples métrica das taxas de conclusão dos cursos.
A razão pela qual as omiti é que, simplesmente, não lhes vejo grande valor. Se conseguir comunicar dados sobre formandos que regressam e o ritmo de aprendizagem, tal como descrevi acima, terá uma métrica e um conjunto de dados mais exigentes e significativos do que as respostas subjetivas que obterá a perguntas como “Quanto gostou desta formação?”
Se vir formandos a regressar para aprender mais (e a fazê-lo rapidamente), isso deverá ser um sinal suficiente para saber que gostaram da sua formação, que tencionam terminar o que começaram e que provavelmente reconhecem o seu valor.
Se procura especificamente compreender como a sua formação poderia ser melhorada, então deverá fazer essa pergunta diretamente. Perguntar sobre o grau de satisfação ou sobre a probabilidade de partilharem a formação são métricas que procuram ser significativas quando, na realidade, não o são.
Armazenamento de dados
Uma pergunta comum que me fazem quando falo sobre estes pontos é “Onde podem ser encontrados todos estes dados?”.
Muitos deles deverão existir no seu sistema de gestão da aprendizagem. Tudo o que esteja relacionado com a atividade dos formandos (as métricas de nível básico) pode ser encontrado aí e poderá exigir uma transferência e algum trabalho no Excel ou no Sheets para chegar a conclusões. Poderá precisar de ajuda para fazer corresponder nomes ou IDs de colaboradores às datas de formação num ficheiro de grandes dimensões.
O seu LMS deverá também ter uma API funcional ou uma forma de transferir os seus próprios dados para outro local. Se possível, trabalhar com pessoas dentro da sua organização para introduzir estes dados numa ferramenta adequada de armazenamento de dados (como o Snowflake) pode ser muito eficaz.
Isto permite-lhe potencialmente comparar estes dados (atividade de aprendizagem) com dados dos colaboradores, como desempenho, produtividade ou avaliações. E, em vez de fazer isto numa variedade de folhas de Excel, poderá fazê-lo potencialmente (provavelmente com a ajuda de um analista de dados) na mesma ferramenta, através de uma consulta SQL.
Também existem outras formas de fazer isto. O Cognota é uma plataforma de L&D que está a trabalhar para reunir todas estas informações num só lugar e pode valer a pena analisá-la. Ferramentas como o Tableau ou o Google Data Studio podem ajudar a criar painéis visualmente apelativos a partir de dados de folhas de cálculo; por isso, se conseguir encontrar uma forma de introduzir dados brutos nessas ferramentas, poderá continuar a visualizá-los de forma apelativa.
Acompanhe as mudanças
Se quiser saber mais sobre métricas de aprendizagem e desenvolvimento, sugiro que acompanhe algumas comunidades de L&D no LinkedIn e noutras plataformas. Sugiro que comece pela L&D Shakers e pela Offbeat.
Se acha que estou completamente errado relativamente às perguntas sobre cSAT nos inquéritos realizados após a aprendizagem, contacte-me através do LinkedIn — estou sempre disponível para um bom debate!
Alguns recursos adicionais para o ajudar a aperfeiçoar o seu programa de L&D e desenvolver o seu talento:
- Como criar uma estratégia de aprendizagem e desenvolvimento em 7 passos
- Como criar uma cultura de aprendizagem próspera
- Os 10 melhores sistemas de gestão da aprendizagem (LMS) para a formação de colaboradores
- Melhores sistemas de gestão do desempenho empresarial
Subscreva a newsletter da People Manage People para receber regularmente artigos que ajudam a melhorar a aprendizagem e o desenvolvimento, bem como outras funções de gestão de pessoas na sua organização.