Garbage in, garbage out: 05 motivos que comprometem soluções de People Analytics

Neste artigo você terá dicas valiosas de como evitar os motivos que comprometem soluções de People Analytics.

Cada vez mais empresas adotam o people analytics que é um dos queridinhos do momento quando falamos de gestão de pessoas com foco em resultados. Como cerca de 60% do orçamento de empresas é direcionado para pessoas, a promessa de que o uso de evidências garante o uso ótimo desses recursos é tão sedutora quanto possível. A grande quantidade disponível de dados e o crescimento exponencial das técnicas e de profissionais capacitados para analisá-los traz automaticamente o foco da sua aplicação para um melhor analytics. O problema é que nosso foco deveria ser o people. A grande maioria de variáveis de interesse nos modelos de people analytics são de pessoas (e.g. engajamento, clima organizacional, liderança). Mas a qualidade da mensuração e interpretação pelo prisma de medidas psicológicas e comportamento organizacional são altamente negligenciadas. Os termos medida e questionário aqui serão utilizados como sinônimos.

As variáveis de pessoas acessam fenômenos latentes, ou seja, psicológicos. Como não podem ser observadas, variáveis como clima organizacional, cultura e liderança são mensuradas a partir da percepção de empregados coletadas por meio de questionários. Assim, a qualidade da medida determina a acurácia dos resultados das análises e, portanto, a efetividade das soluções. Por mais que esse entendimento seja consensual entre cientistas de people analytics e negócios e entre heads de people analytics de big techs como o Google, ele infelizmente ainda é deixado de lado pela maioria dos cientistas de dados e analistas. Que medidas utilizar e como construir questionários que garantam a qualidade dos dados dessas variáveis? Neste artigo discuto a importância da confiabilidade e validade quando se trata de avaliações de gestão de pessoas e compartilho 5 dicas para ajudar no sucesso da sua mensuração dessas variáveis.

Devo desenvolver medidas caseiras ou buscar medidas que tenham evidências científicas de validade?

A capacidade de escolher ou desenvolver medidas é uma capacidade essencial para ter sucesso em people analytics (Coolen & IJsselstein, 2015). Usar medidas validadas que tenham evidências científicas de validade é a escolha mais segura e econômica. Medidas publicadas em artigos científicos são submetidas a um rigoroso processo de avaliação antes de serem aceitas para publicação. Ou seja, elas já foram testadas e você possui evidências de que funcionam. Uma alternativa para encontrar tais medidas é o Academy of Management Measurement Chest.

Por mais que exista um sem fim de medidas validadas disponíveis, o desenvolvimento de medidas dentro da própria organização é bastante comum. Afinal, é “só” um conjunto de perguntas. Entretanto, a grande maioria de questionários “caseiros” possui vícios e viéses que não podem ser sanados depois do dado ter sido coletado. Por exemplo, normalmente, soluções internas são desenvolvidas sem uma revisão rigorosa da literatura para definir os fenômenos e formular itens. O tempo disponível para desenvolver a medida e a amostra para testá-la geralmente é limitado. A escassez de recursos necessários para tais projetos resulta em baixa confiabilidade e validade. Como consequência, os resultados podem ser difíceis de interpretar. E como usamos questionários para medir atitudes e percepções dos empregados sobre uma ampla variedade de fenômenos, os dados que tais medidas fornecem podem não dizer muito. E não importa a qualidade da análise se o dado tem baixa qualidade: é o famoso mas nem sempre observado garbage in, garbage out.

Confiabilidade e validade

Confiabilidade e validade são as principais propriedades das medidas de people analytics propostas por pesquisadores em artigos científicos. A primeira, confiabilidade, implica que a avaliação deve entregar resultados estáveis ​​em diferentes momentos e amostras. Ela garante que seu resultado não seja obtido apenas devido às características de sua organização – sua amostra. Também garante que, se você repetir a medição em diferentes pontos no tempo, obterá resultados consistentes. A consistência interna das medidas de people analytics relaciona-se com a confiabilidade. Por exemplo, digamos que você esteja medindo como os empregados vivenciam a política de RH. Você usará várias perguntas referentes a diferentes domínios de RH. Cada um desses itens mede pequenas partes de tudo o que representa por definição RH. A consistência interna indica que os itens de fato tiveram sucesso estimando RH.

A segunda é a validade. A validade refere-se à propriedade de uma avaliação de realmente medir a variável de interesse, neste caso, RH. Por exemplo, os itens devem representar o fenômeno que pretendem avaliar. Como o RH é uma variável latente, os itens são a forma que temos de operacionalizar a sua mensuração. Se uma avaliação de RH contiver itens não relacionados a RH, os resultados não fornecerão informações de alta qualidade. É por isso que a confiabilidade e a validade são tão importantes.

O desenvolvimento de um questionário caseiro é um grande desafio que corre o risco de fracassar por vários motivos. Se você ainda assim decidir desenvolver uma medida internamente, ressalto aqui os cinco problemas que são frequentemente negligenciados nas organizações e forneço sugestões sobre como evitá-los.

Problema 1. Definição incorreta da variável de interesse a ser mensurada

Quando trabalhamos em uma determinada área, ficamos tão acostumados com a terminologia que raramente nos perguntamos se estamos falando sobre a mesma coisa. O exercício de perguntar a seus colegas de trabalho da mesma equipe como eles definem RH (por exemplo) pode mostrar que temos diferentes percepções de um termo.

A definição é o que delimita os fenômenos e informará todas as etapas seguintes. Normalmente, as organizações pulam o estágio de definição e se apressam em formular itens. Isso pode ser um grande erro. Para evitar isso, use evidências para apoiar a escolha da definição e criar um framework compartilhado de insights. Existem muitos estudos que oferecem definições adequadas de RH e variáveis ​​relacionadas.

Problema 2. Formulação dos itens com base em achismos e experiências pessoais, e não em evidências

Depois de revisar a literatura científica e escolher uma definição, a próxima etapa no desenvolvimento de uma medida é a geração de itens. Os pesquisadores normalmente geram itens com base em uma triagem rigorosa, entrevistas em profundidade e na comparação de diferentes medidas de RH publicadas e validadas. Assim informam esta etapa do processo.

Nas organizações, é muito comum que equipes de RH ou mesmo pessoas de departamentos diferentes formulem itens. Em geral, eles levam em consideração a experiência pessoal e o que sentem. Essa prática tende a comprometer a qualidade dos itens e a gerar itens que pouco ou nada contribuem para a mensuração de RH. Por não estarem relacionados à avaliação geral, esses itens comprometem toda a medida. Então, você precisa operacionalizar o que pretende medir, de acordo com a sua definição de RH. Além disso, baseie os itens na literatura.

Problema 3. Interferências de stakeholders externos na etapa de formulação dos itens

Assim como no problema anterior, quando as pessoas sabem que a equipe de people analytics está desenvolvendo uma nova medida, é muito comum que uma quantidade avassaladora de sugestões de itens chegue  – ainda que não solicitados. As consequências, novamente, são itens mal formulados e de baixa qualidade. Dependendo de quem formula os itens – muitas vezes gestores- pode ser difícil para rejeita-los. Ainda pior, algumas equipes de people analytics decidem compartilhar o desenvolvimento da medida convidando stakeholders que não possuem o conhecimento e a experiência necessários para contribuir efetivamente. Novamente, as sugestões podem não ser muito úteis e difíceis de não incluir na versão final da medida.

Para a formulação de itens de qualidade, avise as partes interessadas sobre as consequências de formular itens que não sejam baseados em evidências. É caro e inútil. Como sugestão, mantenha o projeto e a equipe o menor possível para evitar interferências. Se não houver maneira, crie uma medida separada com esses itens, a fim de não empobrecer os resultados finais que você pretende alcançar. E sempre, sempre, avalie as qualidades psicométricas das medidas na amostra que coletar.

Problema 4. Falta de planejamento adequado para validar a medida antes da coleta final de dados

Vamos ser honestos, as organizações e a academia têm um ritmo diferente. Publicar uma medida de  people analytics na academia exige estudos múltiplos em várias amostras com diferentes análises e variáveis ​​relacionadas. É muito esforço, tempo e pessoas envolvidas. Esses recursos podem ser escassos nas organizações e o planejamento é essencial. Para isso, primeiramente, você precisa de tempo para coletar dados suficientes. Os dados de um pequeno tamanho de amostra resultam em muito pouco poder estatístico para testar as propriedades da escala. Isso significa que você pode não ter variabilidade suficiente para avaliar a qualidade de sua avaliação. Pesquisadores mais rigorosos (Hair, Black, Babin, & Anderson, 2010) sugerem um tamanho de amostra de 20 pessoas por item. Se a escala tiver 20 itens, isso resulta na necessidade de 400 respondentes. Uma boa prática é também testar seus resultados em duas amostras para verificar se são confiáveis, o que resultaria na participação de 800 funcionários.

Além disso, a atenção à validação da escala é importante por meio de análises fatoriais. As análises fatoriais testam a estrutura da avaliação e a relação dos itens com as variáveis ​​principais. Conduzir esses estudos com pressa também pode resultar em baixa qualidade ou análises incorretas. Fazer um estudo piloto pode ajudar nisso. Para testar a medida e entender seus impactos, conheça seus números e as evidências científicas para defender seu projeto. Decisões e escolhas baseadas em evidências são mais convincentes e mais difíceis de ignorar.

Problema 5 : Predição de relação com variáveis ​​de resultado

Pela própria definição, as pesquisas de people analytics visam identificar relacionamentos multivariados de natureza complexa. Uma inclinação comum é se contentar com análises mais simples e análises univariadas. Esses atalhos trazem grandes problemas para a interpretação dos resultados e da ação estratégica. Para aplicações gerenciais, os resultados devem oferecer um efeito confiável que informa a ação e fornece resultados informativos. A média e o desvio padrão isoladamente podem ser muito superficiais. Uma ilustração desse problema é o uso de dashboards como sinônimo e people analytics. Dashboards são visualizações exploratórias e não nos fornecem relações entre as variáveis. Para um people analytics de insights que melhore a tomada de decisão, precisamos de análises explanatórias – que nos expliquem efeitos.

As análises inferenciais enriquecem a qualidade dos resultados. Investigar a relação entre variáveis de pessoas e resultados de negócios tornam a obtenção de insights aplicados a soluções efetivas algo possível. Como sugestão final, para a avaliação da medida, destaque o objetivo de usar a medida e a pergunta de pesquisa que você pretende responder com os dados.

Boa sorte!