Como validar um teste psicométrico com inteligência artificial antes de usá-lo na sua empresa

Para avaliar um teste psicométrico com IA, analise as evidências de validade para o uso previsto, a precisão das pontuações, a pertinência para o cargo e a população e possíveis diferenças entre grupos. Confirme qual versão do modelo foi estudada e como será supervisionada. Essa análise de compra não substitui uma validação psicométrica profissional nem uma avaliação jurídica.

O que significa validar uma avaliação com IA?

Uma demonstração atraente mostra como uma interface funciona; não demonstra que seus resultados permitam uma decisão profissional pertinente. Validar exige reunir evidências que sustentem as interpretações e os usos previstos das pontuações. O ponto de partida é a pergunta concreta: quais informações esse cargo exige e para qual decisão serão utilizadas?

Antes de pedir um relatório técnico, escreva uma ficha breve: tarefas do cargo, competências relevantes, população e idioma, etapa do processo, critério de desempenho e responsáveis pela análise dos resultados. Uma ferramenta utilizada na seleção não fica automaticamente respaldada para diagnóstico clínico, promoção ou qualquer outro uso.

O que a pesquisa oferece e o que não se pode prometer?

Schmidt e Hunter sintetizaram em 1998 décadas de pesquisa sobre métodos de seleção. Suas estimativas históricas continuam aparecendo em apresentações comerciais, mas não equivalem à precisão de um produto atual nem a uma porcentagem de contratações bem-sucedidas. Uma correlação de validade não é uma taxa de acerto individual.

Sackett, Zhang, Berry e Lievens (2022) revisaram as correções por restrição de amplitude e encontraram superestimação em várias estimativas anteriores. Os métodos continuavam úteis, mas suas relações com o desempenho eram menores do que se havia suposto. Por isso, não convém transferir um coeficiente histórico para qualquer teste, cargo ou implementação.

O estudo de Stanford sobre a Pymetrics acrescenta outra pergunta: uma média global pode ocultar disparidades por vaga. As evidências de validade e a análise de equidade devem ser examinadas separadamente; uma não substitui a outra.

Sete perguntas para fazer ao fornecedor

1. O que mede, o que prevê e com quais evidências?

Peça a definição dos construtos e sua relação com as tarefas do cargo. Solicite estudos, amostras, datas, critérios externos utilizados e limites de interpretação. Verifique se “prevê desempenho” significa uma relação estudada com uma medida pertinente ou apenas um rótulo comercial.

2. Qual é a precisão das pontuações?

Solicite indicadores de confiabilidade e erro de medida, com uma explicação de suas implicações. Duas pontuações próximas não representam necessariamente uma diferença relevante. Pergunte quais evidências sustentam os limites de decisão e como são analisados os casos próximos a eles; não invente um ponto de corte porque o gráfico parece claro.

3. As evidências correspondem à minha população e ao meu cargo?

Pergunte sobre idioma, adaptação, nível de experiência, contexto profissional e referências de comparação. Uma amostra de outro país ou cargo pode trazer informações, mas sua pertinência deve ser justificada. Uma tradução não demonstra, sozinha, equivalência de medida nem validação local.

4. Onde a IA atua e qual versão foi avaliada?

“Com IA” pode significar administrar perguntas, pontuar respostas, gerar um relatório ou recomendar quem avança. Peça para distinguir essas funções. Registre a versão do modelo, as variáveis utilizadas, o papel dos dados de treinamento e quais mudanças poderiam alterar a interpretação. Uma atualização não deveria herdar automaticamente as evidências de uma versão diferente.

5. Quais análises de equidade e impacto adverso existem?

Peça taxas por etapa e cargo, tamanhos de amostra, incerteza e análises pertinentes aos grupos que seja legal avaliar. A regra dos 80% da EEOC pode orientar uma análise, mas não substitui os requisitos de cada país nem certifica ausência de discriminação. Não trate uma diferença com poucos casos como uma conclusão definitiva.

6. Como uma recomendação é revisada e o candidato é protegido?

Confirme quem pode corrigir um resultado, quais informações o avaliador recebe e como se documenta uma decisão diferente da recomendação. Analise acessibilidade, alternativas diante de dificuldades técnicas e canais de esclarecimento. Defina finalidade do tratamento, acesso, retenção e exclusão dos dados com as equipes jurídica e de privacidade.

7. O que será acompanhado depois da implementação?

Combine responsáveis, indicadores e situações que exigirão rever o uso. Mudanças no cargo, na população, no idioma, no modelo ou no critério de pontuação podem exigir uma nova análise das evidências. Monitorar não significa esperar uma reclamação: defina antes como serão detectadas diferenças ou problemas de aplicação.

Checklist de análise: qual documento solicitar

• Uso previsto: ficha do cargo e descrição da decisão que o instrumento apoiará.
• Validade e precisão: documentação técnica, estudos e explicação do erro de medida.
• Pertinência: justificativa para população, idioma e referências de comparação.
• Componente de IA: versão, funções, variáveis e política de mudanças.
• Equidade: análises por etapas e grupos pertinentes, com contexto e limitações.
• Governança: responsabilidades de revisão humana, privacidade, acessibilidade e acompanhamento.

Registre para cada ponto as evidências recebidas, as limitações e a pergunta pendente. Essa checklist é um apoio à análise, não uma escala validada nem um certificado. Não some respostas para obter uma suposta “porcentagem de validade”.

Quando avançar, realizar um piloto ou interromper a decisão?

Avance apenas quando os responsáveis puderem justificar o uso e suas condições. Se a pertinência de certas evidências continuar em aberto, um piloto delimitado serve para estudar o processo, com objetivos e controles definidos; não garante, sozinho, uma validação suficiente. Evite decisões automáticas de alto impacto enquanto faltarem informações essenciais.

Se não for possível identificar o instrumento ou a versão, não houver documentação técnica, o critério de decisão não for explicado ou houver promessa de “zero vieses”, solicite esclarecimentos documentados antes de implementar. Uma afirmação opaca não demonstra que a ferramenta seja inadequada, mas também não oferece uma base defensável para utilizá-la.

Como levar essas perguntas ao seu processo seletivo

Na HR Catalisis, você pode conversar sobre avaliações da Aon e os critérios relevantes para seu processo. A recomendação de um instrumento deve considerar sua documentação, o contexto do cargo e os limites aplicáveis; trabalhar com um fornecedor reconhecido não garante ausência de viés, validade universal nem um resultado individual.

Para organizar a comparação comercial, consulte o guia de compra de avaliações de talentos. Para analisar quais perguntas cada instrumento responde, explore personalidade profissional com o ADEPT-15 e entrevistas assíncronas estruturadas.