Cómo validar una prueba psicométrica con inteligencia artificial antes de usarla en tu empresa

Para evaluar una prueba psicométrica con IA, revisa la evidencia de validez para el uso previsto, la precisión de sus puntuaciones, su pertinencia para el cargo y la población, y sus posibles diferencias entre grupos. Confirma qué versión del modelo se estudió y cómo se supervisará. Esta revisión de compra no sustituye una validación psicométrica profesional ni una evaluación legal.

¿Qué significa validar una evaluación con IA?

Una demostración atractiva muestra cómo funciona una interfaz; no demuestra que sus resultados permitan tomar una decisión laboral pertinente. Validar exige reunir evidencia que respalde las interpretaciones y los usos previstos de las puntuaciones. El punto de partida es la pregunta concreta: ¿qué información necesita este cargo y para qué decisión se utilizará?

Antes de pedir un informe técnico, escribe una ficha breve: tareas del puesto, competencias relevantes, población e idioma, etapa del proceso, criterio de desempeño y responsables de revisar los resultados. Una herramienta utilizada en selección no queda automáticamente respaldada para diagnóstico clínico, promoción o cualquier otro uso.

¿Qué aporta la investigación y qué no se puede prometer?

Schmidt y Hunter sintetizaron en 1998 décadas de investigación sobre métodos de selección. Sus estimaciones históricas siguen apareciendo en presentaciones comerciales, pero no equivalen a la precisión de un producto actual ni a un porcentaje de contrataciones exitosas. Una correlación de validez no es una tasa de acierto individual.

Sackett, Zhang, Berry y Lievens (2022) revisaron las correcciones por restricción de rango y encontraron que varias estimaciones anteriores se habían sobreestimado. Los métodos continuaban siendo útiles, pero la magnitud de sus relaciones con el desempeño era menor de lo que se había supuesto. Por eso no conviene trasladar un coeficiente histórico a cualquier prueba, puesto o implementación.

El estudio de Stanford sobre Pymetrics añade otra pregunta: un promedio global puede ocultar disparidades por vacante. La evidencia de validez y la revisión de equidad deben examinarse por separado; una no reemplaza a la otra.

Siete preguntas que debes hacerle al proveedor

1. ¿Qué mide, qué predice y con qué evidencia?

Pide la definición de los constructos y la relación con las tareas del cargo. Solicita estudios, muestras, fechas, criterios externos utilizados y límites de interpretación. Comprueba si “predice desempeño” significa una relación estudiada con una medida pertinente o solamente una etiqueta comercial.

2. ¿Qué tan precisas son las puntuaciones?

Solicita indicadores de confiabilidad y error de medición, con una explicación de sus implicaciones. Dos puntuaciones cercanas no necesariamente representan una diferencia relevante. Pregunta qué evidencia respalda los umbrales y cómo se revisan los casos próximos a ellos; no inventes un punto de corte porque el gráfico parece claro.

3. ¿La evidencia corresponde a mi población y a mi cargo?

Pregunta por idioma, adaptación, nivel de experiencia, contexto laboral y referencias de comparación. Una muestra de otro país o puesto aporta información, pero su pertinencia debe justificarse. Una traducción no demuestra por sí sola equivalencia de medición ni validación local.

4. ¿Dónde interviene la IA y qué versión fue evaluada?

“Con IA” puede significar administrar preguntas, puntuar respuestas, generar un informe o recomendar quién avanza. Pide distinguir esas funciones. Registra la versión del modelo, las variables utilizadas, el papel de los datos de entrenamiento y qué cambios podrían modificar la interpretación. Una actualización no debería heredar automáticamente la evidencia de una versión distinta.

5. ¿Qué análisis de equidad e impacto adverso existen?

Pide tasas por etapa y puesto, tamaños de muestra, incertidumbre y análisis pertinentes a los grupos que sea legal evaluar. La regla del 80 % de la EEOC puede orientar una revisión, pero no reemplaza los requisitos de cada país ni certifica ausencia de discriminación. No trates una diferencia con pocos casos como una conclusión definitiva.

6. ¿Cómo se revisa una recomendación y se protege al candidato?

Confirma quién puede corregir un resultado, qué información recibe el evaluador y cómo se documenta una decisión diferente de la recomendación. Revisa accesibilidad, alternativas ante dificultades técnicas y canales de aclaración. Define finalidad del tratamiento, acceso, conservación y eliminación de datos con el equipo jurídico y de privacidad.

7. ¿Qué se controlará después de implementar?

Acuerda responsables, indicadores y situaciones que obligarán a revisar el uso. Cambios en el puesto, la población, el idioma, el modelo o el criterio de puntuación pueden requerir una nueva evaluación de la evidencia. Monitorizar no significa esperar a que aparezca una queja: define antes cómo se detectarán diferencias o problemas de aplicación.

Checklist de revisión: qué documento pedir

• Uso previsto: ficha del cargo y descripción de la decisión que apoyará el instrumento.
• Validez y precisión: documentación técnica, estudios y explicación del error de medición.
• Pertinencia: justificación para la población, idioma y referencias de comparación.
• Componente de IA: versión, funciones, variables y política de cambios.
• Equidad: análisis por etapas y grupos pertinentes, con contexto y limitaciones.
• Gobernanza: responsabilidades de revisión humana, privacidad, accesibilidad y seguimiento.

Registra para cada punto la evidencia recibida, las limitaciones y la pregunta pendiente. Esta checklist es una ayuda de revisión, no una escala validada ni un certificado. No sumes respuestas para obtener un supuesto “porcentaje de validez”.

¿Cuándo avanzar, hacer un piloto o detener la decisión?

Avanza solo cuando los responsables puedan justificar el uso y sus condiciones. Si la pertinencia de cierta evidencia sigue abierta, un piloto acotado permite estudiar el proceso, con objetivos y controles definidos; no garantiza por sí mismo una validación suficiente. Evita decisiones automáticas de alto impacto mientras falte información esencial.

Si no se identifica el instrumento o la versión, no se entrega documentación técnica, no se explica el criterio de decisión o se promete “cero sesgos”, solicita una aclaración documentada antes de implementar. Una afirmación opaca no demuestra que una herramienta sea inadecuada, pero tampoco proporciona una base defendible para usarla.

Cómo llevar estas preguntas a tu proceso de selección

En HR Catalisis puedes conversar sobre evaluaciones de Aon y los criterios relevantes para tu proceso. La recomendación de un instrumento debe considerar su documentación, el contexto del cargo y los límites aplicables; trabajar con un proveedor reconocido no garantiza ausencia de sesgo, validez universal ni un resultado individual.

Para organizar la comparación comercial, consulta la guía de compra de evaluaciones de talento. Para revisar qué preguntas responde cada instrumento, explora personalidad laboral con ADEPT-15 y entrevistas asíncronas estructuradas.