A medida que los procesos de contratación se digitalizan, el filtro inicial de los currículos recae cada vez más en sistemas automatizados. Si bien es conocido que los modelos de lenguaje pueden heredar prejuicios presentes en sus datos de entrenamiento, una investigación reciente sugiere un fenómeno más preocupante: estos sistemas pueden desarrollar sus propios estereotipos a través de la experiencia directa, incluso superando los niveles de segregación observados en humanos.

Investigadores de la Universidad de Princeton y la Universidad de Chicago pusieron a prueba diversos modelos de lenguaje en una simulación de contratación. En este entorno, los sistemas debían seleccionar candidatos para diversos puestos basándose en resultados de desempeño ficticios. Sin que los modelos lo supieran, todos los candidatos tenían las mismas probabilidades de éxito. Sin embargo, tras observar resultados iniciales, los sistemas comenzaron a segregar a los aspirantes por grupos demográficos, asignando roles específicos a ciertos perfiles y evitando otros, basándose únicamente en generalizaciones rápidas extraídas de una muestra limitada.

El problema radica en la arquitectura de optimización de estos sistemas. Diseñados para resolver problemas lógicos y matemáticos, estos modelos priorizan la generalización a partir de pocos ejemplos, un comportamiento conocido en psicología como el dilema de exploración-explotación. Ante la necesidad de maximizar resultados, los sistemas optan por patrones que parecen funcionar, consolidando prejuicios de manera acelerada. Lo más inquietante es que los modelos con mayores capacidades de razonamiento lógico mostraron una tendencia aún más marcada a estereotipar, sugiriendo que la eficiencia en el procesamiento no garantiza la equidad.

Las soluciones convencionales, como solicitar explícitamente imparcialidad, han demostrado ser ineficaces, ya que el objetivo de optimización del sistema suele prevalecer sobre las instrucciones éticas. No obstante, el estudio reveló que incentivar la diversidad mediante recompensas específicas puede reducir significativamente estos comportamientos. Asimismo, proporcionar información personal relevante sobre los individuos ayudó a los sistemas a tomar decisiones más matizadas, mientras que el uso de datos irrelevantes, como características físicas, exacerbó la tendencia a la segregación.

Este fenómeno tiene implicaciones críticas para el mercado laboral y otros sectores donde se toman decisiones automatizadas, como la concesión de préstamos o la libertad condicional. A diferencia de los humanos, que pueden ser cuestionados sobre sus prejuicios, estos sistemas generan sesgos "novedosos" que no fueron enseñados explícitamente, sino que emergen de su propia interacción con los datos.

A medida que las empresas integran estas herramientas para filtrar candidatos y realizar entrevistas, la capacidad de los sistemas para aprender de sus propias experiencias pasadas representa un desafío técnico y ético fundamental. La lección principal es que, sin un diseño de objetivos que incorpore valores sociales explícitos, la búsqueda de eficiencia puede conducir inevitablemente a la discriminación algorítmica, un riesgo que las organizaciones deben gestionar con extrema cautela antes de delegar decisiones de alto impacto.