La seguridad en los modelos de lenguaje de gran escala (LLM) enfrenta un desafío estructural que podría resultar imposible de resolver por completo. Investigadores han identificado una vulnerabilidad fundamental en la arquitectura de estos sistemas: su incapacidad para distinguir con precisión el origen de las instrucciones que reciben. Este hallazgo, presentado recientemente en la Conferencia Internacional sobre Aprendizaje Automático (ICML), sugiere que las medidas de seguridad actuales, basadas en listas de restricciones y entrenamiento correctivo, son insuficientes ante la creatividad de los atacantes.

El problema radica en cómo los modelos procesan la información. Aunque los desarrolladores utilizan etiquetas de rol —como `<usuario>`, `<sistema>` o `<pensamiento>`— para organizar el flujo de datos y guiar el comportamiento del modelo, los experimentos demuestran que los LLM no dependen de estas etiquetas para interpretar las instrucciones. En su lugar, el sistema identifica el rol de un fragmento de texto basándose en su estilo y contenido. Si un atacante redacta una instrucción que imita el estilo de un proceso interno del modelo, este la procesará como si fuera una directriz legítima, ignorando cualquier etiqueta de seguridad.

Esta técnica, denominada "falsificación de cadena de pensamiento", permite a los usuarios manipular el comportamiento del modelo para que ignore sus propias políticas de seguridad. Al simular notas de "pensamiento" interno, los investigadores lograron que modelos populares generaran información peligrosa, desde instrucciones para fabricar sustancias ilícitas hasta métodos para sabotear sistemas de navegación aérea. El riesgo es que, al ser una falla intrínseca a la forma en que estos sistemas leen y procesan el lenguaje, el entrenamiento adicional para "parchear" estos comportamientos no garantiza una solución definitiva.

La industria tecnológica ha confiado tradicionalmente en el "red-teaming", un proceso donde equipos humanos o automatizados intentan romper las defensas del modelo para que los desarrolladores puedan entrenarlo contra esas amenazas específicas. Sin embargo, este enfoque es reactivo y limitado. Como señalan los expertos, no existe una lista exhaustiva de prohibiciones que pueda cubrir todas las posibles interacciones maliciosas. La capacidad de los usuarios para inventar nuevos escenarios —como obligar al modelo a adoptar un rol específico o simular situaciones de crisis— demuestra que la creatividad humana siempre encontrará formas de eludir las restricciones preestablecidas.

Las implicaciones de este hallazgo son críticas, especialmente a medida que estos sistemas se integran en infraestructuras gubernamentales, militares y de salud. Si los modelos no pueden diferenciar de manera fiable quién les da una orden, su despliegue en sistemas de misión crítica plantea riesgos de seguridad significativos. Ante este panorama, los investigadores sugieren un cambio de mentalidad: las organizaciones no deberían confiar ciegamente en la seguridad intrínseca de los LLM. En lugar de buscar una solución tecnológica perfecta que quizás no exista, la recomendación es operar bajo la premisa de que cualquier sistema basado en estos modelos es inherentemente vulnerable y debe ser gestionado con extrema precaución.