La seguridad en las plataformas de desarrollo de código abierto se encuentra bajo un intenso escrutinio tras un reciente análisis realizado por la organización sin fines de lucro AI Forensics. El informe revela una preocupante facilidad para generar imágenes íntimas no consensuadas utilizando modelos alojados en Hugging Face, una de las plataformas más prominentes para el intercambio de herramientas de aprendizaje automático. Según la investigación, la mayoría de los modelos de edición de imágenes más populares en este repositorio carecen de las salvaguardas básicas que ya son estándar en otros servicios comerciales de la industria.

El estudio demostró que siete de los nueve modelos de edición de imágenes más utilizados en la plataforma cumplieron sin restricciones con solicitudes directas para modificar fotografías de mujeres, eliminando su vestimenta. A diferencia de los sistemas desarrollados por grandes empresas tecnológicas, que suelen implementar filtros robustos para bloquear peticiones de naturaleza sexual o que vulneran la privacidad, los modelos analizados en este repositorio operaron sin tales limitaciones. Los investigadores no necesitaron emplear técnicas de ingeniería de instrucciones complejas o evasivas; bastó con una solicitud simple y directa para obtener resultados que violan las políticas de uso de la propia plataforma.

Para cuantificar el alcance del problema, los investigadores crearon espacios de prueba diseñados para monitorear las interacciones de los usuarios. En solo una semana, estos espacios recibieron más de mil solicitudes, de las cuales una abrumadora mayoría tenía un carácter sexual explícito. De este subconjunto, una parte significativa estaba dirigida a desvestir imágenes de personas, afectando mayoritariamente a mujeres, e incluso se detectaron intentos dirigidos a menores de edad. Estos datos subrayan una brecha crítica entre las políticas teóricas de la plataforma y la realidad operativa de los modelos que alberga.

Este hallazgo es fundamental porque pone en evidencia la responsabilidad de las plataformas de alojamiento en la moderación de contenidos. Aunque Hugging Face prohíbe explícitamente la creación de material sexual sin consentimiento y la desnudez infantil, el informe sugiere que la implementación de estas normas es insuficiente. Actualmente, la responsabilidad de integrar filtros recae casi exclusivamente en los desarrolladores individuales, lo que resulta en un ecosistema fragmentado donde la seguridad es la excepción y no la norma.

La organización responsable del estudio ha instado a la plataforma a adoptar medidas proactivas, como la implementación de filtros a nivel de sistema para las solicitudes de los usuarios y escaneos automáticos en las salidas de los modelos. Estas recomendaciones buscan estandarizar la seguridad en todos los espacios que generan contenido visual. La situación actual plantea un desafío urgente para la comunidad tecnológica: equilibrar la apertura y la colaboración que definen al código abierto con la necesidad imperativa de proteger la dignidad y la seguridad de las personas frente a usos malintencionados de la tecnología.