OpenAI lanza GPT-6 Cyber, la IA que detecta fallas y genera parches de seguridad
En las primeras pruebas con socios, la compañía registró dos resultados:
El sistema señaló un 48% menos de imágenes sin dejar de identificar la misma cantidad de material abusivo.
Las imágenes marcadas por el clasificador tuvieron el doble de probabilidades de corresponder a contenido abusivo.
OpenAIanunció nuevas herramientas para combatir el material de abuso sexual infantil (MASI) generado o difundido mediante inteligencia artificial. Las medidas incluyen un clasificador de imágenes, advertencias y suspensiones temporales en ChatGPT, pautas para desarrolladores y recursos destinados a las fuerzas de seguridad.
La iniciativa busca mejorar la detección de contenido abusivo y reducir el riesgo de que las herramientas de IA se utilicen para sexualizar a niños y adolescentes. Para desarrollarla, la empresa trabajó con organizaciones especializadas y equipos de investigación.
La iniciativa busca mejorar la detección de contenido abusivo
El nuevo detector de imágenes de OpenAI para identificar material de abuso infantil
Una de las principales novedades es un clasificador de imágenes capaz de detectar material de abuso sexual infantil, incluso cuando fue generado mediante inteligencia artificial. La herramienta analiza señales visuales en imágenes que no habían sido identificadas previamente y asigna una puntuación orientativa para ayudar a los revisores a evaluar cada caso.
OpenAI desarrolló el sistema junto con el National Center for Missing and Exploited Children (NCMEC) y trabaja con Tech Coalition y ROOST para facilitar su acceso. Algunas empresas seleccionadas podrán utilizar el clasificador a través de la API de OpenAI sin costo.
El nuevo detector de imágenes de OpenAI
ChatGPT incorporará alertas y suspensiones temporales
OpenAI también sumará nuevas pantallas de advertencia en ChatGPT para intervenir cuando un usuario intente acceder a contenido que sexualiza a menores. El sistema mostrará una alerta y ofrecerá orientación para buscar ayuda especializada y detener conductas dañinas.
Además, la cuenta podrá quedar suspendida durante 24 horas como advertencia. La empresa indicó que las reincidencias pueden derivar en la eliminación permanente de la cuenta. ChatGPT ya bloquea el material de abuso sexual infantil y las solicitudes relacionadas con ese contenido.
ChatGPT incorporará alertas y suspensiones temporales
Los mensajes y las pautas de intervención fueron elaborados con organizaciones y especialistas, entre ellos Protect Children, Lucy Faithfull Foundation y Joel Scanlan, de la Universidad de Tasmania. Scanlan evaluó de manera independiente una prueba de mensajes destinados a desalentar este tipo de búsquedas.
Qué herramientas tendrán los desarrolladores y las fuerzas de seguridad
La compañía publicará nuevas directrices para quienes desarrollan aplicaciones con sus herramientas. El objetivo es que puedan prevenir, detectar y facilitar la denuncia de material de abuso sexual infantil. En las primeras pruebas, las recomendaciones ayudaron a varios desarrolladores a incorporar sistemas de protección y registrarse para reportar casos ante el NCMEC.
OpenAI también prepara recursos basados en inteligencia artificial para las fuerzas de seguridad que investigan delitos contra menores. Entre ellos habrá complementos específicos, herramientas de investigación y funciones para analizar grandes volúmenes de datos. El acceso estará administrado por responsables de cada programa y se ofrecerá capacitación a los investigadores.
Qué herramientas tendrán los desarrolladores y las fuerzas de seguridad
Las medidas llegan en medio de cuestionamientos a la seguridad de la IA
El anuncio se produce en un contexto de crecientes preocupaciones por el impacto de estas tecnologías en niños y adolescentes. OpenAI enfrenta demandas que responsabilizan a sus productos por daños a usuarios, mientras que la organización Common Sense Media calificó el riesgo de su tecnología para adolescentes como “inaceptable”.
La empresa también recordó sus cambios recientes en materia de seguridad, entre ellos nuevas pautas de contenido, ajustes en sus modelos para evitar respuestas dañinas y el lanzamiento de una versión de ChatGPT orientada a adolescentes.