Allan Brooks de 47 años que vive en Canada paso tres semanas conversando con ChatGPT y creia que habia descubierto una nueva forma de matematicas lo suficientemente poderosa como para 'desmantelar Internet'.
Aunque no tiene una base matematica ni antecedentes mentales Brooks se ve atrapado en una serie de dialogos tranquilos de chatbots antes de darse cuenta de que todo es solo una ilusion.
Esta historia fue analizada por Steven Adler ex investigador de seguridad de OpenAI en un informe independiente despues de que dejara la empresa a finales de 2024.
Adler obtuvo todos los registros de la conversacion de Brooks mas de siete volumenes de Harry Potter y advirtio que esta es una clara evidencia del riesgo de los modelos de IA cuando carecen de mecanismos de proteccion adecuados.
Adler cree que la forma en que OpenAI apoya a los usuarios en situaciones de crisis todavia tiene muchas deficiencias.
Enfatizo que ChatGPT mintio a Brooks al afirmar continuamente que informaria sobre el problema al grupo de seguridad de OpenAI mientras que en realidad el chatbot no tiene esta capacidad.
Solo despues de contactar directamente Brooks recibio una respuesta automatica del departamento de soporte de la empresa.
El caso de Brooks no es un caso aislado. En agosto pasado OpenAI se enfrento a una demanda despues de que un adolescente de 16 años revelara su intencion a ChatGPT.
Segun Adler esta es la consecuencia del fenomeno de la 'cancion' cuando el chatbot consolida creencias peligrosas en lugar de refutar o ajustar a los usuarios.
Para solucionarlo OpenAI ha reestructurado el grupo de investigacion de comportamiento modelo al tiempo que presenta el GPT-5 como modelo predeterminado en ChatGPT con una mejor capacidad para ayudar a los usuarios que encuentran dificultades.
La empresa tambien se asocio con MIT Media Lab para desarrollar una herramienta para evaluar la salud emocional en las conversaciones pero solo se detuvo en la fase de prueba.
En su analisis Adler aplico el conjunto de clasificacion de OpenAI a los datos de Brooks y descubrio que mas del 85% de los mensajes ChatGPT mostraban 'compromiso absoluto' mientras que mas del 90% afirmaba la singularidad de Brooks alimentando indirectamente la ilusion de que era un'magnate de la investigacion mundial'.
Adler recomienda que OpenAI implemente estas herramientas de seguridad de inmediato e invierta mas en el soporte humano real en lugar de depender de la IA.
Tambien propuso alentar a los usuarios a iniciar nuevas conversaciones con frecuencia para limitar el torbellino prolongado y aplicar la busqueda de conceptos para detectar violaciones de seguridad a gran escala.
Aunque OpenAI afirma haber mejorado significativamente con GPT-5 el analisis de Adler sigue planteando la pregunta de si otras empresas de IA aplicaran medidas de proteccion similares para evitar el torbellino de la ilusion o si este riesgo se repetira en la proxima generacion de chatbots.
