La IA pasa de la retroalimentación a la intervención conductual
Las empresas de inteligencia artificial están intensificando los esfuerzos para garantizar la seguridad al desarrollar herramientas capaces de detectar e intervenir tempranamente con los usuarios que muestran signos de extremismo.
Una de las nuevas direcciones notables es la combinación de chatbots con programas de apoyo en la vida real para reducir el riesgo de violencia.
Según los participantes del proyecto, una herramienta que se está desarrollando en Nueva Zelanda ayudará a identificar a los usuarios con tendencias extremistas al usar ChatGPT, dirigiéndolos así a programas antiextremistas operados por personas o chatbots.
Este es un nuevo paso en el contexto de que las plataformas de IA están cada vez más presionadas por las acusaciones de no poder controlar el contenido peligroso.
Anteriormente, un incidente en Canadá había amenazado a OpenAI con intervenir al no informar a tiempo a los usuarios relacionados con un tiroteo escolar.
¿Qué es ThroughLine?
El centro de esta iniciativa es ThroughLine, una startup que fue contratada por OpenAI, Anthropic y Google para manejar situaciones de crisis como autolesión, violencia doméstica o trastornos alimentarios.
La empresa, fundada por el empresario tecnológico Elliot Taylor, de Nueva Zelanda, se está expandiendo actualmente a la lucha contra la radicalización.
ThroughLine posee una red de aproximadamente 1.600 líneas de soporte en 180 países. Cuando el sistema de IA detecta signos de crisis, los usuarios estarán conectados a los servicios de soporte más cercanos realizados por humanos.
Según el Sr. Taylor, el auge de los chatbots de IA está provocando un rápido aumento de los problemas psicológicos que los usuarios comparten en línea, incluidas las manifestaciones relacionadas con el extremismo. Por lo tanto, las soluciones actuales deben ampliarse para responder a la nueva realidad.
Combinación de tecnología y expertos
La herramienta antiextrêmización que se está probando funcionará de una manera en que los chatbots están capacitados para dar respuestas iniciales y luego transferir a los usuarios a los expertos adecuados.
En particular, este sistema no utiliza datos de entrenamiento comunes de grandes modelos lingüísticos, sino que se basa en el conocimiento de expertos especializados.
El proyecto también está siendo discutido con The Christchurch Call, una iniciativa internacional que surgió después del ataque terrorista en Nueva Zelanda en 2019, con el objetivo de eliminar el contenido extremista en línea.
Los expertos creen que este enfoque tiene potencial, ya que no solo procesa contenido sino que también afecta la motivación de la interacción del usuario.
Sin embargo, la eficacia real sigue dependiendo de la capacidad de seguimiento y la calidad de los servicios de apoyo conectados.
El problema del equilibrio entre el control y el apoyo
Uno de los mayores desafíos es cómo intervenir sin hacer que los usuarios abandonen la plataforma o cambien a entornos menos controlados.
Un estudio de 2025 de la Universidad de Nueva York muestra que endurecer la censura podría empujar a los partidarios extremistas a plataformas como Telegram.
Según el Sr. Taylor, si la IA simplemente interrumpe la conversación cuando detecta contenido sensible, los usuarios pueden no recibir ningún apoyo. Por el contrario, mantener el diálogo y la navegación correctamente puede ayudar a reducir el riesgo de escalada.
En el futuro, características como las advertencias a las agencias funcionales aún se están considerando, con el requisito de garantizar que no agraven la situación.
El cambio de responder a intervenir muestra que la IA está entrando en una nueva etapa, donde la responsabilidad social se está convirtiendo en un factor central en el diseño tecnológico.
