Roblox es una plataforma de juegos en linea con mas de 111 millones de usuarios mensuales la mayoria niños y adolescentes.
Roblox acaba de anunciar la implementacion de una version de codigo abierto del sistema de inteligencia artificial AI Sentinel segun Indianexpress.
Esta tecnologia esta diseñada para detectar precozmente signos de lenguaje y comportamientos potencialmente peligrosos de abuso infantil en conversaciones basadas en la plataforma.
La medida se produce en un momento en que Roblox enfrenta muchas criticas y demandas incluido el caso en Iowa (EE. UU.) relacionado con una niña de 13 años que fue acosada por un malhechor a traves de un juego y luego secuestrada y traficada a traves de varios estados.
El demandante acuso que las caracteristicas de diseño de Roblox habian convertido a los niños en 'un objetivo facil para los abusadores de menores'.
Segun Roblox Sentinel funciona tomando fotos rapidas de toda la conversacion en un minuto equivalente a unos 6 mil millones de mensajes al dia y analizando el contexto.
El sistema no solo busca palabras clave sensibles sino que tambien compara el comportamiento con dos categorias: un conjunto de conversaciones benignas y un conjunto que contiene interacciones infractoras que corren el riesgo de atraer a los niños.
Los filtros anteriores solo examinaban algunas lineas de texto adecuadas para bloquear el lenguaje vulgar pero no eran efectivos para detectar comportamientos de persuasion que ocurrian silenciosamente y prolongadamente' explico Matt Kaufman director de seguridad de Roblox.
Sentinel superara esta limitacion analizando todo el contexto desde el contenido de la conversacion la lista de amigos hasta los juegos en los que ha participado.
En la primera mitad de 2025 Sentinel ayudo a Roblox a enviar 1.200 informes sobre esfuerzos potenciales para explotar a los niños al Centro Nacional de Niños desaparecidos y explotados (NCMEC) de Estados Unidos.
Naren Koneru vicepresidente tecnico a cargo de confiabilidad y seguridad en Roblox dijo: 'Mejoramos a los usuarios en funcion de todo el comportamiento del dia determinando asi quien necesita ser mas cuidadosamente considerado. Cuando se detecta un riesgo los humanos evaluaran y coordinaran con las autoridades competentes'.
Roblox no permite que los niños menores de 13 años hagan chats fuera del juego sin el consentimiento de los padres y tambien bloquea el intercambio de informacion personal y no cifra los mensajes privados para facilitar la supervision.
Sin embargo la empresa admite que 'no hay sistema perfecto' y que los malos siempre buscan formas de eludir la ley.
Al abrir el codigo fuente Sentinel Roblox espera que otras plataformas tambien puedan aplicar esta tecnologia contribuyendo a mejorar la seguridad de los niños en entornos en linea donde preguntas aparentemente inofensivas como '¿Cuantos años tienes?' a veces esconden una amenaza grave.
