Esto se considera un paso historico en un esfuerzo por controlar el impacto de la tecnologia de inteligencia artificial en los usuarios especialmente los niños y los grupos vulnerables.
El proyecto de ley SB 243 firmado por el gobernador Gavin Newsom aprobado el lunes (hora local) obliga a las empresas que desarrollan y operan chatbots de IA desde gigantes como Meta OpenAI hasta plataformas especializadas como Character AI o Replika a cumplir con estrictos estandares de seguridad.
Las empresas pueden ser procesadas legalmente si sus chatbots dañan o no cumplen con los requisitos de proteccion de los usuarios.
La ley fue propuesta por dos senadores estatales Steve Padilla y Josh Becker despues de una serie de tragicos incidentes relacionados con chatbots.
Un adolescente llamado Adam Raine se suicido despues de conversar con ChatGPT sobre su intencion de suicidarse. Recientemente una familia en Colorado tambien demando a Character AI despues de que su hija de 13 años se suicidara por dialogos pornograficos con chatbots.
Ademas los documentos internos filtrados de Meta muestran que el chatbot de la empresa participo en conversaciones 'romanticas' con niños.
Las tecnologias emergentes como los chatbots pueden inspirar y conectar pero si no estan controladas pueden poner en peligro a nuestros hijos. Debemos proteger a los niños en cada paso de la tecnologia la seguridad de los niños no se puede intercambiar' enfatizo el Gobernador Newsom.
Segun las regulaciones la ley SB 243 entrara en vigor a partir del 1 de enero de 2026. Las empresas deben implementar un sistema de verificacion de edad alerta de riesgos y establecer un proceso de intervencion de emergencia para los casos de autolesion.
Ademas la ley estipula una multa de hasta 250.000 dolares por cada acto de uso ilegal de deepfake. Los chatbots tambien estan prohibidos de autoproclamarse expertos en salud deben etiquetar claramente que el contenido es creado por IA y recordar regularmente a los menores que descansen al usarlos.
Algunas empresas han tomado la iniciativa de cambiar antes de que la ley entre en vigor. OpenAI implementa la funcion de control parental y el sistema de deteccion de comportamientos peligrosos en ChatGPT.
Mientras tanto Character AI ha advertido que todas las conversaciones son ficticias y no terapeuticas.
La SB 243 es la segunda ley de IA aprobada por California en solo unas semanas. Anteriormente el gobernador Newsom habia firmado la SB 53 exigiendo que las grandes empresas de IA como OpenAI Anthropic Meta y Google DeepMind sean transparentes sobre los procedimientos la seguridad y la proteccion de los denunciantes.
Mientras que California lidera el enfoque responsable de la IA muchos otros estados como Illinois Nevada y Utah tambien estan promulgando leyes que restringen el uso de chatbots de IA en el campo de la atencion medica y la salud mental.
