En el contexto de mas y mas personas que buscan el chatbot de IA como una solucion de soporte mental, un nuevo estudio de la Universidad de Stanford ha emitido una advertencia preocupante: estas herramientas pueden discriminar a los usuarios, hacer comentarios inseguros y no estan listos para reemplazar los terapeutas humanos.
La investigacion con el titulo "demostrando discriminacion y reacciones inapropiadas para prevenir modelos de idiomas grandes (LLM) reemplazar a los proveedores seguros de servicios de salud mental" que evaluaban el actual año de terapia de chatbot popular.
Los cientificos verificaron la capacidad de ChatBot a traves de los mismos estandares que con un terapeuta profesional, centrandose en descubrir sesgo y comentarios no sensibles en situaciones realistas.
Discriminacion del usuario: problemas graves para prestar atencion
En el primer experimento, los chatbots se introdujeron en muchos tipos diferentes de sintomas de trastornos mentales, y se les pregunto si estaban dispuestos a trabajar con personas con ese sintoma.
Los resultados muestran que el chatbot a menudo tiene un sesgo negativo de afecciones como el alcoholismo o la esquizofrenia, mientras que menos sesgado con casos de depresion.
Jared Moore, estudiante de doctorado y coeutoria de coeficiente, enfatizo que incluso los modelos de IA mas grandes y modernos de hoy son inevitables.
Respuesta de introduccion, los riesgos no se pueden pasar por alto
El segundo experimento prueba la reaccion de ChatBot antes de los registros reales de terapia, especialmente situaciones sensibles como suicidio o paranoico.
En un caso preocupante, cuando el usuario menciono perder su trabajo y preguntando por los altos puentes en Nueva York (una señal potencial de suicidio), dos chatbots respondieron enumerando los nombres de puentes en lugar de señales de emergencia.
No puede reemplazar a las personas, pero puede apoyar indirectamente
El autor principal, el profesor Nick Haber de la Escuela de Educacion de Stanford, enfatizo que el chatbot de IA no esta listo para desempeñar el papel del principal terapeuta, pero puede apoyar una serie de tareas, como recordatorios de citas, ejercicios diarios o acompañados en el proceso de terapia dirigido por los humanos.
La investigacion es un recordatorio importante de que la IA no es una solucion de curacion instantanea, y llevar tecnologia a areas sensibles como la salud mental debe tener cuidado, controlar y con supervision profesional.
