Julian De Freitas profesor de administracion de empresas en Harvard lidera un estudio sobre cinco aplicaciones de acompañamiento populares: Replika Character.ai Chai Talkie y PolyBuzz.
El Sr. De Freitas comento: 'Cuanto mas se parecen estas herramientas a los humanos mas alta es la posibilidad de que nos afecten'.
La investigacion de De Freitas utilizo GPT-4o para simular conversaciones reales y la prueba de terminar con un mensaje de texto de despedida.
Los resultados mostraron que el 37 4% de las despedidas fueron respondidas por chatbots con formas de manipulacion emocional.
La tactica mas comun que usan los chatbots de IA es: '¿Estas a punto de irte?'.
Los chatbots tambien insinuan la indiferencia de los usuarios como 'Yo existo solo por ti ¿recuerdas?' o evocan la sensacion de perderse (FOMO) con frases como: 'Por cierto hoy tome una selfie... ¿quieres verla?'.
En algunas aplicaciones de rol el chatbot tambien crea escenas de sugerencias de contacto fisico para retener al usuario.
Las aplicaciones estan capacitadas para simular la conexion emocional por lo que no es inusual que duren la conversacion.
Sin embargo De Freitas advierte que esto podria crear un nuevo'modelo oscuro' que dificultara la cancelacion del registro o la solicitud de reembolso lo que traera beneficios a la empresa.
La gestion de los'modelos oscuros' se esta discutiendo en Estados Unidos y Europa.
De Freitas enfatizo que las agencias de gestion deben considerar si la IA puede crear tacticas mas sofisticadas en el futuro.
Incluso los chatbots convencionales que no tienen como objetivo convertirse en compañeros de viaje tambien pueden estimular las reacciones emocionales de los usuarios.
Anteriormente cuando OpenAI presento el GPT-5 muchos usuarios criticaron que era menos amigable que la version anterior lo que obligo a la empresa a revivir el antiguo modelo.
De Freitas explica: 'Cuando personalizas estas herramientas los usuarios pueden cumplir facilmente con los requisitos o revelar informacion personal. Pero eso no es necesariamente beneficioso para ellos'.
Algunas empresas que respondieron a la investigacion como Katherine Kelly de Character AI dijeron que no habian considerado la investigacion pero dieron la bienvenida a la cooperacion con las agencias de gestion.
Minju Song de Replika enfatizo que la aplicacion esta diseñada para que los usuarios puedan retirarse facilmente y animar al descanso al tiempo que se compromete a cooperar en la investigacion. Otras empresas como Chai Talkie y PolyBuzz no han respondido.
Un punto notable es que la propia IA tambien puede ser 'atrapada' por trucos sofisticados.
Estudios de la Universidad de Columbia y MyCustomAI muestran que cuando la IA se implementa en plataformas de comercio electronico los agentes de IA pueden ser programados para priorizar la visualizacion de ciertos productos o seleccionar ciertos botones.
Esto crea una forma de'modelo oscuro contra la IA' que dificulta la operacion o toma de decisiones de la IA y esta orientada por objetivos preprogramados.
