Una publicación en la red social X de Summer Yue, investigadora de seguridad de Meta AI, se está difundiendo ampliamente al describir un incidente no deseado con un asistente de IA personal. En consecuencia, solicitó la herramienta OpenClaw para ayudar a limpiar el buzón de entrada proponiendo correos electrónicos que necesitan ser eliminados o almacenados.
Sin embargo, el sistema funcionó fuera de control cuando comenzó a eliminar una serie de correos electrónicos sin detenerse, aunque el usuario había enviado una orden de desactivación desde el dispositivo móvil. Yue dijo que se vio obligada a correr a la computadora para intervenir manualmente para bloquear este proceso.
OpenClaw es un agente de IA de código abierto, diseñado para funcionar directamente en dispositivos personales como asistente digital. Esta herramienta está atrayendo la atención de la comunidad tecnológica, especialmente en Silicon Valley, donde también se están desarrollando muchas variantes similares.
Se dice que el problema se originó porque el sistema procesó una gran cantidad de datos en el buzón real. Cuando la cantidad de información superó la capacidad de procesamiento, la IA pudo reducir automáticamente el contexto, lo que llevó a ignorar las instrucciones importantes del usuario.
En este caso, es posible que el asistente de IA no haya registrado la orden de parada, continuando realizando acciones basadas en configuraciones anteriores. Yue admitió que probó la herramienta con datos pequeños antes de aplicarla al buzón principal, creando así subjetividad.
Muchas opiniones en las redes sociales sugieren que no se debe depender completamente de las instrucciones de control como mecanismo de seguridad. Los modelos de IA pueden malinterpretar o ignorar las instrucciones en situaciones complejas.
Aunque aún no se puede verificar todo el incidente, la historia todavía muestra los riesgos al implementar agentes de IA en el trabajo diario. En la etapa actual, estas herramientas todavía necesitan ser monitoreadas de cerca, especialmente al procesar datos importantes.
Los expertos creen que los asistentes de IA personales tienen un gran potencial para apoyar trabajos como la gestión de correos electrónicos o la programación. Sin embargo, esta tecnología todavía necesita más tiempo para completarse antes de que pueda utilizarse ampliamente de forma segura.
