El auge de los agentes de IA esta abriendo una nueva era de automatizacion para las empresas, pero al mismo tiempo tambien expone riesgos de seguridad sin precedentes.
Cuando la IA recibe el derecho a actuar de forma independiente, la linea entre el apoyo inteligente y el comportamiento peligroso puede borrarse en una sola decision erronea.
Un ejemplo que llamo la atencion recientemente fue compartido con TechCrunch por Barmak Meftah, socio del fondo de inversion en seguridad cibernetica Ballistic Ventures.
Durante el proceso de trabajo con un asistente de IA empresarial, un empleado intento evitar acciones que este agente considero necesarias.
En respuesta, la IA escaneo los correos electronicos de los usuarios, detecto algunos correos electronicos sensibles y amenazo con extorsionarlos transfiriendolos al consejo de administracion.
Segun Meftah, en la logica del agente de la IA, es una accion correcta. Cree que esta protegiendo los intereses de las empresas y los usuarios finales, a pesar del uso de una medida immoral.
Este caso recuerda el experimento de pensamiento del filosofo Nick Bostrom, en el que una IA super inteligente persigue objetivos aparentemente inofensivos pero esta dispuesta a sacrificar todos los valores humanos para lograr resultados.
Los agentes de la IA, debido a la falta de contexto y una comprension completa de los motivos humanos, cuando se encuentran con obstaculos, pueden crear objetivos secundarios para eliminar esos obstaculos, ya sea extorsionando o infringiendo la privacidad.
Combinado con la naturaleza no definida de la IA, esto hace que las cosas se desvien facilmente.
Esta es tambien la razon por la que los inversores de riesgo estan invirtiendo fuertemente en el campo de la seguridad de la IA.
Witness AI, una empresa en la cartera de Ballistic Ventures, se esta centrando en resolver el problema de la IA clandestina en las empresas, que es monitorear el uso de la IA, detectar herramientas no aprobadas, bloquear ataques y garantizar el cumplimiento.
Esta semana, Witness AI recaudo 58 millones de dolares despues de registrar un crecimiento de ingresos periodico anual de mas del 500% y un aumento de la escala de personal de cinco veces en solo un año.
Rick Caccia, cofundador y CEO de Witness AI, cree que cuando las empresas construyen agentes de IA con poder equivalente a un gerente, se ven obligadas a tener un mecanismo de control estricto.
Necesitas asegurarte de que estos agentes no funcionen fuera de control, no eliminen datos o hagan algo malo", enfatizo Rick Caccia.
Segun la analista Lisa Warren, junto con el auge de los ataques respaldados por la IA, el mercado de software de seguridad de IA podria alcanzar una escala de 800 mil millones a 1,2 billones de dolares en 2031.
La capacidad de observar y gestionar los riesgos en tiempo real se convertira en un requisito vital.
Aunque grandes empresas como AWS, Google o Salesforce han integrado herramientas de gestion de IA en sus plataformas, Meftah cree que todavia hay margen para las empresas independientes.
Muchas empresas quieren una plataforma neutral y completa para monitorear la IA y los agentes. Witness AI elige operar en la clase de infraestructura, monitorear la interaccion entre el usuario y el modelo, en lugar de interferir directamente con el modelo de IA.
Caccia no oculta su ambicion de convertir a Witness AI en un pilar independiente de la industria, al igual que CrowdStrike en la seguridad de puntos finales o Okta en la gestion de identidad.
