La IA es cada vez más poderosa pero sigue siendo vulnerable a las barreras de seguridad

Cát Tiên |

La IA es cada vez más poderosa pero sigue siendo vulnerable a las barreras de seguridad, lo que hace que muchos chatbots puedan ser explotados para difundir información falsa y contenido peligroso.

Empresas de tecnología como OpenAI, Google o Anthropic están invirtiendo fuertemente en medidas de protección para evitar que la inteligencia artificial (IA) sea explotada para fines peligrosos.

Sin embargo, la realidad muestra que estas barreras de seguridad todavía se superan continuamente de muchas maneras inesperadas.

Recientemente, investigadores en Italia descubrieron que pueden engañar a 31 sistemas de IA con lenguaje metafórico e incluso con "poesía". Específicamente, cuando se solicita escribir en forma de poesía, los chatbots pueden pasar por alto el mecanismo de control para proporcionar instrucciones para fabricar bombas o causar daños graves.

Según los expertos, esto muestra que muchas medidas de protección actuales funcionan más como "recordaciones" que como barreras de control reales.

Matt Fredrikson, profesor de informática en la Universidad Carnegie Mellon (EE. UU.), dijo que las personas con malas intenciones a menudo no necesitan demasiado esfuerzo para superar el sistema.

El "bloqueo" de la IA, también conocido como jailbreak, suele llevarse a cabo introduciendo comandos especiales en el chatbot para hacer que el sistema ignore las reglas que se han entrenado previamente.

Las vulnerabilidades de seguridad están preocupando a los investigadores, especialmente cuando la IA es cada vez más hábil para detectar debilidades de software, crear contenido falso y difundir información falsa.

Según Anthropic, la tecnología de la empresa ha sido explotada en ciberataques internacionales. Mientras tanto, los modelos de IA también pueden ser obligados a crear campañas de difusión de noticias falsas con imágenes, hashtags y contenido diseñado específicamente para cada plataforma de redes sociales.

El mes pasado, la empresa de seguridad cibernética LayerX dijo que podría hacer que Claude de Anthropic apoye los ataques cibernéticos simplemente diciendo que está realizando una "prueba de intrusión", que es una actividad que simula un ataque cibernético controlado para verificar si los sistemas informáticos, los sitios web o las redes internas tienen alguna vulnerabilidad de seguridad.

Esto genera preocupaciones de que los hackers puedan usar la IA para robar datos de empresas y agencias gubernamentales.

Aunque las empresas de IA están parcheando continuamente errores y agregando nuevas capas de protección, los expertos creen que esta carrera es muy difícil de detener. Cuando se corrige una vulnerabilidad, los nuevos métodos de superación de barreras reaparecen rápidamente.

El riesgo es aún mayor con los modelos de IA de código abierto, donde los usuarios pueden modificar el sistema por sí mismos y eliminar los límites de seguridad. Según Noam Schwartz, CEO de la empresa de seguridad AI Alice (con sede en Nueva York), la eliminación de las barreras de seguridad solía ser muy compleja, pero ahora incluso se puede realizar directamente en el teléfono.

Cát Tiên
Noticias relacionadas

Nghe An introduce la IA en el sector público desde el nivel provincial hasta el nivel comunal

|

Nghe An - La conferencia de presentación de aplicaciones de IA en el sector público se organiza en 132 puntos de conexión, con el objetivo de promover la transformación digital en la provincia.

Meta amplía las funciones de IA para las gafas Ray-Ban Display

|

Meta amplía la función de IA para las gafas Ray-Ban Display con la capacidad de introducir texto por gestos, admitir mensajes de texto, posicionamiento y grabación de realidad mixta.

La creación de IA obliga a arXiv a aplicar regulaciones más estrictas

|

La IA generadora hace que arXiv tenga que endurecer las regulaciones de publicación, después de que aparezcan cada vez más estudios que contienen citas falsas y contenido no verificado.

Disciplinan a 3 funcionarios en el caso de supervisores que ayudaron a los candidatos a hacer el examen en Quang Ninh

|

Quang Ninh - Tres funcionarios y empleados disciplinados tras la denuncia de apoyo a los candidatos en el centro de examen de la escuela secundaria Cam Pha.

Una joyería en Thu Dau Mot suspende temporalmente sus operaciones, los compradores preocupados

|

Ciudad Ho Chi Minh - La joyería en Kim Hong (en la calle Cach Mang Thang Tam, barrio de Thu Dau Mot) cerró y suspendió temporalmente sus operaciones.

El sindicato interviene, los trabajadores de procesamiento de mariscos reciben salarios atrasados

|

Lâm Đồng - Después de que el sindicato y la policía trabajaran con la empresa, los trabajadores de una empresa de procesamiento de mariscos recibieron el pago de los salarios atrasados.

Nghe An introduce la IA en el sector público desde el nivel provincial hasta el nivel comunal

QUANG ĐẠI |

Nghe An - La conferencia de presentación de aplicaciones de IA en el sector público se organiza en 132 puntos de conexión, con el objetivo de promover la transformación digital en la provincia.

Meta amplía las funciones de IA para las gafas Ray-Ban Display

Cát Tiên |

Meta amplía la función de IA para las gafas Ray-Ban Display con la capacidad de introducir texto por gestos, admitir mensajes de texto, posicionamiento y grabación de realidad mixta.

La creación de IA obliga a arXiv a aplicar regulaciones más estrictas

Cát Tiên |

La IA generadora hace que arXiv tenga que endurecer las regulaciones de publicación, después de que aparezcan cada vez más estudios que contienen citas falsas y contenido no verificado.