OpenAI esta contratando a un jefe de departamento a cargo de la preparacion y respuesta al riesgo, responsable de investigar, evaluar y gestionar los riesgos cada vez mas complejos que surgen de la inteligencia artificial.
Esta informacion fue anunciada por el CEO Sam Altman en una publicacion en la red social X, lo que muestra el creciente interes de la empresa en los impactos inesperados de la avanzada tecnologia de IA.
Segun Sam Altman, los modelos de IA actuales estan comenzando a plantear algunos desafios reales. Entre ellos, cabe destacar el impacto potencial en la salud mental de los usuarios y la capacidad de los sistemas de IA para volverse tan buenos en el campo de la seguridad informatica, que pueden detectar por si mismos graves vulnerabilidades. Estos son riesgos no solo tecnicos sino tambien directamente relacionados con la seguridad social.
Altman pide a los candidatos capaces que participen en un esfuerzo conjunto para ayudar al mundo a aprovechar el poder de la IA de forma segura.
Enfatizo que el doble objetivo es equipar a los expertos en ciberseguridad con las herramientas mas avanzadas, al tiempo que impide que esas capacidades sean explotadas por los malos.
Un enfoque similar tambien se aplica a otros campos sensibles como la biologia y los sistemas autoevolubles.
Segun la descripcion del trabajo, este puesto sera responsable de implementar el marco de preparacion de OpenAI. Este es un marco que explica como la empresa rastrea, evalua y se prepara para las capacidades avanzadas de IA que pueden crear nuevos riesgos, lo que lleva a graves daños si no se controlan.
OpenAI anuncio por primera vez el establecimiento de este grupo en 2023, con la tarea de estudiar los riesgos potenciales.
Estos riesgos se extienden desde amenazas inmediatas como el fraude en linea, los ciberataques, hasta escenarios mas especulativos pero con grandes consecuencias.
Sin embargo, menos de un año despues, el entonces Jefe de Preparacion y Respuesta, Aleksander Madry, fue trasladado a un puesto centrado en el estudio teorico de la IA. Otros lideres a cargo de la seguridad tambien dejaron la empresa o asumen nuevos cargos.
Recientemente, OpenAI ha actualizado el Marco de Preparacion, que indica que la empresa puede ajustar los requisitos de seguridad si un laboratorio de IA competitivo lanza un modelo de alto riesgo sin medidas de proteccion similares.
Este movimiento genera debate sobre si la presion competitiva puede debilitar los estandares de seguridad.
Ademas, los chatbots generadores de IA, incluido ChatGPT, estan bajo una supervision cada vez mas estricta sobre su impacto en la salud mental.
Algunas demandas recientes sugieren que los chatbots de IA pueden reforzar las percepciones erroneas y aumentar el aislamiento social de los usuarios. OpenAI dice que continua mejorando su capacidad para reconocer signos de estres emocional y conectar a los usuarios con fuentes de soporte adecuadas.
La busqueda del jefe del departamento a cargo de la preparacion y respuesta al riesgo muestra que OpenAI se enfrenta al gran problema de como seguir innovando rapidamente, al tiempo que se garantiza que la IA se desarrolle y se despliegue de manera responsable.
