Mientras India se esfuerza por desarrollar sus propios modelos lingüisticos (LLM) OpenAI acaba de anunciar el estandar IndQA un sistema de evaluacion diseñado para probar no solo la capacidad de procesamiento del lenguaje sino tambien la capacidad de comprender los rasgos culturales especificos de la India.
IndQA incluye 2.278 preguntas que se extienden por 12 idiomas y 10 campos culturales diferentes compiladas con la colaboracion de 261 expertos de toda la India.
Los temas que abarcan desde el arte la cultura la historia la religion la cocina hasta los medios de comunicacion y los deportes y la vida cotidiana con idiomas populares como hindi tamil marathi marathi e incluso ingles-hindi hibrido son caracteristicos en este pais.
OpenAI dice que el objetivo de IndQA no es crear una clasificacion sino medir la mejora con el tiempo de los modelos de IA ayudando a los grupos de investigacion a comprender mejor la capacidad de captar el contexto cultural de cada modelo.
El sistema de puntuacion se basa en los criterios establecidos por los expertos con una escala de puntuacion que refleja el nivel de completa y apropiada de cada respuesta.
Cabe destacar que las preguntas en IndQA fueron cuidadosamente seleccionadas solo las preguntas que los modelos avanzados de OpenAI como GPT-4o o o3 o GPT-4.5 aun no han respondido bien se conservan.
Segun OpenAI esto ayuda a asegurar el espacio para el desarrollo de modelos futuros al tiempo que evita que las pruebas sean demasiado faciles.
Durante el proceso de construccion el equipo de edicion de IndQA tambien cuenta con la participacion de periodistas academicos artistas poetas y ajedrecistas que reflejan la diversidad cultural y la profundidad del conocimiento indio. Cada pregunta tiene una traduccion al ingles y una respuesta modelo que ayuda a estandarizar la evaluacion.
Esta iniciativa nacio en un contexto en el que India se esta convirtiendo en el segundo mercado mas grande de ChatGPT solo despues de Estados Unidos.
OpenAI tambien esta impulsando su presencia en este pais de mas de mil millones de habitantes con eventos como DevDay Exchange en Bengaluru y un programa para regalar un paquete ChatGPT Go gratuito durante un año a los usuarios que se registren anticipadamente.
Sin embargo los expertos opinan que IndQA es solo el comienzo en el camino para construir estandares de IA locales.
Muchas startups indias como Sarvam o Shunya Labs se han quejado de que los estandares globales difieren del ingles lo que dificulta la competencia del modelo lingüistico indio.
Recientemente Shunya Labs dijo que su modelo de voz Pingala alcanzo una tasa de error de solo el 3 1% mejor que el 5 6% de Nvidia pero aun no fue clasificado alto debido a un proceso de evaluacion poco transparente.
IndQA por lo tanto se considera un esfuerzo importante para crear un campo de juego mas justo para los modelos lingüisticos indios allanando el camino para la formacion de un ecosistema de IA con la identidad y los estandares propios de este pais del sur de Asia.
