En una publicacion reciente en el blog el laboratorio presento un proyecto para construir un modelo de IA con retroalimentacion consistente y que pueda regenerarse.
El articulo titulado 'Lucha contra la indeterminacion en la teoria de LLM' (LLM es un modelo de lenguaje con una capacidad general en la creacion de lenguaje y otras tareas de procesamiento de lenguaje natural. LLM tiene esta capacidad aprendiendo relaciones estadisticas de textos en el proceso de entrenamiento de autosupervision y semisupervision con alta complejidad y calculo). Segun la comunidad esto es inherente a la IA pero Thinking Machines lo considera un problema que se puede superar.
Horace He investigador del laboratorio cree que el aleatorio proviene de la disposicion en el proceso de razonamiento. Argumenta que si se controla estrictamente la capa de coordinacion (GPU) el modelo puede ser mas decisivo y por lo tanto producir resultados estables.
Ademas de ayudar a las empresas y a los cientificos a recibir respuestas mas fiables el empleo de un modelo estable tambien mejora el aprendizaje aumentado (RL). Porque el RL necesita elogios por las respuestas correctas pero los datos se interrumpen si la respuesta es diferente cada vez. Segun Thinking Machines una respuesta consistente ayudara a que el RL sea mas fluido. La empresa tambien planea usar RL para personalizar el modelo de IA para las empresas segun fuentes de The Information.
Murati quien fue director de tecnologia de OpenAI revelo que el primer producto de Thinking Machines se lanzara en los proximos meses y sera util para que los investigadores y las startups desarrollen modelos personalizados. Sin embargo no esta claro que es este producto y si se aplica la investigacion sobre retroalimentacion regenerativa o no.
El laboratorio tambien afirma que publicara regularmente blogs codigo fuente y materiales de investigacion para brindar beneficios al publico y mejorar la cultura de la investigacion interna. Esta forma de hacer las cosas recuerda la etapa inicial de OpenAI cuando todavia persiguia la investigacion abierta antes de volverse mas discreta junto con el desarrollo a gran escala.
