Con el fuerte desarrollo de la IA los centros de datos deben aprovechar al maximo la potencia de las GPU (generadores de graficos) para satisfacer las enormes necesidades de procesamiento. En este contexto la empresa Tensormesh acaba de recibir 4 5 millones de dolares de capital de inversion inicial liderado por Laude Ventures y con la participacion de Michael Franklin un experto lider en bases de datos.
Este dinero se utiliza para desarrollar la version comercial de LMCache una herramienta de codigo abierto construida por el cofundador Yihua Cheng. LMCache ayuda a reducir hasta 10 veces los costos operativos de la IA y ya ha sido utilizada por Google y Nvidia. Tensormesh quiere convertir esta tecnologia en un producto comercial ayudando a muchas otras empresas a aplicarla facilmente.
El punto central de LMCache es la memoria dem khoa-gia tri (KV cache) que permite al sistema guardar y reutilizar los datos procesados en lugar de eliminarlos despues de cada consulta como de costumbre. Tensormesh conserva los datos importantes lo que ayuda a que el modelo de IA responda mas rapido y ahorre mas recursos. Esta forma de hacer las cosas es particularmente efectiva para las aplicaciones de chatbots o asistentes virtuales donde el modelo tiene que recordar continuamente el historial de conversaciones o acciones.
Segun el CEO Junchen Jiang aunque las grandes empresas de IA pueden construir sistemas similares por si mismas este proceso requiere muchos ingenieros y tarda meses en completarse. “Con Tensormesh pueden acortar significativamente el tiempo y los costos' dijo.
Con una direccion centrada en la optimizacion de la memoria y la potencia de la GPU se espera que Tensormesh se convierta en una pieza importante en la infraestructura de IA global a medida que la demanda de calculo aumenta rapidamente sin precedentes.
