Intel anuncia la versión estable de su software Project Battlematrix con mejoras en rendimiento para aprovechar las múltiples GPUs

Durante el pasado COMPUTEX, Intel nos presentó su nuevo Project Battlematrix. Un proyecto en el que se permite escalar hasta 8 GPUs Intel Arc para abordar las tareas mas exigentes de inteligencia artificial. Ahora, un par de meses más tarde, Intel ha actualizado el software para este proyecto, alcanzando su primera versión estable de LLM Scaler. Un software que permitirá aprovechar al máximo la capacidad de escalabilidad de hasta 8 GPUs disponible con Project Battlematrix.

Con esta actualización se ofrece a los usuarios de este nuevo proyecto, una solución software que permite aprovechar todas las características de un conjunto de hardware así. Con esta actualización a la versión estable, Intel da un paso más a la hora de aprovechar el soporte de varias GPUs, transferencia de datos más rápidas entre las diferentes GPUs, así como otras funciones útiles en entornos empresariales como puede ser la corrección de errores ECC. A pesar de esta gran actualización, Intel espera lanzar una versión más completa para finales de este año.

Las novedades de esta versión incluyen un procesamiento más rápido en grandes modelos, con hasta 1,8 veces más en modelos de 32.000 millones de parámetros y hasta 4,2 veces más en modelos de 70 millones de parámetros. También ofrece un incremento del rendimiento de hasta el 10% en modelos más pequeños. Otras características que ha añadido son:

Cuantización por capa en línea para reducir la memoria GPU
Permite reducir la precisión de los pesos de cada capa durante la ejecución para ahorrar memoria.

Soporte de paralelismo de pipeline en vLLM (experimental)
Permite dividir el modelo entre varias GPUs, de modo que distintas capas se ejecuten simultáneamente.

torch.compile (experimental)
Función de PyTorch para optimizar la ejecución del modelo y mejorar la velocidad de cálculo.

Decodificación especulativa (experimental)
Técnica para acelerar la generación de texto prediciendo múltiples tokens posibles en paralelo y descartando los menos probables.

Soporte para modelos de embedding y reranking
Permite usar el framework para obtener representaciones vectoriales (embeddings) y para reordenar candidatos de salida.

Soporte mejorado para modelos multi-modales
Mejora la compatibilidad con modelos que combinan texto, imágenes, audio u otras modalidades.

Detección automática de longitud máxima
El sistema detecta automáticamente la longitud máxima de las secuencias de entrada/salida.

Soporte para paralelismo de datos
Permite dividir un lote entre varias GPUs para acelerar el entrenamiento o la inferencia.

Intel ha definido como una actualización que ofrece grandes ventajas con un rendimiento increíble en sistemas con escalabilidad, gracias a las funciones mejoradas para soporte de multigpu y la comunicación directa entre PCIe. Intel seguirá ofreciendo mejoras en este paquete de software basado en Linux, hasta ofrecer esta versión más completa para finales de año.

Fin del Artículo. ¡Cuéntanos algo en los Comentarios!