AMD adelanta a NVIDIA en Inteligencia Artificial, ROCm ya soporta Megakernel antes que esté disponible en NVIDIA CUDA

AMD sigue avanzando en la Inteligencia Artificial de próxima generación, pero esta vez se trata de una nueva función que hará más eficiente las respuestas y la generación de tokens. AMD ha conseguido soporte de Megakernel para decodificación en el repositorio principal de vLLM, que se ha integrado con ROCm. Esta es la primera vez que AMD consigue introducir en ROCm una nueva característica de relevancia antes de que esté disponible para NVIDIA CUDA.

AMD integra Megakernel en ROCm antes de que llegue a NVIDIA CUDA

El llamado vLLM es un motor de inferencia donde se ejecutan los modelos de lenguajes que se usan en las principales Ias disponibles. Al hacer una pregunta a la IA se procesa la entrada y genera una salida y los vLLM se encargan de gestionar todo para que se haga de forma eficiente.

Al hacerlo se generan un pequeño programa llamado kernel que se ejecuta en la GPU. Con Megakernel se consiguen agrupar varias de estas pequeñas tareas para que la carga en la GPU sea menor, y el tiempo de organización y gestión resulte más eficiente. Con los Megakernel se puede reducir en hasta 10 veces el número de lanzamientos, y puede ayudar a reducir el tiempo de gestión para que las respuestas sean más rápidas, es decir, la IA tenga menos latencia.

Megakernel puede reducir la latencia en la inferencia de IA reduciendo hasta 10 veces los lanzamientos de kernel en la GPU

Esta tecnología ahora está disponible con la pila de software para IA ROCm de AMD, que ha conseguido llegar antes de que esté soportado por NVIDIA CUDA. Habitualmente estas grandes características e implementaciones primero se introducen en el ecosistema de NVIDIA, y posteriormente lo hace AMD en el suyo. En esta ocasión AMD ha conseguido superar a NVIDIA en cuanto a mejoras en sus soluciones de software, al menos hasta que NVIDIA CUDA pueda soportar esta nueva función que permite ahorrar tiempo y reducir la latencia.

Una función exclusiva de AMD que puede beneficiar a la compañía, haciendo que los usuarios se decanten por su ecosistema, al menos hasta que NVIDIA consiga igualar a AMD con la adopción en CUDA de Megakernel.

Fin del Artículo. ¡Cuéntanos algo en los Comentarios!