Viene de China y se inspira en el cerebro humano: así es SpikingBrain, un modelo que promete acelerar la IA con menos recursos

Un grupo de investigadores chinos ha presentado SpikingBrain, una nueva familia de grandes modelos de lenguaje que se inspira en el funcionamiento del cerebro humano. Su propuesta busca resolver dos problemas centrales de los modelos actuales basados en transformers. Por un lado, tenemos el coste tan elevado que supone el entrenamiento y, por el otro, el enorme consumo de memoria en la inferencia, es decir, la ejecución de tareas que propone el usuario.

Cómo funciona SpikingBrain

En lugar de procesar información de manera continua como hacen los transformers tradicionales, SpikingBrain utiliza “neuronas de espiga”. Estas funcionan con impulsos, de forma parecida a como las neuronas del cerebro se activan solo cuando lo necesitan. Gracias a ello, el modelo evita cálculos innecesarios y ahorra energía.

Los investigadores han desarrollado dos versiones. Una más ligera, SpikingBrain-7B, pensada para manejar contextos largos de manera eficiente, y otra más grande, SpikingBrain-76B, que combina distintos tipos de atención y activa solo una parte de sus parámetros en cada tarea. Esto último es similar a que el modelo use una mezcla de especialistas según el problema que tenga que resolver.

Un punto clave es que SpikingBrain no depende de GPUs de NVIDIA. Este detalle no es menor porque algunas aceleradoras, como la NVIDIA H20, están teniendo problemas en este mercado asiático. En su lugar, fue entrenado en hardware de MetaX, lo que demuestra que es posible entrenar modelos grandes en otras plataformas.

Velocidad y ahorro de energía

El diseño de SpikingBrain permite entrenar con muchos menos datos de lo habitual: solo el 2% de lo que requieren otros modelos de tamaño similar. En pruebas, la versión de 7.000 millones de parámetros logró generar texto hasta 100 veces más rápido que un transformer clásico cuando trabaja con secuencias muy largas.

Además, su sistema de espigas hace que alrededor del 70% de las operaciones no se ejecuten, lo que significa un gran ahorro de energía. Este enfoque podría ser útil no solo en centros de datos, sino también en futuros chips neuromórficos, diseñados para imitar el cerebro y llevar la IA a dispositivos más pequeños.

En rendimiento, los resultados son prometedores: SpikingBrain-76B obtiene cifras similares a modelos conocidos como Llama 2-70B o Mixtral-8x7B, mientras que la versión más pequeña se acerca a competidores como Mistral-7B y Llama 3-8B. Es necesario precisar que, a pesar de todas estas supuestas mejoras en eficiencia, seguimos hablando de modelos de lenguaje con limitaciones, como la posibilidad de que surjan alucinaciones.

Fin del Artículo. ¡Cuéntanos algo en los Comentarios!