Red Hat, proveedor de soluciones de código abierto, ha anunciado un acuerdo definitivo para la adquisición de Neural Magic, empresa especializada en software y algoritmos que aceleran las cargas de trabajo de inferencia de inteligencia artificial (IA) generativa.

Esta operación permitirá a Red Hat avanzar en su visión de ofrecer cargas de trabajo de IA de alto rendimiento que se adapten a los casos de uso y datos específicos de los clientes, en cualquier lugar de la nube híbrida.

A medida que los grandes modelos lingüísticos (LLM) que sustentan los sistemas de IA generativa continúan aumentando de tamaño, construir servicios LLM rentables y fiables requiere una potencia de cálculo, recursos energéticos y habilidades operativas especializadas significativas. Estos desafíos hacen que los beneficios de una IA personalizada y segura queden fuera del alcance de muchas organizaciones. Red Hat pretende abordar estos retos haciendo más accesible la IA generativa a través de la innovación abierta de vLLM.

Desarrollado por la Universidad de California, Berkeley, vLLM es un proyecto de código abierto impulsado por la comunidad para el servicio de modelos abiertos, con soporte para todas las familias de modelos clave, investigación avanzada en aceleración de inferencia y diversos backends de hardware, incluyendo GPUs AMD, AWS Neuron, TPUs de Google, Intel Gaudi, GPUs NVIDIA y CPUs x86.

La sinergia entre Red Hat y Neural Magic

La incorporación de Neural Magic, líder en el proyecto vLLM, junto con la cartera de tecnologías de IA para nube híbrida de Red Hat, ofrecerá a las organizaciones una vía abierta para construir estrategias de IA que satisfagan sus necesidades únicas, dondequiera que estén sus datos.

Neural Magic utiliza su experiencia en vLLM para construir un stack de inferencia empresarial que permite a los clientes optimizar, desplegar y escalar cargas de trabajo LLM en entornos de nube híbrida con control total sobre la elección de la infraestructura, las políticas de seguridad y el ciclo de vida del modelo.

Además, Neural Magic desarrolla investigación en optimización de modelos, construye LLM Compressor (una biblioteca unificada para optimizar LLM con algoritmos avanzados de dispersión y cuantización) y mantiene un repositorio de modelos preoptimizados listos para implementar con vLLM.

Por su parte, Red Hat AI tiene como objetivo ayudar a los clientes a reducir los costes y las barreras de conocimiento de la IA con tecnologías potentes, que incluyen Red Hat Enterprise Linux AI (RHEL AI), una plataforma de modelos fundamentales para desarrollar, probar y ejecutar de forma fluida la familia IBM Granite de LLM de código abierto para aplicaciones empresariales en despliegues de servidores Linux.

También dispone de Red Hat OpenShift AI, una plataforma que proporciona herramientas para desarrollar, entrenar, servir y supervisar rápidamente, modelos de aprendizaje automático en entornos Kubernetes distribuidos, ya sea en las instalaciones, en la nube pública o en el borde de la red (edge).

También participa en InstructLab, un proyecto comunitario de IA de código abierto accesible, creado por Red Hat e IBM, que permite a cualquiera dar forma al futuro de la IA generativa mediante la mejora colaborativa de los LLM Granite con licencia de código abierto utilizando la tecnología de ajuste de InstructLab.

El liderazgo tecnológico de Neural Magic en vLLM mejorará la capacidad de Red Hat AI para admitir despliegues de LLM en cualquier lugar de la nube híbrida con un stack de inferencia listo para usar, altamente optimizado y abierto.

La transacción está sujeta a las revisiones regulatorias aplicables y otras condiciones habituales para su cierre.