Guillem Alsina Gonzàlez
SK hynix ha formalizado con NVIDIA el desarrollo de una nueva generación de unidades SSD pensadas para su uso en sistemas de inteligencia artificial con el objetivo de multiplicar por diez el rendimiento actual de estos sistemas de almacenamiento, según informa el rotativo coreano ChosunBiz.
El problema que buscan resolver es el cuello de botella de memoria que se produjo cuando las GPU se impusieron como plataforma de referencia para el entrenamiento de grandes modelos de IA. Antes de dicha transición, el procesamiento de las cargas se concentraba en la CPU, que ejecuta tareas en serie y no requería un volumen de memoria tan elevado, ya que la DRAM convencional suministraba los datos de forma secuencial con un ancho de banda ajustado a estas necesidades.
Con la llegada de modelos de IA basados en grandes matrices y operaciones vectoriales, el procesamiento en serie de la CPU resultó insuficiente, ya que los tiempos de ejecución se alargaban en exceso. En cambio, la GPU, diseñada para el cálculo en paralelo, se mostró más adecuada para este tipo de tareas.
Sin embargo, el despliegue masivo de GPUs puso de manifiesto una nueva limitación: la memoria principal, basada en DRAM ajustada al ecosistema CPU, no proporcionaba el ancho de banda necesario. La estructura de transferencia secuencial de la DRAM tradicional generaba periodos en los que la GPU quedaba a la espera de datos, produciendo tiempos de inactividad de la memoria y frenando la capacidad de cálculo global.
¿Cómo resolvemos este problema? Según ChosunBiz, NVIDIA y SK hynix desarrollan lo que la primera ha bautizado como proyecto Storage Next, mientras que la segunda conoce cómo AI-N P, y con el que prevén alcanzar hasta 100 millones de operaciones de entrada/salida por segundo (IOPS) en un SSD específico para entornos de IA en 2027.
En paralelo a su trabajo con NVIDIA, SK hynix también colabora con SanDisk en el campo de la High Bandwidth Flash (HBF), una tecnología que organiza la NAND flash para proporcionar un gran ancho de banda a partir del modelo de apilado masivo de chips que ya se emplea en las memorias HBM para dotarlas de mayor rapidez.
HBM cuenta con varias pastillas de DRAM apiladas para multiplicar el ancho de banda y crear un camino de datos mucho más amplio, y se introdujo como vía para alimentar a la GPU con grandes volúmenes de información de forma continuada.
la capacidad de HBM se ha revelado como un factor crítico; de acuerdo con las referencias del sector, un modelo como GPT-4, utilizado en ChatGPT, puede necesitar unos 3,6 TB para la inferencia, mientras que la capacidad asociada a una GPU con HBM3E de quinta generación se sitúa en torno a los 192 GB. En escenarios de inferencia, la capacidad de HBM resulta insuficiente frente a modelos que pueden requerir hasta 3,6 TB por consulta, lo que obliga a agrupar entre seis y siete GPU por petición y eleva de forma significativa el coste del servicio. Esta necesidad de agrupar varias GPU no solo incrementa la inversión en hardware, sino también el consumo energético y la complejidad de operación de la infraestructura.
La memoria HBM padece de otro hándicap: no está diseñada para conservar esa información de manera prolongada, lo que complica la respuesta a casos de uso en los que la personalización y la inferencia se convierten en elementos esenciales del servicio.
Hace falta, pués, ir más allá de los límites actuales de la memoria, que es lo que están haciendo estas tres empresas mediante dos proyectos distintos.
