Guillem Alsina Gonzàlez
El nombre de Mira Murati se hizo famoso cuando, en noviembre de 2023, sucedió brevemente a Sam Altman en el cargo de CEO cuando este último fue despedido por el consejo de administración de OpenAI (aunque no tardó una semana escasa en volver). Previamente, la directiva estadounidense de origen albanés, había venido sirviendo como CTO de la misma empresa, un cargo en el cual lideró el trabajo en los principales productos de la firma estadounidense: ChatGPT, Dall·E, Codex y Sora, además de supervisar los equipos de investigación, producto y seguridad.
En septiembre del 2024, dimitió de sus responsabilidades en OpenAI para fundar su propia firma, Thinking Machines Lab, como su nombre implica, también dedicada al área de la inteligencia artificial, y calificada como una de las startups más prometedoras actualmente, con una valoración de 12.000 millones de dólares, lo que la convierte en el unicornio de mayor valoración este año.
Con el objetivo de dotar de mayores capacidades y fiabilidad a los sistemas de IA, y contando con un equipo de talento «robado» a las principales compañías del sector como la misma OpenAI, Meta o Mistral, Thinking Machines Lab ha decidido ponerse manos a la obra empezando por buscar una fórmula que permita garantizar la reproducibilidad de las respuestas de los modelos de lenguaje grandes de IA generativa.
Lo lógico cuando preguntamos la misma cosa más de una y dos veces a la misma persona, es que esta nos dé respuestas muy similares, sino idénticas, algo que no pasa cuando lo trasladamos a un modelo de lenguaje de IA generativa.
Dicho problema no es debido al hardware, a la operativa en punto flotante de las GPUs, tal como explican desde Thinking Machines en este post de su blog corporativo, sino por una combinación de causas relacionada con la gestión de los tokens por parte del modelo. Por lo tanto, su solución puede pasar por cambiar el software para que trabaje de otra manera.
Lo que es necesario cambiar es como el modelo de lenguaje gestiona la información que pasa a cada kernel (pieza de software, un núcleo) que se ejecuta sobre uno de los cores (también significa núcleo, pero este de hardware) de las GPUs.
Una segunda capa de refuerzo para llevar a que los modelos sean más determinísticos y, por lo tanto, den respuestas más predecibles, es incrementar el entrenamiento de aprendizaje por refuerzo, esto es, otorgando recompensas a los modelos en función de que sus respuestas sean correctas.
Uno de los primeros productos de la firma de Murati podría ir destinado a las compañías y startups que personalizan modelos de lenguaje para empresas, de manera que puedan afinarlos y mejorar sus resultados. Deberemos esperar a ver si ya incluye alguna de las soluciones propuestas en el blog de la compañía.
