Guillem Alsina Gonzàlez
Recientemente, un equipo de investigadores de Cybernews descubrió una serie de vulnerabilidades críticas en la implementación del chatbot Lena de Lenovo, el cual ha sido construido en base a la tecnología GPT-4 de OpenAI con el objetivo de asistir a los clientes de la firma china.
Lo que descubrieron los investigadores especializados en ciberseguridad es que un atacante puede conducir al chatbot a ejecutar scripts no autorizados en máquinas corporativas mediante prompt injection, filtrar cookies de sesión activas y, potencialmente, algo peor. Los atacantes pueden abusar de las vulnerabilidades XSS como una vía directa hacia la plataforma de atención al cliente de la compañía.
La técnica del prompt injection es conocida desde hace tiempo, y consiste en formular los prompts que le damos al chatbot de IA como instrucciones, de manera que, subrepticiamente, llevemos a la IA a hacer una cosa que tiene prohibida.
Un caso reciente, explicado por su protagonista en Reddit, llevó a conseguir que ChatGPT diera códigos de activación de Windows 7 (algo que tiene prohibido hacer) mediante una curiosa ingeniería social pensada para la IA: el usuario le dijo que uno de los recuerdos que atesoraba de su difunta abuela, era esta recitándole dichos códigos mientras lo arropaba para que se durmiera. Y funcionó…
Volviendo al caso de Lena, un solo ataque con prompt Injection demostró una cadena de fallos que llevó al chatbot de Lenovo a filtrar cookies de sesión activas, un hallazgo que pone de relieve múltiples problemas de seguridad cómo la sanitización inadecuada de la entrada del usuario, la sanitización inadecuada de la salida del chatbot, que el servidor web no verifique el contenido producido por el chatbot, u otros, tal como podemos leer en Cybernews.
La treta utilizada fue solicitarle al chatbot que formateara la respuesta final en HTML, con unas instrucciones parametrizadas que le solicitaban que incluyera determinados elementos en el código fuente HTML generado, como una imagen. Todo este código, manipulado hábilmente, generaba unos errores y unas peticiones que permitían a los atacantes realizar acciones perniciosas a través del chatbot, convertido así en colaborador involuntario del ataque.
Viejas vulnerabilidades pueden volver mediante la IA
Según explica Jurgita Lapienytė, editora jefa de Cybernews, a mediados de los 2.000 el cross-site scripting (XSS) era una vulnerabilidad ampliamente explotada por los ciberdelincuentes, que se pudo reducir hasta la irrelevancia gracias a un conjunto de buenas prácticas, entre las cuáles se encuentra la sanitización de las entradas del usuario (lo que incluye la limpieza y validación de formularios, parámetros de URLs, cabeceras HTTP,…), el uso de frameworks (cómo React o Angular), o filtros anti-XSS incorporados en los navegadores web.
Todo este conjunto de medidas, a las que hay que sumar la educación de los usuarios, contribuyeron a la minorización del problema que, a efectos prácticos, dejó de existir.
Si bien tradicionalmente es el atacante quien escribe el código malicioso y lo inyecta en un sistema vulnerable, aquí es el mismo chatbot quien crea la carga maliciosa, con lo que el atacante ya no necesita ocultar sus exploits en campos de datos oscuros o en scripts cargados. Simplemente puede pedirle a un sistema de IA que genere el exploit por él, llevando a que el modelo se convierta en el autor de la intrusión al mismo sistema.
Esto marca el nacimiento de lo que Lapienytė denomina «contenido autoarmado», y que define como datos generados por la IA que actúan como su propio vector de intrusión, no porque la IA sea “maligna”, sino porque no posee el concepto de seguridad.
El fenómeno podría ir más allá de los chatbots, extendiéndose a los agentes de IA que puedan redactar mensajes de correo con cargas ocultas, o documentos generados por IA con scripts incrustados entregados a usuarios corporativos desprevenidos.
Otra vulnerabilidad «añeja» o, más adecuadamente, forma de proceder de los creadores de malware, es la programación de gusanos informáticos, un código malicioso que se propagaba de ordenador en ordenador, muy popular a principios de los 2.000.
La cadena de ataque de Lena se parece a uno de estos gusanos, ya que al persistir la salida maliciosa formateada en el historial de conversación, sólo tenía que abrir dicha conversación un agente humano de soporte para que el código volviera a ejecutarse, robando las cookies de sesión a este nuevo usuario. En otras palabras, la IA actuó como el primer huésped infectado del gusano.
De esta manera, helpdesks asistidos por IA en distintos sectores podrían convertirse, sin saberlo, en plataformas de lanzamiento de propagación similar a gusanos dentro de las empresas. El próximo gran gusano quizá no llegue por adjuntos de correo electrónico, sino que podría estar coescrito por una IA “servicial” en un chat de soporte.
Todo esto tendrá una afectación en la reglamentación sobre IA y, según Lapienytė, hará que las primas de seguros para empresas que desplieguen IA generativa suban, que las cláusulas de indemnización legal se vuelvan candentes en los contratos, y que los reguladores empiecen a exigir certificaciones más estrictas de “seguridad por diseño” en IA.
Actualización del 22/8/2025:
Desde Lenovo nos han hecho llegar las declaraciones oficiales de la compañía sobre la brecha de seguridad tratada en este artículo, que reproducimos a continuación: «Lenovo se toma muy en serio la seguridad de nuestros productos y la protección de nuestros clientes. Recientemente, un investigador de seguridad externo nos informó de una vulnerabilidad de tipo cross-site scripting (XSS) en un chatbot. Tras conocer el problema, evaluamos rápidamente el riesgo y aplicamos medidas correctivas para mitigar el impacto potencial y solucionar el problema. Queremos agradecer a los investigadores su divulgación responsable, que nos ha permitido implementar una solución sin poner en riesgo a nuestros clientes».
