Guillem Alsina Gonzàlez
Los límites de lo que puede hacer la IA, y la gobernanza de esta dentro de las organizaciones, son los dos principales quebraderos de cabeza de las administraciones públicas en lo concerniente a esta novedosa tecnología que ya ha revolucionado la forma en la que interactuamos con los dispositivos electrónicos, pero que promete hacerlo todavía más en el futuro próximo.
España no es una excepción a la influencia de este viento de cambio que supone la IA, y el gobierno está trabajando para transponer la normativa europea a la ley española, con un anteproyecto de ley que estos últimos días ha estado sometido a un trámite de audiencia pública.
Si nos fijamos en el texto publicado por el gobierno, este establece deberes claros para todos los actores que intervienen en el ciclo de vida de un sistema de IA, y que abarcan desde los proveedores que desarrollan o comercializan sistemas y modelos de IA de uso general, a los integradores o responsables del despliegue (usuarios corporativos que utilizan estas soluciones), así como a importadores, distribuidores y otros participantes (fabricantes que incorporen IA en sus productos y representantes legales en la UE de proveedores extracomunitarios).
Todos estos perfiles deberán garantizar el cumplimiento del Reglamento (UE) 2024/1689 en sus respectivas funciones, lo que, en la práctica, se traduce en requisitos de diseño, seguridad, transparencia y supervisión humana para quienes desarrollan la IA, y en un uso responsable y conforme a las instrucciones para quienes la implantan.
Por ejemplo, los proveedores de sistemas clasificados como de alto riesgo, deberán llevar a cabo evaluaciones de conformidad, documentar el funcionamiento de sus algoritmos, asegurar la calidad de los datos de entrenamiento y registrar esos sistemas en la base de datos europea antes de su puesta en el mercado. A su vez, los usuarios que desplieguen IA de alto riesgo en sus procesos tendrán la obligación de monitorizar su funcionamiento, informar de cualquier incidente grave o fallo a las autoridades, y utilizar los sistemas respetando las limitaciones y finalidades para las que fueron concebidos.
En todos los casos, queda prohibido alterar o eludir las medidas de seguridad incorporadas en los sistemas de IA, y se exige colaboración con los supervisores en caso de inspección o requerimiento de información por parte de las autoridades.
Cabe señalar que el ámbito de aplicación es amplio: abarca sistemas de IA puestos en el mercado o en uso en España, incluso si el desarrollador original está fuera del país, con las únicas excepciones contempladas por la normativa europea (por ejemplo, ciertos usos relacionados con la defensa, la seguridad nacional o las actividades fuera del marco civil).
En resumen, tanto la empresa que crea una solución de IA, como la que implementa soluciones de terceros en su negocio, asumirán las responsabilidades legales específicas bajo esta futura ley. Cumplir con las obligaciones –desde la documentación técnica hasta la vigilancia activa del desempeño del algoritmo– será esencial para evitar sanciones.
Clasificación de riesgos y prácticas prohibidas
El texto legal adopta el enfoque basado en el riesgo del Reglamento europeo, distinguiendo las aplicaciones de IA según el potencial daño o impacto que puedan generar.
En el nivel más alto se sitúan los sistemas de IA de riesgo inadmisible, cuyas prácticas se consideran contrarias a derechos fundamentales o valores éticos y, por lo tanto, prohibidas de forma absoluta. La ley prohíbe expresamente la introducción en el mercado, puesta en servicio o uso, de cualquier sistema de IA involucrado en prácticas vetadas por el artículo 5.1 del reglamento europeo.
Entre estas se incluyen, por ejemplo, sistemas que utilicen técnicas de manipulación subliminal para influir en el comportamiento de las personas de manera que les cause perjuicio; aquellos que exploten vulnerabilidades de colectivos especialmente protegidos (como menores, personas con discapacidad o en situación de vulnerabilidad) para alterar su comportamiento con perjuicio; y la evaluación social masiva o «social scoring» por parte de las autoridades públicas (clasificar a ciudadanos en función de su comportamiento o características personales con consecuencias discriminatorias). Estas y otras prácticas listadas en la normativa de la UE quedan vetadas en España bajo la nueva ley.
Vetados los sistemas de identificación biométrica
Un caso particular de prohibición lo constituye la identificación biométrica remota en tiempo real en espacios públicos con fines de seguridad o aplicación de la ley. Por regla general, el uso de sistemas de reconocimiento facial en vivo por parte de las fuerzas y cuerpos de seguridad está prohibido, salvo en supuestos excepcionales autorizados expresamente.
Fuera de esas contadas excepciones, ningún ente público ni privado podrá desplegar tecnologías de identificación biométrica en directo en lugares de acceso público. Junto a las prohibiciones, el anteproyecto clasifica otras aplicaciones de IA de alto riesgo, permitidas pero sujetas a controles estrictos.
En dicha categoría entran sistemas que pueden afectar significativamente a la seguridad, salud o derechos de las personas, como pueden ser ciertas soluciones de IA en sanidad (diagnóstico médico), transportes (conducción autónoma), educación (evaluación de estudiantes), empleo (herramientas de contratación de personal), servicios públicos esenciales, aplicación de la ley (por ejemplo, análisis predictivo policial) o gestión migratoria y judicial, entre otros ámbitos enumerados en el reglamento europeo. Los sistemas de IA de alto riesgo deberán cumplir con todos los requisitos de fiabilidad y serán objeto de supervisión prioritaria por parte de las autoridades.
En niveles inferiores de riesgo, la normativa contempla los sistemas de riesgo limitado, que deberán respetar obligaciones de transparencia –como informar al usuario de que está interactuando con una IA o etiquetar contenidos generados artificialmente– pero no están sujetos a una evaluación de conformidad ex ante.
Finalmente, tenemos los sistemas de riesgo mínimo o nulo, para los cuales la ley no impone requisitos adicionales específicos más allá de los generales que ya existan (son la mayoría de aplicaciones de IA cotidianas, como filtros de spam o recomendaciones básicas).
Esta clasificación de riesgo servirá de guía a las empresas para entender el grado de rigor regulatorio aplicable a cada proyecto de IA que emprendan, y conocer qué está terminantemente prohibido.
Infracciones leves, graves y muy graves
Para garantizar el cumplimiento efectivo de estas reglas, el anteproyecto de ley establece un régimen sancionador con distintos tipos de infracciones administrativas –muy graves, graves o leves– y multas proporcionales a la severidad de la falta.
Los incumplimientos más serios, calificados como infracciones muy graves, conllevan las sanciones más elevadas. En esta categoría entran, entre otros, el uso de sistemas de IA prohibidos (por ejemplo, implantar una de las prácticas expresamente vetadas) o la violación flagrante de las obligaciones en sistemas de alto riesgo que derive en daños graves. También se considerará muy grave desplegar un sistema de identificación biométrica remota en tiempo real sin la debida autorización excepcional.
Las multas para infracciones muy graves pueden oscilar desde 7,5 millones hasta 35 millones de euros, o alcanzar hasta un 7% del volumen de negocio mundial del infractor (tomando el valor más alto). Para las infracciones muy graves relacionadas con sistemas de alto riesgo (no prohibidos pero con incumplimientos sustanciales), las sanciones máximas se sitúan en los 15 millones de euros o en un 3% del volumen de negocio, lo que resulte superior.
En el escalón de infracciones graves se sancionarán la mayoría de los incumplimientos de obligaciones previstas en la normativa de la IA cuando, sin llegar a los supuestos anteriores, perjudiquen la confianza o seguridad en el uso de estos sistemas. Por ejemplo, podría considerarse infracción grave no atender debidamente las medidas correctivas impuestas por la autoridad, comercializar un sistema de IA de alto riesgo sin certificación o sin registrarlo en la base de datos requerida, incumplir requisitos de calidad en los datos de entrenamiento, u obstaculizar la labor de supervisión. Las multas en estos casos van desde los 500.001 euros hasta los 7.500.000 euros, o hasta un 2% del negocio global.
Finalmente, las infracciones leves recogen supuestos de menor impacto, como deficiencias formales fácilmente subsanables (por ejemplo, un retraso en la actualización de la documentación técnica, o pequeños descuidos en la comunicación de información al usuario). Estas faltas acarrearán multas de entre 6.000 y 500.000 euros, o hasta un 1% del volumen de negocio, según corresponda. La ley prevé además un trato adaptado para las PYMEs y startups: en su caso, el importe de la sanción podrá modularse aplicando el porcentaje o la cuantía fija que resulte menor, buscando no ahogar la innovación emergente con penalizaciones desproporcionadas.
Junto a las multas económicas, el régimen sancionador propuesto contempla medidas adicionales cuando se comete una infracción muy grave. En situaciones límite –como el uso deliberado de una IA prohibida o un incidente grave ocasionado por un sistema de alto riesgo defectuoso– la autoridad competente podrá ordenar la retirada del sistema del mercado español, su desconexión o prohibición de uso, para evitar mayores daños.
Así mismo, si una empresa persiste en incumplir las obligaciones formales de corrección (por ejemplo, no solventar deficiencias detectadas en un plazo dado), el órgano de supervisión podrá imponer la suspensión o prohibición de la comercialización del sistema de IA de alto riesgo involucrado, incluso exigir su recuperación del mercado si ya se distribuyó. En definitiva, las sanciones buscan ser efectivas, proporcionadas y disuasorias: las cuantías máximas se alinean con el techo fijado por la normativa europea, asegurando un castigo contundente a las conductas más peligrosas pero, al mismo tiempo, se introduce flexibilidad para no frenar la innovación responsable, especialmente entre los pequeños actores.
Las empresas deberán evaluar cuidadosamente el riesgo de sus sistemas de IA y cumplir con todas las obligaciones, dado que las consecuencias por infringir la ley pueden ser tanto financieras como operativas (llegando a prohibir el uso de una solución de IA en casos extremos).
Supervisión y autoridades competentes en IA
Para aplicar y vigilar este marco normativo, la ley define un sistema de gobernanza y supervisión multinivel en el que intervienen varias autoridades. En el centro de ese esquema se sitúa la recién creada Agencia Española de Supervisión de la Inteligencia Artificial (AESIA), organismo independiente encargado de la supervisión general de los usos de la IA en España, y cuyos estatutos fueron aprobados en 2023.
Esta agencia asumirá un papel coordinador y de referencia: presidirá la comisión mixta que se crea para coordinar a todas las autoridades de vigilancia del mercado con competencias en IA, y ejercerá tareas de inspección y sanción en ámbitos no cubiertos por otras agencias sectoriales, sirviendo de enlace con los organismos europeos de IA.
En paralelo, el presente anteproyecto de ley designa a las autoridades sectoriales ya existentes para que actúen como vigilantes del cumplimiento de la ley de IA dentro de sus respectivos campos. Esto significa que los reguladores de cada industria tendrán también atribuciones sobre los sistemas de IA que se usen en su ámbito. Por ejemplo, en el sector financiero las autoridades supervisoras (como el Banco de España, la CNMV o la Dirección General de Seguros) actuarán como autoridades de vigilancia del mercado para los sistemas de IA de alto riesgo relacionados con productos o servicios financieros.
De la misma manera, organismos como la Agencia Española de Medicamentos (en el sector sanitario), la Agencia Estatal de Seguridad Aérea (drones y aviación) o la propia Agencia de Protección de Datos (en lo referente a datos personales), entre otros, integrarán la red de supervisores de IA, cada cual ateniéndose a sus competencias.
La ley explicita que las autoridades encargadas de supervisar productos regulados –enumeradas en la normativa armonizada de la UE– también lo serán para los sistemas de IA integrados en dichos productos. Esto aprovecha la infraestructura reguladora existente: los sistemas de IA embebidos en maquinaria, juguetes, vehículos, dispositivos médicos, etc., serán controlados por la autoridad que ya vigila esos productos, aunque siempre coordinada con la AESIA para asegurar un enfoque uniforme. Con el fin de evitar lagunas o solapamientos, se crea una Comisión de Coordinación entre autoridades, presidida por la AESIA y con participación de todas las agencias sectoriales implicadas. Este órgano facilitará intercambiar información, criterios y buenas prácticas, de modo que las sanciones o medidas se apliquen de forma coherente en todo el país.
Además, la AESIA podrá asistir técnicamente a las otras autoridades en inspecciones complejas (por ejemplo, aportando expertos en algoritmos si un supervisor financiero lo requiere para auditar un sistema de IA en el sector de la banca). La colaboración se articulará mediante convenios y protocolos, asegurando que la supervisión de la IA sea eficaz y con criterios homogéneos, independientemente del sector.
Por otro lado, el anteproyecto asigna formalmente a la Secretaría de Estado de Digitalización e IA (perteneciente al Ministerio de Asuntos Económicos y Transformación Digital) la función de autoridad notificante ante la UE. En la práctica, esta Secretaría de Estado, a través de la Dirección General de Inteligencia Artificial, será la encargada de establecer los procedimientos para designar y notificar a los organismos de evaluación de la conformidad de sistemas de IA (entidades que certificarán los sistemas de alto riesgo), y de supervisar su correcto desempeño. La Entidad Nacional de Acreditación (ENAC) participará en la evaluación y vigilancia de dichos organismos notificados, según la ley.
Cabe destacar que también se han identificado autoridades específicas para ámbitos singulares: por ejemplo, la Junta Electoral Central será la autoridad de vigilancia en lo referente al uso de IA en procesos electorales y campañas (previniendo posibles deepfakes o perfiles masivos ilegales que afecten a la integridad del voto), mientras que el Consejo General del Poder Judicial podría tener un rol consultivo en la supervisión de sistemas de IA usados en la Administración de Justicia. Por su parte, la Agencia Española de Protección de Datos conservará sus competencias en materia de datos personales y, de hecho, la ley prevé que sea informada de cada autorización de uso de sistemas biométricos en tiempo real (por su impacto en privacidad).
Como se darán las autorizaciones para identificación biométrica remota
Uno de los puntos más sensibles de la regulación es el relativo a la identificación biométrica remota en tiempo real en espacios de acceso público, como podrían ser sistemas de reconocimiento facial usados por los cuerpos policiales en calles, aeropuertos o estaciones. El anteproyecto dedica un artículo específico a fijar el procedimiento de autorización excepcional para estos casos, dado que, por defecto, se consideran una práctica prohibida salvo que concurran circunstancias muy particulares.
La filosofía tras este punto concreto es clara: solo se permitirá su uso cuando sea estrictamente necesario para finalidades contempladas en la normativa europea, y siempre bajo un control judicial previo. En concreto, cada utilización de un sistema de identificación biométrica en vivo por parte de una autoridad (por ejemplo, las fuerzas de seguridad) deberá limitarse a alguno de los supuestos excepcionales enumerados en el Anexo II del Reglamento de IA.
Esos supuestos incluyen, en esencia, escenarios como la búsqueda de víctimas de delitos particularmente graves (p. ej., menores desaparecidos), la prevención de amenazas terroristas inminentes o la detección e identificación de autores de delitos graves concretos ya perpetrados.
Aun cuando la situación encaje en esas categorías, la autoridad interesada (denominada en la ley “autoridad garante del cumplimiento del Derecho”) tendrá que obtener con carácter previo una autorización judicial para poder desplegar la tecnología. La competencia para otorgar estas autorizaciones se asigna a los Juzgados de lo Contencioso-Administrativo, que deberán resolver cada solicitud en un plazo máximo de 48 horas. Si en ese término no hay pronunciamiento expreso, la solicitud se entenderá denegada por silencio administrativo, lo que pone de relieve el criterio de extrema precaución. Solo con una resolución judicial favorable y motivada se podrá proceder al uso de la herramienta biométrica, y dicha resolución establecerá límites precisos: identificará el objetivo concreto (persona o personas buscadas), acotará el ámbito geográfico de la vigilancia, el periodo de tiempo autorizado (como máximo un mes, prorrogable únicamente si persisten las condiciones que lo justifican) y cualquier otra medida necesaria para asegurar la proporcionalidad del despliegue.
La resolución también impondrá la obligación de desechar y eliminar los datos de cualquier individuo no relacionado con la investigación (captados incidentalmente por las cámaras) y, por supuesto, la eliminación de todos los datos una vez cumplido el objetivo o expirado el plazo autorizado.
El procedimiento prevé además qué ocurre en situaciones de extrema urgencia en las que las fuerzas de seguridad pudieran verse forzadas a activar un sistema de identificación biométrica antes de obtener la autorización (por ejemplo, ante una amenaza en curso). En esos casos, la autoridad debe, igualmente, solicitar la convalidación judicial lo antes posible, aportando justificación de la urgencia y detalles del uso realizado. Si el juez finalmente deniega la autorización solicitada, la ley obliga a cesar de inmediato el uso del sistema y borrar inmediatamente cualquier resultado o dato obtenido durante el tiempo que estuvo activo provisionalmente, garantizando así que no queden registros de un uso no autorizado.
Por otro lado, cada vez que se realice una solicitud de este tipo, independientemente de su resultado, la autoridad solicitante deberá notificar a la Agencia de Protección de Datos una serie de datos clave del proceso (número de personas afectadas, zona y fechas de la vigilancia, juzgado al que se acudió, fecha y hora de la decisión, etc.). Este requisito busca transparencia y permite al órgano de protección de datos supervisar indirectamente la frecuencia y características de estas intervenciones excepcionales.
En suma, el anteproyecto establece un candado legal muy estricto sobre la identificación biométrica remota en espacios públicos: únicamente habilitada para supuestos gravísimos, con autorización judicial caso por caso, duración limitada y vigilancia posterior. Las empresas tecnológicas que ofrezcan este tipo de soluciones deberán tener en cuenta que su uso en España quedará confinado a escenarios excepcionales y bajo requisitos muy rigurosos, prácticamente restringidos al ámbito de las fuerzas de seguridad del Estado.
Espacios controlados de pruebas para la IA (sandboxes)
Con el objetivo de fomentar la innovación segura y facilitar el desarrollo de proyectos de IA cumpliendo la normativa, la ley contempla la creación de espacios controlados de pruebas para sistemas de IA, conocidos comúnmente como sandboxes regulatorios.
Según el anteproyecto, la Agencia Española de Supervisión de la IA será la autoridad encargada de establecer el sandbox nacional obligatorio que exige el artículo 57.1 del Reglamento (UE) 2024/1689. En este entorno de pruebas supervisado, las empresas podrán colaborar con reguladores para ensayar sus sistemas de IA en condiciones reales o semi-reales, recibiendo orientación sobre cómo cumplir los requisitos legales, todo ello sin incurrir de inmediato en las responsabilidades plenas que supondría un lanzamiento comercial abierto.
El espacio de pruebas funcionará conforme a lo previsto en el capítulo VI del Reglamento europeo: esto implica esquemas de prueba con duración limitada, con participantes seleccionados y con la posibilidad de ajustar temporalmente ciertas obligaciones (siempre bajo control de la autoridad) para evaluar soluciones novedosas. Los aprendizajes de estos programas piloto servirán para mejorar los sistemas antes de su despliegue definitivo en el mercado, garantizando que ya nacen alineados con las exigencias de ética, seguridad y respeto a los derechos.
Además del sandbox nacional, la ley abre la puerta a la creación de entornos de prueba adicionales. Cualquier autoridad competente, ya sea a nivel estatal, autonómico, local o un regulador sectorial concreto, podrá proponer la puesta en marcha de un nuevo espacio controlado de pruebas en el ámbito de sus competencias. No obstante, para hacerlo deberá seguir un procedimiento específico y coordinarse con la AESIA.
En particular, la autoridad proponente deberá recabar un informe preceptivo que evalúe la disponibilidad de recursos suficientes para sostener el sandbox adicional y garantice el nivel de cooperación que exige el reglamento europeo (art. 57.4) entre las distintas autoridades involucradas. Solo con un informe favorable y cumpliendo los estándares de coordinación se podrá lanzar un sandbox complementario.
Por ejemplo, si una comunidad autónoma o un ayuntamiento quisiera habilitar un banco de pruebas de IA para soluciones locales de smart cities, tendría que asegurarse de contar con personal y medios adecuados, y trabajar conjuntamente con AESIA para que ese entorno siga las directrices comunes. Igualmente, si un regulador sectorial (pongamos, la DGT para vehículos autónomos o el Ministerio de Sanidad para IA en salud) estima útil un sandbox específico en su rama, deberá articularlo en concordancia con el marco general nacional.
La ley prevé que todos estos espacios adicionales respeten las condiciones de los “espacios controlados de pruebas” definidos a nivel comunitario, evitando duplicidades y compartiendo información con el sandbox nacional.
Una vez finalizado el trámite de audiencia pública, el anteproyecto (con las modificaciones que procedan) seguirá su curso hasta ser aprobado e introducido, en forma de ley, en el código regulatorio español.
