Marc Sureda
Confluent y Databricks han anunciado una ampliación de su colaboración para dotar a las empresas de datos en tiempo real que faciliten la toma de decisiones impulsadas por la inteligencia artificial. Este paso busca resolver el inconveniente de la falta de integración entre los sistemas operativos, que generan la información, y los sistemas analíticos, donde se extrae el valor de esos datos.
Según datos de ambas compañías, solo un 22% de las organizaciones considera que su infraestructura actual puede soportar aplicaciones de IA a gran escala, reflejando la magnitud de este problema en el entorno corporativo.
La unificación de datos supone un desafío determinante para proyectos de IA o machine learning, puesto que las fuentes operativas y analíticas están habitualmente aisladas. La intención de esta alianza es permitir una integración transversal para ofrecer datos unificados, fiables y alineados con los requisitos de cada proceso, de manera que se estimule la innovación en casos de uso avanzados.
Nuevas integraciones para una IA a escala
La clave de la integración radica en Tableflow de Confluent y Delta Lake y Unity Catalog de Databricks, que trabajan de forma bidireccional. De esta manera, cualquier dato en streaming puede ser vinculado con sistemas operativos y analíticos sin restricciones. Además, la suite Stream Governance de Confluent aporta metadatos para mejorar la calidad y la visibilidad de los datos, facilitando así el linaje end-to-end y una monitorización automatizada.
Delta Lake, concebido por Databricks para la ingestión continua y el procesamiento rápido, maneja más de 10 exabytes de datos diarios en múltiples organizaciones. Ahora, con la conexión a Tableflow, los datos operativos de Confluent pueden aprovechar el amplio ecosistema de Delta Lake, incorporando herramientas tan variadas como Apache Spark, Trino, Polars, DuckDB o Daft.
Un puente entre datos operativos y analíticos
Otro aspecto fundamental es la asignación automática de metadatos gracias a la unión entre Tableflow y Unity Catalog. Esto posibilita que los científicos de datos empleen la misma información procesada por los equipos de streaming, y a la inversa, evitando duplicaciones o problemas de sincronización. El resultado es una visión coherente de los mismos datos, lo que promueve la toma de decisiones más rápida y la adopción de aplicaciones inteligentes en toda la organización.
En palabras de responsables de E.ON Digital Technology, esta aproximación supone un avance significativo para trabajar en una fuente de datos unificada y oportuna, impulsando la creación de soluciones digitales eficientes.
A escala global, la combinación de ambos sistemas operativos y analíticos ofrece a compañías de distintos sectores una oportunidad para optimizar sus procesos de IA, concentrándose en el desarrollo de modelos y servicios de valor añadido.
