Redacción Digital Inside España
Confluent ha hecho disponible de forma general las integraciones de Tableflow con Delta Lake y Databricks Unity Catalog y ha incorporado acceso anticipado en Microsoft OneLake para conectar datos en streaming con los entornos de análisis y de IA. Con este movimiento, Tableflow se sitúa como un servicio gestionado que conecta sistemas operacionales, plataformas analíticas y herramientas de IA en entornos híbridos y multicloud.
Tableflow se presenta como un servicio gestionado que materializa tópicos de Apache Kafka en tablas de Delta Lake o Apache Iceberg con controles de calidad automatizados, sincronización de catálogos y mecanismos de seguridad orientados a empresa. Desde su lanzamiento, la propuesta de Confluent se orienta a eliminar procesos ETL complejos y la integración manual con arquitecturas Lakehouse, que suelen ralentizar el trabajo de los equipos de datos. La compañía sitúa estas capacidades como una base para desarrollar aplicaciones de análisis e inteligencia artificial en tiempo real sobre datos regulados y preparados para su consumo inmediato.
Desde Confluent Shaun Clowes, director de producto de Confluent apunta: “Las empresas buscan sacar el máximo partido a sus datos en tiempo real, pero la falta de integración entre el procesamiento de datos en tiempo real y el análisis siempre ha sido uno de los principales obstáculos. Con Tableflow, eliminamos esa barrera al facilitar la conexión directa entre Kafka con los lakehouses gestionados. Esto significa que los datos de alta calidad están listos para el análisis y la inteligencia artificial en el momento en que se crean.
Capacidades orientadas a la producción y la gobernanza de datos
La versión en disponibilidad general incorpora funciones orientadas a entornos corporativos que buscan simplificar el análisis, reforzar la gobernanza y mejorar la fiabilidad de los datos. La compatibilidad generalizada con Delta Lake permite convertir los tópicos de Kafka en tablas almacenadas en Amazon S3 o Azure Data Lake Storage, habilitando de forma simultánea los formatos Delta Lake e Iceberg por tópico. Esta coexistencia de formatos pretende ofrecer flexibilidad para adaptarse a distintos motores de análisis y a estrategias de datos que combinan varias tecnologías de tabla.
En el plano de la gobernanza, la integración en GA con Databricks Unity Catalog sincroniza de forma automática metadatos, esquemas y políticas de acceso entre Tableflow y el propio Unity Catalog. Este enfoque busca una gestión centralizada, de modo que las reglas de acceso y la definición de los datos sean coherentes en toda la organización, independientemente de dónde se consuman posteriormente esos datos.
En cuanto a la fiabilidad, Tableflow incorpora un mecanismo de Dead Letter Queue que captura y aísla los registros malformados sin detener el flujo de datos. Esta gestión de errores, apoyada en la definición de esquemas de datos, está orientada a aportar visibilidad sobre los problemas de calidad, facilitar su recuperación y reducir el impacto operativo de los fallos en los registros entrantes.
La nueva funcionalidad de Upsert permite actualizar e insertar registros de manera automática a medida que cambian los datos, manteniendo las tablas de Delta Lake y Iceberg consistentes, sin duplicados y disponibles para el análisis sin intervenciones manuales. Esta automatización pretende reducir tareas de mantenimiento y minimizar el riesgo de inconsistencias entre las distintas copias de los datos.
En el ámbito de la seguridad, la opción Bring Your Own Key extiende el uso de claves de cifrado gestionadas por el propio cliente a Tableflow, proporcionando control sobre el cifrado de los datos en reposo. Este enfoque está alineado con los requisitos de cumplimiento normativo de sectores regulados como los servicios financieros, la sanidad o las administraciones públicas. Las nuevas funciones incorporan gestión de errores mediante Dead Letter Queue, operaciones de upsert automáticas y soporte de cifrado con claves gestionadas por el cliente para responder a los requisitos de fiabilidad y seguridad de los entornos corporativos.
Estas novedades se apoyan en capacidades ya presentes en Tableflow, como la evolución de esquemas, la compresión y el mantenimiento automatizado de tablas, así como en integraciones previas con Apache Iceberg, AWS Glue y Snowflake Open Catalog. Sobre esta base, la solución se posiciona como una plataforma para equipos que necesitan que los datos en tiempo real estén preparados para el análisis, bajo controles de gobernanza y con resiliencia frente a incidencias.
Un ejemplo de uso lo aporta Attune, especializada en aprovechar datos de Internet de las cosas procedentes de edificios inteligentes. David Kinney, arquitecto jefe de soluciones de Attune afirma: “En Attune proporcionar información en tiempo real a partir de los datos del Internet de las cosas (IoT) de edificios inteligentes es fundamental para nuestra misión. Con apenas unos clics, Confluent Tableflow nos permite materializar tópicos de Kafka en tablas fiables y listas para el análisis, lo que nos proporciona una visibilidad precisa tanto de la interacción de los clientes como del comportamiento de los dispositivos. Estos conjuntos de datos de alta calidad ahora alimentan análisis, modelos de aprendizaje automático o machine learning (ML) y aplicaciones de IA generativa, todos ellos construidos sobre una base de datos fiable. Tableflow ha simplificado nuestra arquitectura de datos y, al mismo tiempo, ha abierto nuevas oportunidades sobre cómo aprovechar los datos de manera más efectiva”.
Apertura hacia Microsoft OneLake y entornos Azure
Tableflow está disponible también en acceso anticipado en Azure, integrado con Microsoft OneLake. Esta ampliación introduce una opción adicional para organizaciones que trabajan en escenarios multicloud y, en particular, para aquellas que utilizan Azure Databricks y Microsoft Fabric. En este contexto, se admite de forma completa el uso conjunto de Delta Lake y Unity Catalog, con el objetivo de ofrecer una experiencia de análisis coherente que vaya desde los flujos de datos en tiempo real hasta los lakehouses en la nube.
En este entorno, Tableflow permite materializar los tópicos de Kafka como tablas abiertas en Microsoft OneLake, que pueden consultarse desde Microsoft Fabric o desde otras herramientas compatibles con las API de tablas de OneLake. La intención es reducir el tiempo necesario para extraer valor de los datos, evitando procesos ETL manuales y la gestión directa de esquemas por parte de los equipos de datos.
Así mismo, la plataforma automatiza tareas como la asignación de esquemas, la conversión de tipos de datos y el mantenimiento de tablas para los flujos de streaming, con el objetivo de reducir la complejidad operativa y los costes asociados en entornos de análisis nativos de Azure. La integración se completa con la posibilidad de utilizar los servicios de análisis y de Azure AI apoyándose en las API de Microsoft OneLake Table, de forma que los datos en tiempo real puedan alimentar distintos casos de uso de inteligencia artificial. En Azure, la integración en acceso anticipado con Microsoft OneLake permite materializar tópicos de Kafka como tablas abiertas, automatizar la gestión de esquemas y conectar estos datos con Microsoft Fabric y los servicios de análisis y Azure AI a través de las API de OneLake Table.
La gestión de las implementaciones puede realizarse desde la interfaz de usuario de Confluent Cloud, la línea de comandos (CLI) o mediante Terraform, en línea con las herramientas habituales de los equipos de operaciones. Desde Microsoft Dipti Borkar, vicepresidenta y directora general de Microsoft OneLake e ISV Ecosystem afirma: “El acceso a datos en tiempo real es fundamental para que los clientes puedan tomar decisiones rápidas y precisas. Ahora que Confluent Tableflow está disponible en Microsoft Azure, los clientes pueden transmitir eventos de Kafka a OneLake como tablas de Apache Iceberg o Delta Lake y consultarlos al instante a través de Microsoft Fabric y motores de terceros populares utilizando las API de OneLake Table, lo que reduce la complejidad y agiliza la toma de decisiones”.
Con este movimiento, Confluent amplía la presencia multicloud de Tableflow y refuerza su colaboración con Microsoft y Databricks en torno a escenarios de datos en tiempo real. La combinación de compatibilidad con Delta Lake, Unity Catalog y OneLake sitúa la propuesta en el cruce entre los flujos de streaming, los lakehouses en la nube y los servicios de análisis e inteligencia artificial, un espacio en el que las organizaciones buscan cada vez más reducir la fricción entre la generación de datos y su uso efectivo en la toma de decisiones.
