Datos, autonomía y tecnología: explora cómo el modelo Data Mesh está cambiando la forma de gestionar y compartir datos. 📊
Durante años, las empresas han apostado por concentrar toda su información en grandes repositorios centralizados con la promesa de que disponer de todos los datos en un mismo lugar facilitaría su análisis. Sin embargo, a medida que las organizaciones crecen y aumentan sus operaciones en la nube, el principal reto ya no es tecnológico, sino organizativo. En este contexto surge Data Mesh, un modelo impulsado por la ingeniera Zhamak Dehghani que propone cambiar la forma en la que las empresas gestionan sus datos, distribuyendo la responsabilidad entre las distintas áreas de negocio en lugar de concentrarla en un único equipo técnico.
Diseñar este tipo de infraestructuras requiere perfiles capaces de combinar conocimientos en ingeniería de datos, arquitecturas cloud y gobierno del dato. Con ese objetivo nace nuestro Máster en Data y Cloud Engineering, donde los estudiantes aprenden de forma práctica a construir arquitecturas escalables, trabajar en entornos multi-cloud y transformar los datos en productos preparados para generar valor en el negocio.
La mentira del Data Lake centralizado
Aunque el modelo del Data Lake o Data Warehouse se convirtió en el estándar para muchas organizaciones, en la práctica no siempre ha cumplido con las expectativas. A medida que las empresas han aumentado el volumen la realidad de este modelo centralizado se ha ido traduciendo en un punto de congestión constante.
Bajo esta arquitectura, un único equipo técnico de ingenieros de datos centralizado se convierte en el “salvavidas” y a la vez en el embudo encargado de ingerir, limpiar, estructurar y servir información proveniente de cientos de fuentes de negocio distintas (ventas, marketing, logística, recursos humanos…). Este equipo técnico, aislado de la realidad diaria del negocio, desconoce por completo el contexto funcional y los matices del dato original.
Esto genera un escenario en el que los reportes analíticos se retrasan, los flujos de datos (pipelines) se interrumpen ante cualquier peña modificación en los sistemas de origen y, al final, la dirección de la empresa puede llegar a perder la confianza en la veracidad de sus propios datos por lo que el Data Lake, con el tiempo y acompañado de desorden, puede convertirse en un pantano difícil de gobernar.
Los cuatro pilares del Data Mesh
Ahora el Data Mesh propone descentralizar la infraestructura para tratar los datos como productos de valor listos para su consumo por cualquier área de negocio y alejarse de la tendencia anterior que la entendía como un subproducto residual de los sistemas de software. Para llevarlo a cabo se entra en cómo se distribuyen las responsabilidades en la organización a través de cuatro pilares clave:
Propiedad orientada al dominio (Domain Ownership)
Las personas que mejor entienden los datos de marketing son los analistas de marketing; lo mismo ocurre con otros departamentos como logística, ventas o finanzas. Data Mesh propone que la propiedad, el diseño y la responsabilidad de los datos pertenezcan directamente a estos dominios de negocio. El equipo de TI centralizado deja de ser el intermediario o el traductor obligado.
El dato como producto (Data as a Product)
Los dominios de negocio no se limitan a almacenar sus datos para sí mismos, tienen la obligación de empaquetarlos y servirlos de forma accesible para el resto de la empresa. Un Data Product (Productos de Datos) debe ser fácil de encontrar en un catálogo común, comprensible, seguro, interoperable con otros dominios y, sobre todo, de confianza absoluta (cumpliendo estrictos acuerdos de nivel de servicios o SLAs de datos).
Plataforma de datos de autoservicio (Self-Serve Data Platform)
Para que los equipos de dominio puedan crear y consumir productos de datos sin requerir un ejército de ingenieros dedicados en cada área, la organización debe proveer una infraestructura común como servicio. Un equipo de plataforma central construye las plantillas y herramientas estandarizadas como motores de cómputo, almacenamiento o bases de datos de un solo clic, que los dominios consumen de manera autónoma.
Gobernanza federada computacional
Que una organización esté descentralizada no significa que se establezca el caos. Para que los productos de datos de diferentes dominios puedan combinarse entre sí de forma segura y útil, debe existir un grupo de gobernanza global, compuesto por representantes de todos los dominios, que defina estándares globales de interoperabilidad, políticas de privacidad y cifrado. La clave es que estas reglas de gobierno se automatizan e inyectan mediante código directamente en la plataforma común (computational governance).
La arquitectura Cloud como habilitador de la Malla de Datos
Aunque Data Mesh es fundamentalmente un cambio de diseño organizativo y cultural, su implementación práctica en el mundo real es inviable sin las facilidades tecnológicas del Cloud Computing moderno.
Las grandes nubes públicas ofrecen las capacidades de cómputo y almacenamiento desacopladas necesarias para delegar autonomía total a cada área de negocio, sin comprometer por ello el control global de costes o la seguridad perimetral de la organización.
- Ecosistema Google Cloud Platform (GCP): se aprovecha la escalabilidad del Data Warehouse analítico y de nivel empresarial de Google (BigQuery) y su concepto de datasets analíticos descentralizados, conectados y gobernados globalmente mediante su gestor inteligente de datos (Dataplex) para habilitar la capa de gobernanza federada y el catálogo de autoservicio para toda la compañía.
- Ecosistema AWS (Amazon Web Services): los servicios avanzados de gobernanza AWS Lake Formation y catálogos distribuidos a través de AWS Glue permiten construir mallas lógicas donde las cuentas en la nube de diferentes áreas de negocio pueden compartir información sensible y consumir productos de datos directamente sin incurrir en duplicación física de datos ni en costosos procesos tradicionales de migración.
Un cambio de mentalidad organizativa
La transición hacia una arquitectura de Data Mesh en la nube no se logra adquiriendo una nueva suite de software milagrosa, sino asumiendo un cambio cultural profundo a nivel organizativo. Exige que las unidades de negocio dejen de verse únicamente como consumidoras pasivas de tecnología o creadoras de informes ad-hoc y asuman el rol de diseñadoras y garantes de sus propios activos de datos frente a toda la corporación.
El verdadero retorno de la inversión de esta revolución reside en la agilidad competitiva con la que una compañía puede tomar decisiones basadas en datos de alta fidelidad, de forma distribuida y libre de limitaciones organizacionales.
