Arquitectura de analítica de datos

La arquitectura de analítica de datos debe cubrir las necesidades de los servicios analíticos ofreciendo las capacidades necesarias para el desarrollo de casos de uso de analítica de datos avanzada, así como las tareas de operación y mantenimiento.

Necesidad

Permitir la construcción y despliegue de servicios avanzados de analítica de datos, que abarquen la carga, transformación y agregación de distintas fuentes de datos y la posterior visualización analítica.

Características principales

• Plano core o de componentes fundamentales:
  • Módulo de integración para poner a disposición de los sistemas de streaming de datos e IOT capacidades de integración batch de ficheros, APIs y diferentes aplicativos y repositorios de datos.
  • Módulo de transformación para procesamiento de datos real time, near real time y batch.
  • Módulo de calidad del dato permitiendo un control centralizado desde la capa de gobierno con estándares y reglas comunes que deben cumplirse, y en cada dominio con reglas propias del dominio.
  • Módulo Datalake  que permita el tratamiento de los datos desde los puntos de vista de calidad, enriquecimiento, normalización y preparación para el consumo, partiendo de un diseño de capacidades similares de estructuras de datos y gestión del dato basado en un almacenamiento en formato abierto.
  • Módulo de analítica avanzada basado en arquitectura de componentes que cubra todo el ciclo de vida de los modelos de inteligencia artificial (MLOps).
  • Módulo de reporting BI focalizado en la generación de cuadro de mandos operativos.
• Plano dominios y productos de datos:
  • DataHub como componente centralizador e integrador del plano de dominios y productos, actuando como servicio para integrar y proporcionar acceso a los datos de la organización, y gestionar los activos e integraciones entre los diferentes dominios. (Soporta RT, Batch e Integración)
  • Conjunto de servicios de gobierno técnico del dato siendo su foco el gobierno de diccionarios de datos y glosarios de negocio, siendo posible contener una visión global de los datos de la organización.
  • Servicio de gestión de datos maestros (MDM) permitiendo gestionar los metadatos a través de un golden record, pudiendo estar asociado a distintas tipologías de datos (ciudadanos, subvenciones, trámites, ...) Mediante subscripción a los productos de datos de cada dominio, se generará una visión consolidada que asegura la mejor versión del dato y su disponibilidad para el consumo por parte de los dominios.
  • Marketplace que permita a los consumidores visualizar el catálogo completo de productos de datos disponibles, pudiendo consultarse aspectos como los metadatos, descripciones, ejemplos de datos, calidad del dato y APIS disponibles.
• Plano Operaciones:
  • Conjunto de soluciones requeridas para centralizar la gestión de acceso a la plataforma y aplicar las funciones necesarias para la gestión de los datos de forma segura.
  • Servicio de gobierno del dato, centrado en políticas y procedimientos generales de gobierno, o bien federado a través de dominios.
  • Servicio de monitorización que permita llevar a cabo un seguimiento y control integral de los procesos, flujos de trabajo y servicios y plataforma.

Relaciones

• Consumida por:
  • Arquitectura de APIs.
  • Arquitectura de interoperabilidad.
  • Arquitectura de microservicios.
  • Arquitectura de funciones.
• Accede a:
  • Arquitectura de microservicios.
  • Arquitectura de funciones.
  • Arquitectura de interoperabilidad.
  • Arquitectura de eventos.
  • Fuentes de datos.