Arquitecto de Big Data [ELI]

Este módulo proporciona una vista general de los temas esenciales en las áreas pertenecientes a la arquitectura de una plataforma de solución de Big Data, cubriendo una diversidad de modelos, enfoques y consideraciones arquitectónicas. Se explican los mecanismos de Big Data para la creación de soluciones de Big Data, así como opciones de arquitectura para ensamblar plataformas de procesamiento de datos. El curso además introduce la bodega de datos de la empresa, y discute varias opciones para su integración con los ambientes de Big Data. Se presentan también escenarios comunes para el entendimiento básico de la manera en que se utilizan generalmente las soluciones de Big Data. Finalmente, se explora el uso de ambientes de nube para soluciones de Big Data en el contexto de sus modelos de entrega y de despliegue.

Se cubren los siguientes temas principales:

• Motores de seguridad, administradores de grupo y administradores de la gobernaza de datos
• Motores de visualización y portales de productividad
• Modelos arquitectónicos de procesamiento de datos a nivel de máquina
• Arquitecturas todo-compartido y nada-compartido
• Arquitectura lógica de analíticas de Big Data
• Fuentes de datos y capas de adquisición de datos
• Capas de almacenamiento, de procesamiento y por lotes
• Procesamiento en tiempo real, incluyendo flujo de eventos y procesamiento de flujos complejos
• Enfoques de bodega de datos empresariales e integración de Big Data (incluyendo series y paralelo)
• Poly Source, incluyendo fuentes relacionales, de flujo y basadas en archivos
• Poly Storage, incluyendo replicación automática de datos y reducción del tamaño de los datos
• Almacenamiento de acceso aleatorio, incluyendo alto volumen binario, tabular, vinculado, jerárquico y fragmentación de datos
• Procesamiento de lotes a gran escala, descomposición compleja y procesamiento de abstracción
• Poly Sink, incluyendo Sink relacional, Sink basado en archivos y ejecución automatizada de conjuntos de datos
• Dispositivo de Big Data y virtualización de datos
• Ambientes arquitectónicos, incluyendo ETL
• Motores de analíticas y enriquecimiento de aplicaciones
• Computación en la nube y consideraciones arquitectónicas de Big Data
• Modelos de entrega y despliegue en nube para el hospedaje de soluciones de Big Data

En este módulo se exploran temas avanzados pertenecientes a la arquitectura de una plataforma de solución de Big Data. En particular, se presentan y discuten las diferentes capas arquitectónicas que conforman la plataforma de solución de Big Data, incluyendo aquellas pertenecientes al almacenamiento, procesamiento y seguridad. También se cubren una serie de patrones de diseño y patrones compuestos generalmente empleados en la construcción de soluciones empresariales de Big Data.

Se cubren los siguientes temas principales:

• Bodegas de datos empresariales y Big Data
• Almacenamiento de datos operativos, mercados de datos y bases de datos analíticas
• Capas arquitectónicas de las soluciones de Big Data
• Arquitectura de Big Data, mantenimiento y gobernanza
• Arquitectura de seguridad de Big Data
• Enfoques de series, paralelos, dispositvos y virtualización
• Big Data y almacenamiento y procesamiento de datos basados en nube
• Datos canónicos y procesamiento de gráficos a gran escala
• Almacenamiento de acceso en tiempo real y acceso directo a los datos
• Sandbox analítica y almacenamiento de datos confidenciales
• Procesamiento de lotes de datos y desnormalización de conjuntos de datos
• Depósito de datos en línea y arquitectura de bodegas de Big Data
• Almacenamiento de datos operativos y acceso indirecto a los datos
• Acceso integrado y gobernanza centralizada de conjuntos de datos
• Procesamiento de flujo de eventos y procesamiento de eventos complejos
• Entrada Fan-in, entrada Fan-out y procesamiento a alta velocidad en tiempo real
• Salida de datos, visualización de datos y utilización de datos
• Manipulación de datos, procesamiento de datos y procesamiento de análisis de datos
• Patrones de diseño de las soluciones de Big Data y patrones arquitectónicos compuestos
• Arquitectura Lambda, capas, características y beneficios

Este módulo presenta a los participantes una serie de ejercicios y problemas diseñados para poner a prueba su capacidad para aplicar sus conocimientos sobre los temas tratados en los módulos anteriores. Completar este laboratorio ayudará a resaltar las áreas que requieren mayor atención y ayudará a demostrar el dominio en los conceptos tratados, tecnologías y prácticas, ya que se aplican y se combinan para resolver problemas del mundo real.

Se cubren los siguientes ejercicios:

• Ejercicio de lectura 18.1: Lectura y socialización en clase:  Antecedentes del caso de estudio de SFI
• Ejercicio de laboratorio 18.2: Diseñar un Big Data Pipeline  para cumplir con los SLA
• Ejercicio de laboratorio 18.3: Reducción de la insatisfacción  de los clientes
• Ejercicio de laboratorio 18.4: Reducir los costos de almacenamiento de datos
• Ejercicio de lectura 18.5: Lectura y socialización en clase: Antecedentes del caso de estudio de LOC
• Ejercicio de laboratorio 18.6: Solución para una exploración petrolera inteligente
• Ejercicio de laboratorio 18.7: Mejorar la producción de  los pozos petroleros
• Ejercicio de laboratorio 18.8: Reducir los costos de mantenimiento y alcanzar el cumplimiento normativo
• Ejercicio de lectura 18.9: Lectura y socialización en clase: Antecedentes del caso de estudio de TXC
• Ejercicio de laboratorio 18.10: Identificar el fraude y  eliminar los residuos
• Ejercicio de laboratorio 18.11: Asignación priorizada de recursos y acceso libre a los datos