Curso DP-203 Azure Data Engineer - Associate

Implementación de una estrategia de partición

• Implementación de una estrategia de partición para los archivos
• Implementación de una estrategia de partición para cargas de trabajo analíticas
• Implementación de una estrategia de partición para cargas de trabajo de streaming
• Implementación de una estrategia de partición para Azure Synapse Analytics
• Identificación de cuándo se necesita crear particiones en Azure Data Lake Storage Gen2

Diseño e implementación de la capa de exploración de datos

• Creación y ejecución de consultas mediante una solución de proceso que usa SQL sin servidor y un clúster de Spark
• Recomendación e implementación de plantillas de bases de datos de Azure Synapse Analytics
• Inserción de un linaje de datos nuevo o actualizado en Microsoft Purview
• Examen y búsqueda de metadatos en el Catálogo de datos de Microsoft Purview

Laboratorio práctico para:

• Explorar Azure Synapse Analytics
• Transformación de archivos mediante un grupo de SQL sin servidor
• Crear base de datos de lago

Ingesta y transformación de datos

• Diseño e implementación de cargas incrementales
• Transformación de datos mediante Apache Spark
• Transformación de datos mediante Transact-SQL (T-SQL) en Azure Synapse Analytics
• Ingesta y transformación de datos mediante canalizaciones de Azure Synapse o Azure Data Factory
• Transformación de datos con Azure Stream Analytics
• Limpieza de datos
• Control de datos duplicados
• Evitar datos duplicados mediante la opción de entrega exactamente una vez de Azure Stream Analytics
• Control de datos que faltan
• Control de datos que llegan tarde
• División de los datos
• Fragmentación de JSON
• Codificar y descodificar datos
• Configuración del control de errores para una transformación
• Normalización y desnormalización de datos
• Realización de análisis exploratorios de los datos

Desarrollo de una solución de procesamiento por lotes

• Desarrollo de soluciones de procesamiento por lotes mediante Azure Data Lake Storage, Azure Databricks, Azure Synapse Analytics y Azure Data Factory
• Uso de PolyBase para cargar datos en un grupo de SQL
• Implementación de Azure Synapse Link y consulta de los datos replicados
• Creación de canalizaciones de datos
• Escalado de recursos
• Configuración del tamaño del lote
• Creación de pruebas para canalizaciones de datos
• Integración de cuadernos de Jupyter o Python en una canalización de datos
• Actualización e inserción de datos
• Reversión de los datos a un estado anterior
• Configuración del control de excepciones
• Configuración de la retención por lotes
• Lectura y escritura en un lago delta

Laboratorio práctico para:

• Transformación de Datos con Spark en Azure Synapse Analytics
• Uso de Delta Lake con Spark en Azure Synapse Analytics
• Cargar datos en un almacén de datos relacional
• Construir una canalización de datos con Azure Synapse Analytics
• Uso de un cuaderno de Apache Spark en un pipeline

Desarrollo de una solución de procesamiento de flujos

• Creación de una solución de procesamiento de flujos mediante Stream Analytics y Azure Event Hubs
• Procesamiento de datos mediante el flujo estructurado de Spark
• Creación de agregados con ventanas
• Control del desfase del esquema
• Procesamiento de datos de serie temporal
• Procesamiento de datos en particiones
• Procesamiento en una partición
• Configuración de puntos de comprobación y marcas de agua durante el procesamiento
• Escalado de recursos
• Creación de pruebas para canalizaciones de datos
• Optimización de las canalizaciones con fines analíticos o transaccionales
• Control de las interrupciones
• Configuración del control de excepciones
• Actualización e inserción de datos
• Reproducción de datos de flujo archivados

Administración de lotes y canalizaciones

• Desencadenamiento de lotes
• Control de cargas por lotes con errores
• Validación de cargas por lotes
• Administración de canalizaciones de datos en Azure Data Factory o Azure Synapse
• Programación de canalizaciones de datos en Data Factory o Azure Synapse
• Implementación del control de versiones para artefactos de canalización
• Administración de trabajos de Spark en una canalización

Laboratorio práctico para:

• Gestionar Azure Synapse Link para Azure Cosmos DB
• Gestionar Azure Synapse Link para SQL
• Gestionar Azure Stream Analytics
• Ingesta de datos en tiempo real con Azure Stream Analytics and Azure Synapse Analytics

Implementación de la seguridad de datos

• Implementación del enmascaramiento de datos
• Cifrado de datos en reposo y en movimiento
• Implementación de la seguridad de nivel de fila y de columna
• Implementación del control de acceso basado en roles (RBAC) de Azure
• Implementación de listas de control de acceso (ACL) de tipo POSIX para Data Lake Storage Gen2
• Implementación de una directiva de retención de datos
• Implementación de puntos de conexión seguros (privados y públicos)
• Implementación de tokens de recursos en Azure Databricks
• Carga de un objeto DataFrame con información confidencial
• Escritura de datos cifrados en tablas o archivos Parquet
• Administración de información confidencial

Supervisión del almacenamiento y el procesamiento de datos

• Implementación del registro usado por Azure Monitor
• Configuración de servicios de supervisión
• Supervisión del procesamiento de flujos
• Medición del rendimiento del movimiento de datos
• Supervisión y actualización de estadísticas sobre los datos en un sistema
• Supervisión del rendimiento de canalizaciones de datos
• Medición del rendimiento de las consultas
• Programación y supervisión de pruebas de canalización
• Interpretación de métricas y registros de Azure Monitor
• Implementación de una estrategia de alertas de canalización

Laboratorio práctico para:

• Crear reporte en tiempo real con Azure Stream Analytics y Microsoft Power BI
• Gestionar Microsoft Purview con Azure Synapse Analytics
• Explorar Azure Databricks
  Gestionar Apache Spark in Azure Databricks
• Automatizar un cuaderno de Azure Databricks con Azure Data Factory

Optimización y solución de problemas de almacenamiento y procesamiento de datos

• Compactación de archivos pequeños
• Control de la asimetría en los datos
• Control del volcado de datos
• Optimización de la administración de recursos
• Optimización de consultas mediante indizadores
• Optimización de consultas mediante la memoria caché
• Solución de problemas de un trabajo de Spark con errores
• Solución de problemas de una ejecución de canalización con errores, incluidas las actividades ejecutadas en servicios externos

Revisaremos a detalle la guía oficial en español del examen de certificación DP-203 Azure Data Engineer Associate para conocer los tips, consejos y estrategias de resolución. Además se realizará el Simulador Oficial del examen de Azure que consta de 50 preguntas, donde los alumnos podrán validar su conocimientos aprendidos y preparación impartida en clase.