Berlin Apache Airflow Meetup at GetYourGuide!

** Únase a compañeros entusiastas y líderes del flujo de aire en las oficinas de GetyourGuide para una noche de presentaciones atractivas, deliciosas comida y bebidas, y un increíble botín! **

** Presentaciones **

*** Airflow & DBT: creación dinámica de sensores entre dag con cosmos ***

* Orador: [Giovanni Corsetti Silva] (https://www.linkedin.com/in/giovanni-corsetti/), ingeniero de datos de datos en [getyourguide] (https://www.getyourguide.com/)

Apache Airflow es la plataforma de referencia para la orquestación de datos, mientras que DBT es ampliamente reconocido por las transformaciones de datos analíticos. El uso de la biblioteca Astronomer-Cosmos, la integración de proyectos DBT en el flujo de aire se vuelve directo, lo que permite que cada modelo DBT se transforme en tareas individuales o grupos de tareas equipados con características de flujo de aire como reintentos y devoluciones de llamada.
Sin embargo, la organización de modelos DBT en DAG de flujo de aire separados basados ​​en el dominio o los filtros definidos por el usuario presenta desafíos para mantener dependencias en estos DAG distintos. Asegurar que las tareas DBT aguas abajo solo se ejecuten después de que las tareas ascendentes correspondientes en diferentes DAG se hayan completado con éxito es crucial para la consistencia de los datos, pero esta funcionalidad no es compatible de forma predeterminada.
Únase a GetYourGuide mientras exploramos nuestro método para crear dinámicamente sensores entre DAG en el flujo de aire utilizando el cosmos astrónomo para DBT. Mostraremos cómo mantuvimos las dependencias del modelo DBT en múltiples DAG, haciendo que nuestra tubería sea modular, escalable y robusta.

*** Salvaguardia de sus flujos de trabajo en Apache Airflow ***

* Orador: [Robert Bemmann] (https://www.linkedin.com/in/robert-bemmann/), ingeniero de datos senior en [getyourguide] (https://www.getyourguide.com/)

Esta presentación destaca las técnicas prácticas de validación para evitar configuraciones erróneas y mejorar la confiabilidad en los entornos de flujo de aire Apache. Cubrimos dos salvaguardas clave: validar que los sensores están correctamente vinculados a sus tareas aguas arriba, y verificando que los DAG críticos tienen alertas de PagerDuty habilitadas. Ambas validaciones están automatizadas e integradas en nuestra tubería de CI/CD utilizando acciones de GitHub, asegurando la aplicación continua y la detección temprana de problemas potenciales antes de la implementación. Además, hemos implementado una solución para rastrear los objetivos de nivel de servicio (SLOS) para nuestros DAG, permitiendo una mejor visión de la confiabilidad y el rendimiento con el tiempo. Estas verificaciones forman una defensa práctica contra los puntos ciegos operativos, promoviendo la confiabilidad del flujo de trabajo y la robusta respuesta a incidentes. Únase a nosotros mientras descubrimos estrategias prácticas para optimizar el monitoreo del flujo de trabajo y mejorar la resiliencia del sistema utilizando las capacidades robustas de Apache Airflow.

*** De Caos a Cosmos: Simplificando la creación de DAG en Apache Airflow ***

* Altavoz: [Tatiana al-Chueyr Martins] (https://www.linkedin.com/in/tatialchueyr/), ingeniero de software principal en [Astronomer] (https://www.astronomer.io/) y COSMOS COMECTER

DBT se ha convertido en el estándar de facto para transformar datos en las pilas de análisis modernos. Pero a medida que crecen los proyectos, también lo hace la pregunta: * ¿Dónde debe funcionar en la producción DBT y cómo podemos hacerlo más rápido? * En esta charla, compararemos las compensaciones de rendimiento entre ejecutar DBT de forma nativa y orquestarlo a través del flujo de aire usando cosmos, con un enfoque en la eficiencia del flujo de trabajo a escala. Utilizando un proyecto DBT de 200 modelos como estudio de caso, mostraremos cómo el tiempo de ejecución del flujo de trabajo en Cosmos se redujo de 15 minutos a solo 5 minutos. También discutiremos las oportunidades para impulsar el rendimiento aún más, desde una mejor optimización DAG hasta estrategias de programación conscientes del almacén. Ya sea que sea ingeniero de datos, ingeniero de análisis o propietario de la plataforma, se irá con estrategias prácticas para optimizar la ejecución de DBT e inspiración para lo que sigue en la orquestación a gran escala

\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\- \-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-

**ORDEN DEL DÍA**

*** 18: 00–18: 30: ** Llegadas, comer, beber y red
*** 18: 30–20: 10: ** Presentaciones
*** 20: 10–21: 00: ** Networking