Berlin Apache Airflow Meetup at GetYourGuide!

** Rejoignez les autres amateurs de flux d'air et les dirigeants des bureaux de Getyourguide pour une soirée de présentations engageantes, de délicieuses plats et boissons, et génial swag! **

** Présentations **

*** Airflow & DBT: Création dynamique de capteurs inter-dags avec cosmos ***

* Conférencier: [Giovanni Corsetti Silva] (https://www.linkedin.com/in/giovanni-corsetti/), Data Core Engineer at [getyourguide] (https://www.getyourguide.com/)

Apache Airflow est la plate-forme incontournable pour l'orchestration des données, tandis que DBT est largement reconnu pour les transformations de données analytiques. En utilisant la bibliothèque Astronomer-Cosmos, l'intégration des projets DBT dans le flux d'air devient simple, permettant à chaque modèle DBT d'être transformé en tâches individuelles ou groupes de tâches équipés de fonctionnalités de flux d'air telles que les raftrages et les rappels.
Cependant, l'organisation de modèles DBT en DAG de flux d'air séparés basé sur le domaine ou les filtres définis par l'utilisateur présente des défis dans le maintien des dépendances à travers ces Dags distincts. S'assurer que les tâches DBT en aval ne s'exécutent qu'après que les tâches en amont correspondantes dans différents DAG ont terminé avec succès sont cruciales pour la cohérence des données - mais cette fonctionnalité n'est pas prise en charge par défaut.
Rejoignez GetyourGuide pendant que nous explorons notre méthode pour créer dynamiquement des capteurs interagrants dans le flux d'air en utilisant le cosmos astronome pour DBT. Nous montrerons comment nous avons maintenu les dépendances du modèle DBT sur plusieurs Dags, ce qui rend notre pipeline modulaire, évolutif et robuste.

*** Sauvegarde de vos workflows dans Apache Airflow ***

* Conférencier: [Robert Bemmann] (https://www.linkedin.com/in/robert-bemmann/), ingénieur de données senior chez [getyourguide] (https://www.getyourguide.com/)

Cette présentation met en évidence des techniques de validation pratiques pour éviter les erreurs de configurations et améliorer la fiabilité dans les environnements de flux d'air Apache. Nous couvrons deux garanties clés: valider que les capteurs sont correctement liés à leurs tâches en amont, et la vérification que les Dags critiques ont une alerte de pagerdité activée. Les deux validations sont automatisées et intégrées dans notre pipeline CI / CD à l'aide des actions GitHub, garantissant l'application continue et la détection précoce des problèmes potentiels avant le déploiement. De plus, nous avons implémenté une solution pour suivre les objectifs de niveau de service (SLOS) pour nos Dags, permettant de meilleurs informations sur la fiabilité et les performances au fil du temps. Ces contrôles constituent une défense pratique contre les angles morts opérationnels, promouvant la fiabilité du flux de travail et une réponse robuste des incidents. Rejoignez-nous alors que nous découvrons des stratégies pratiques pour rationaliser la surveillance du flux de travail et améliorer la résilience du système à l'aide des capacités robustes d'Apache Airflow.

*** Du chaos au cosmos: simplifier la création de Dag dans Apache Airflow ***

* Conférencier: [Tatiana al-Chueyr Martins] (https://www.linkedin.com/in/tatialchueyr/), ingénieur logiciel principal chez [astronome] (https://www.astronomère.io/) & Cosmos Committeur

DBT est devenu la norme de facto pour transformer les données dans les piles d'analyse modernes. Mais à mesure que les projets augmentent, la question: * Où DBT devrait-il fonctionner en production, et comment pouvons-nous le rendre plus rapidement? En utilisant un projet DBT à 200 modèles comme étude de cas, nous montrerons comment le temps d'exécution du flux de travail dans le COSMOS a été réduit de 15 minutes à seulement 5 minutes. Nous allons également discuter des opportunités pour pousser les performances davantage, passant d'une meilleure optimisation DAG aux stratégies de planification consciente des entrepôts. Que vous soyez un ingénieur de données, un ingénieur en analyse ou un propriétaire de plate-forme, vous partez avec des stratégies pratiques pour optimiser l'exécution et l'inspiration du DBT pour la prochaine étape dans l'orchestration à grande échelle

# #

**ORDRE DU JOUR**

* ** 18: 00–18: 30: ** Arrivées, manger, boire et réseau
* ** 18: 30-20: 10: ** Présentations
* ** 20: 10-21: 00: ** Réseautage