Berlin Apache Airflow Meetup at GetYourGuide!

** Begleiten Sie Kollegin und Führungskräfte von Airflow und Führungskräften in GetyourGuide's Offices für einen Abend mit ansprechenden Präsentationen, köstlichen Essen und Getränken und fantastischer Swag! **

** Präsentationen **

*** Luftstrom & DBT: Dynamische Erstellung von Inter-Dag-Sensoren mit Kosmos ***

* Sprecher: [Giovanni Corsetti Silva] (https://www.linkedin.com/in/giovanni-corsetti/), Data Core Engineer bei [GetyourGuide] (https://www.getyourguide.com/)

Apache Airstrow ist die Anlaufstelle für die Datenorchestrierung, während DBT für analytische Datentransformationen allgemein anerkannt ist. Mithilfe der Astronomer-Cosmos-Bibliothek wird die Integration von DBT-Projekten in den Luftstrom unkompliziert, sodass jedes DBT-Modell in individuelle Aufgaben oder Aufgabengruppen umgewandelt werden kann, die mit Luftstromfunktionen wie Wiederholungen und Rückrufe ausgestattet sind.
Das Organisieren von DBT-Modellen in separate Luftstrom-DAGs basierend auf Domäne oder benutzerdefinierten Filtern stellt die Herausforderungen bei der Aufrechterhaltung von Abhängigkeiten in diesen unterschiedlichen DAGs. Es ist entscheidend für die Datenkonsistenz von entscheidender Bedeutung, wenn die nachgelagerten DBT -Aufgaben erst nach den entsprechenden vorgelagerten Aufgaben in verschiedenen DAGs ausgeführt werden. Diese Funktionalität wird standardmäßig nicht unterstützt.
Schließen Sie GetyourGuide bei, während wir unsere Methode zum dynamischen Erstellen von Inter-DAG-Sensoren im Luftstrom unter Verwendung des Astronomer Cosmos für DBT untersuchen. Wir werden zeigen, wie wir DBT -Modellabhängigkeiten über mehrere DAGs hinweg aufrechterhalten haben und unsere Pipeline modular, skalierbar und robust machen.

*** Schutz Ihrer Workflows in Apache AirFlow *** ***

* Sprecher: [Robert Bemmann] (https://www.linkedin.com/in/robert-bemmann/), Senior Data Engineer bei [GetyourGuide] (https://www.getyourguide.com/)

Diese Präsentation zeigt praktische Validierungstechniken, um Missverständnisse zu verhindern und die Zuverlässigkeit in Apache -Luftstromumgebungen zu verbessern. Wir decken zwei wichtige Sicherheitsvorkehrungen ab: Die Überprüfung, dass Sensoren korrekt an ihre stromaufwärts gelegenen Aufgaben gebunden sind, und zu überprüfen, ob kritische DAGs PagerDuty -Alarming aktiviert haben. Beide Validierungen werden mithilfe von Github -Aktionen automatisiert und in unsere CI/CD -Pipeline integriert, um die kontinuierliche Durchsetzung und eine frühzeitige Erkennung potenzieller Probleme vor dem Einsatz sicherzustellen. Darüber hinaus haben wir eine Lösung für die Verfolgung von Dienstenstufen (SLOs) für unsere DAGs implementiert, um einen besseren Einblick in die Zuverlässigkeit und Leistung im Laufe der Zeit zu ermöglichen. Diese Überprüfungen bilden eine praktische Verteidigung gegen operative blinde Flecken, wodurch die Zuverlässigkeit der Workflow und eine robuste Reaktion der Vorfälle gefördert werden. Machen Sie sich uns, während wir praktische Strategien aufdecken, um die Workflow -Überwachung zu optimieren und die Systemresilienz mit den robusten Funktionen von Apache Airflow zu verbessern.

*** Vom Chaos bis zum Kosmos: Vereinfachung der DAG -Erstellung in Apache Airstrow ***

* Sprecher: [Tatiana al-Chueyr Martins] (https://www.linkedin.com/in/tatialchueyr/), Principal Software Engineer bei [Astronomer] (https://www.astronomer.io/) & Cosmos Committer

DBT ist zum De -facto -Standard für die Transformation von Daten in modernen Analysestapeln geworden. Aber mit dem Wachstum von Projekten, so die Frage: * Wo sollte DBT in der Produktion laufen und wie können wir sie schneller machen? Mit einem 200-Modell-DBT-Projekt als Fallstudie zeigen wir, wie die Ausführungszeit in Cosmos von 15 Minuten auf nur 5 Minuten reduziert wurde. Wir werden auch die Möglichkeiten zur weiteren Vorschriften erörtern-von einer besseren DAG-Optimierung bis hin zu lagernbewussten Planungsstrategien. Unabhängig davon

\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\ -\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\- \-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\ -\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-

**AGENDA**

*** 18: 00–18: 30: ** Ankunft, essen, trinken und Netzwerk
*** 18: 30–20: 10: ** Präsentationen
*** 20: 10–21: 00: ** Networking