Berlin Apache Airflow Meetup at GetYourGuide!

** Приєднуйтесь до колег -любителів повітряного потоку та лідерів офісів Getyourguide на вечір залучення презентацій, смачної їжі та напоїв та дивовижного сваг! **

** Презентації **

*** Повітряний потік та DBT: Динамічне створення між DAG датчиків з Cosmos ***

* Доповідач: [Giovanni Corsetti Silva] (https://www.linkedin.com/in/giovanni-corsetti/), інженер Core Data на [getyourguide] (https://www.getyourguide.com/)

Apache Airflow-це платформа для оркестрації даних, тоді як DBT широко визнаний для аналітичних перетворень даних. Використовуючи бібліотеку астронома-космоса, інтеграція проектів DBT у повітряний потік стає простою, що дозволяє перетворювати кожну модель DBT в окремі завдання або групи завдань, оснащені функціями повітряного потоку, такими як повторні дзвінки.
Однак організація моделей DBT в окремі DAG повітряного потоку на основі доменних або визначених користувачем фільтрів представляє проблеми у підтримці залежностей у цих різних DAG. Забезпечення виконання завдань DBT за течією лише після того, як відповідні завдання вгору в різних DAG успішно виконані, є вирішальним для узгодженості даних - все ж, ця функціональність не підтримується за замовчуванням.
Приєднуйтесь до GetYourguide, коли ми досліджуємо наш метод динамічного створення міждільних датчиків у повітряному потоці, використовуючи астроном Cosmos для DBT. Ми покажемо, як ми підтримували залежності моделі DBT у різних DAG, роблячи наш трубопровід модульним, масштабованим та надійним.

*** Захист своїх робочих процесів у повітряному потоці Apache ***

* Доповідач: [Роберт Бемман] (https://www.linkedin.com/in/robert-bemmann/), старший інженер даних [getyourguide] (https://www.getyourguide.com/)

Ця презентація висвітлює практичні методи перевірки для запобігання неправильних конфігурацій та підвищення надійності в середовищі повітряного потоку Apache. Ми охоплюємо дві ключові гарантії: перевірка того, що датчики правильно пов'язані з їх завданнями вгору за течією, і перевіряючи, чи ввімкнено попередження про критичні DAG. Обидва валідації автоматизовані та інтегровані в наш трубопровід CI/CD за допомогою дій Github, забезпечуючи постійне виконання та раннє виявлення потенційних проблем перед розгортанням. Крім того, ми реалізували рішення для відстеження цілей рівня обслуговування (SLOS) для наших DAG, що дозволяє краще зрозуміти надійність та продуктивність з часом. Ці перевірки формують практичну оборону від оперативних сліпих місць, сприяючи надійності робочого процесу та надійної реагування на інциденти. Приєднуйтесь до нас, коли ми розкриваємо практичні стратегії для впорядкування моніторингу робочого процесу та підвищення стійкості системи за допомогою надійних можливостей Apache Airflow.

*** Від хаосу до космосу: спрощення створення DAG в Apache Airflow ***

* Доповідач: [Tatiana al-Chueyr Martins] (https://www.linkedin.com/in/tatialchueyr/), головний інженер програмного забезпечення [Astronomer] (https://www.astronomer.io/) та Cosmos Committer

DBT став фактичним стандартом для трансформації даних у сучасних стеках аналітики. Але в міру зростання проектів, як і питання: * де DBT повинен працювати у виробництві, і як ми можемо зробити його швидше? Використовуючи 200-модельний проект DBT як тематичне дослідження, ми покажемо, як час виконання робочого процесу в COSMOS скорочувався з 15 хвилин до 5 хвилин. Ми також обговоримо можливості для подальшого просування ефективності-порівнюючи від кращої оптимізації DAG до стратегій планування складу. Незалежно від того, чи ви є інженером даних, інженером-аналітиком чи власником платформи, ви залишите практичні стратегії для оптимізації виконання DBT та натхнення для того, що далі в масштабній оркестрації

\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\ -\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\- \-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\ -\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-

** Порядок денний **

*** 18: 00–18: 30: ** Прибуття, їжте, пити та мережу
*** 18: 30–20: 10: ** Презентації
*** 20: 10–21: 00: ** Мережа