Berlin Apache Airflow Meetup at GetYourGuide!

** Присоединяйтесь к другим энтузиастам и лидерам воздушного потока в офисах GetyourGuide для вечера привлекательных презентаций, вкусной еды и напитков, а также потрясающей добычи! **

** Презентации **

*** Airflow & DBT: динамическое создание междаг-датчиков с космосом ***

* Спикер: [Giovanni Corsetti Silva] (https://www.linkedin.com/in/giovanni-corsetti/), инженер-основной инженер по адресу [getyourguide] (https://www.getyourguide.com/)

Apache Airflow является платформой для оркестровки данных, в то время как DBT широко распознается для аналитических преобразований данных. Используя библиотеку астрономов-космоса, интеграция проектов DBT в воздушный поток становится простым, что позволяет преобразовать каждую модель DBT в отдельные задачи или задачи, оснащенные функциями воздушного потока, такими как повторные изделия и обратные вызовы.
Тем не менее, организация моделей DBT в отдельные DAGS-потока на основе доменных или пользовательских фильтров представляет проблемы при поддержании зависимостей в этих различных DAG. Обеспечение того, чтобы в нисходящих задачах DBT выполнялись только после успешных выполненных задач вверх по течению в разных DAG, имеет решающее значение для согласованности данных, но эта функциональность не поддерживается по умолчанию.
Присоединяйтесь к GetyourGuide, когда мы исследуем наш метод динамического создания междаг-датчиков в воздушном потоке, используя астрономы космос для DBT. Мы покажем, как мы поддерживаем зависимости DBT модели в нескольких DAG, делая наш трубопровод модульный, масштабируемый и надежный.

*** Защита ваши рабочие процессы в воздушном потоке Apache ***

* Спикер: [Роберт Бемманн] (https://www.linkedin.com/in/robert-bemmann/), старший инженер данных по адресу [getyourguide] (https://www.getyourguide.com/)

Эта презентация подчеркивает практические методы проверки для предотвращения неправильных сборов и повышения надежности в средах воздушного потока Apache. Мы охватываем две ключевые гарантии: подтверждение того, что датчики правильно связаны с их задачами вверх по течению, и проверяя, что критические DAGS обеспечивают включенное предупреждение. Обе валидации автоматизированы и интегрированы в наш трубопровод CI/CD с использованием действий GitHub, обеспечивая непрерывное обеспечение и раннее обнаружение потенциальных проблем до развертывания. Кроме того, мы реализовали решение для отслеживания целей уровня обслуживания (SLO) для наших DAG, что обеспечивает лучшую информацию о надежности и производительности с течением времени. Эти проверки образуют практическую защиту от оперативных слепых пятен, способствующих надежности рабочего процесса и надежного ответа на инциденты. Присоединяйтесь к нам, поскольку мы раскрываем практические стратегии для оптимизации мониторинга рабочего процесса и повышения устойчивости системы, используя надежные возможности Apache Airflow.

*** От хаоса до космоса: упрощение создания DAG в воздушном потоке Apache ***

* Спикер: [Tatiana Al-Chueyr Martins] (https://www.linkedin.com/in/tatialchueir/), главный инженер-программист в [астроном] (https://www.astronomer.io/) & Cosmos Commineter

DBT стал де -факто стандартом для преобразования данных в современных аналитических стеках. Но по мере того, как проекты растут, так же и вопрос: * Где DBT работать в производстве, и как мы можем сделать его быстрее? * В этом выступлении мы сравним компромиссы производительности между управлением DBT, и организуя его через воздушный поток с помощью Cosmos, с акцентом на эффективность рабочего процесса в масштабе. Используя 200-модерный проект DBT в качестве тематического исследования, мы покажем, как время выполнения рабочих процессов в космосе было сокращено с 15 минут до 5 минут. Мы также обсудим возможности для дальнейшего продвижения-от лучшей оптимизации DAG до стратегий планирования с учетом склада. Являетесь ли вы инженером данных, аналитикой или владельцем платформы, вы оставите практические стратегии для оптимизации выполнения DBT и вдохновения для того, что будет дальше в крупномасштабной оркестровке

\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\- \-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-

**ПОВЕСТКА ДНЯ**

*** 18: 00–18: 30: ** Прибывшие, есть, напитки и сеть
*** 18: 30–20: 10: ** Презентации
*** 20: 10–21: 00: ** Сеть