Berlin Apache Airflow Meetup at GetYourGuide!

** Junte -se aos colegas entusiastas do fluxo de ar e líderes nos escritórios de Getyourguide para uma noite de apresentações envolventes, comida e bebida deliciosa e ganhos impressionantes! **

** Apresentações **

*** Fluxo de ar e DBT: Criação dinâmica de sensores de entrevistas com cosmos ***

* Palestrante: [Giovanni Corsetti Silva] (https://www.linkedin.com/in/giovanni-corsetti/), engenheiro de núcleo de dados em [getyourguide] (https://www.getyourguide.com/)

O Apache Airflow é a plataforma preferida para orquestração de dados, enquanto o DBT é amplamente reconhecido para transformações de dados analíticos. O uso da biblioteca astrônomo-COSMOS, a integração de projetos DBT no fluxo de ar se torna direto, permitindo que cada modelo DBT seja transformado em tarefas individuais ou grupos de tarefas equipados com recursos de fluxo de ar, como tentativas e retornos de chamada.
No entanto, a organização de modelos DBT em DAGs de fluxo de ar separados com base em filtros definidos pelo domínio ou no usuário apresenta desafios na manutenção de dependências nesses DAGs distintos. Garantir que as tarefas DBT a jusante sejam executadas apenas após a conclusão das tarefas a montante correspondentes em diferentes DAGs, é crucial para a consistência dos dados - mas essa funcionalidade não é suportada por padrão.
Junte-se a GetyourGuide enquanto exploramos nosso método para criar dinamicamente sensores entre fracassos no fluxo de ar usando o astrônomo Cosmos para o DBT. Mostraremos como mantemos dependências de modelos DBT em vários DAGs, tornando nosso pipeline modular, escalável e robusto.

*** proteger seus fluxos de trabalho no Apache Airflow ***

* Presidente: [Robert Bemmann] (https://www.linkedin.com/in/robert-bemmann/), engenheiro de dados sênior em [getyourguide] (https://www.getyourguide.com/)

Esta apresentação destaca as técnicas práticas de validação para impedir as configurações incorretas e aumentar a confiabilidade em ambientes de fluxo de ar Apache. Cobrimos duas salvaguardas -chave: validando que os sensores estão corretamente ligados às suas tarefas a montante e verificando que os DAGs críticos alertaram o alerta de PagerDuty ativado. Ambas as validações são automatizadas e integradas ao nosso pipeline de CI/CD usando ações do GitHub, garantindo a aplicação contínua e a detecção precoce de problemas em potencial antes da implantação. Além disso, implementamos uma solução para rastrear os objetivos do nível de serviço (SLOs) para nossos DAGs, permitindo uma melhor visão sobre confiabilidade e desempenho ao longo do tempo. Essas verificações formam uma defesa prática contra pontos cegos operacionais, promovendo a confiabilidade do fluxo de trabalho e a resposta robusta dos incidentes. Junte -se a nós enquanto descobrimos estratégias práticas para otimizar o monitoramento do fluxo de trabalho e aprimorar a resiliência do sistema usando os recursos robustos do Apache Airflow.

*** do caos ao cosmos: simplificando a criação de DAG no fluxo de ar apache ***

* Palestrante: [Tatiana al-Chueyr Martins] (https://www.linkedin.com/in/tatialchueyr/), engenheiro de software principal do [Astrônomo] (https://www.astronomer.io/) & Cosmos Commission

O DBT se tornou o padrão de fato para transformar dados em pilhas de análise modernas. Mas à medida que os projetos crescem, o mesmo acontece com a pergunta: * Onde o DBT deve ser executado na produção e como podemos torná-lo mais rápido? Usando um projeto DBT de 200 modelos como um estudo de caso, mostraremos como o tempo de execução do fluxo de trabalho no Cosmos foi reduzido de 15 minutos para apenas 5 minutos. Também discutiremos as oportunidades de impulsionar ainda mais o desempenho-desde melhor otimização de DAG até estratégias de agendamento com reconhecimento de armazém. Seja você um engenheiro de dados, engenheiro de análise ou proprietário da plataforma, sairá com estratégias práticas para otimizar a execução e a inspiração do DBT para o que vem a seguir em orquestração em larga escala

\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\ -\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-- \-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\ -\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\--

**AGENDA**

*** 18: 00–18: 30: ** chegadas, comer, beber e rede
*** 18: 30–20: 10: ** Apresentações
*** 20: 10–21: 00: ** Rede