Berlin Apache Airflow Meetup at GetYourGuide!

** Unisciti agli altri appassionati di flusso d'aria e leader degli uffici di Getyourguide per una serata di presentazioni coinvolgenti, deliziosi cibi e bevande e fantastici swag! **

** Presentazioni **

*** Airflow & DBT: creazione dinamica di sensori inter-dag con cosmo ***

* Speaker: [Giovanni Corsetti Silva] (https://www.linkedin.com/in/giovanni-corsetti/), ingegnere di dati di [getyourguide] (https://www.getyourguide.com/)

Apache Airflow è la piattaforma di riferimento per l'orchestrazione dei dati, mentre DBT è ampiamente riconosciuto per le trasformazioni di dati analitici. Utilizzando la libreria Astronomer-Cosmos, l'integrazione di progetti DBT nel flusso d'aria diventa semplice, consentendo a ciascun modello DBT di essere trasformato in singoli compiti o gruppi di attività dotati di funzionalità del flusso d'aria come tentativi e callback.
Tuttavia, l'organizzazione di modelli DBT in DAG a flusso d'aria separati in base a domini o filtri definiti dall'utente presenta sfide nel mantenimento delle dipendenze in questi distinti DAG. Garantire che le attività DBT a valle eseguino solo dopo che le corrispondenti attività a monte in diverse DAG siano state completate con successo è cruciale per la coerenza dei dati, ma questa funzionalità non è supportata per impostazione predefinita.
Unisciti a GetYourGuide mentre esploriamo il nostro metodo per creare dinamicamente sensori inter-dag nel flusso d'aria usando il cosmo astronomero per DBT. Mostreremo come abbiamo mantenuto le dipendenze del modello DBT su più DAG, rendendo la nostra pipeline modulare, scalabile e robusta.

*** Saguando i flussi di lavoro in Apache Airflow ***

* Speaker: [Robert Bemmann] (https://www.linkedin.com/in/robert-bemmann/), Senior Data Engineer presso [GetYourGuide] (https://www.getyourguide.com/)

Questa presentazione mette in evidenza le tecniche pratiche di validazione per prevenire errate configurazioni e migliorare l'affidabilità negli ambienti del flusso d'aria Apache. Copriamo due garanzie chiave: convalidando che i sensori sono correttamente legati alle loro attività a monte e verificando che i DAG critici abbiano un avviso PagerDuty abilitato. Entrambe le validazioni sono automatizzate e integrate nella nostra pipeline CI/CD utilizzando le azioni GitHub, garantendo l'applicazione continua e il rilevamento precoce di potenziali problemi prima della distribuzione. Inoltre, abbiamo implementato una soluzione per tracciare gli obiettivi del livello di servizio (SLO) per i nostri DAG, consentendo una migliore comprensione dell'affidabilità e delle prestazioni nel tempo. Questi controlli formano una difesa pratica contro i punti ciechi operativi, promuovendo l'affidabilità del flusso di lavoro e una solida risposta agli incidenti. Unisciti a noi mentre scopriamo strategie pratiche per semplificare il monitoraggio del flusso di lavoro e migliorare la resilienza del sistema utilizzando le robuste capacità di Apache Airflow.

*** Dal caos al cosmo: semplificare la creazione di DAG in Apache Airflow ***

* Speaker: [Tatiana al-Chueyr Martins] (https://www.linkedin.com/in/tatialchueyr/), ingegnere del software principale su [Astronomer] (https://www.astronomer.io/) e cosmos Commitos Commirsta

DBT è diventato lo standard di fatto per trasformare i dati nei moderni stack di analisi. Ma man mano che i progetti crescono, anche la domanda: * dove DBT dovrebbe funzionare in produzione e come possiamo renderlo più veloce? * In questo discorso, confronteremo i compromessi delle prestazioni tra l'esecuzione di DBT in modo nativo e orchestrandolo attraverso il flusso d'aria usando il cosmo, con particolare attenzione all'efficienza del flusso di lavoro su vasta scala. Utilizzando un progetto DBT da 200 modelli come caso di studio, mostreremo come il tempo di esecuzione del flusso di lavoro in Cosmos è stato ridotto da 15 minuti a soli 5 minuti. Discuteremo anche le opportunità di spingere ulteriormente le prestazioni, che si svolgono dalla migliore ottimizzazione dei DAG alle strategie di pianificazione consapevoli del magazzino. Che tu sia un ingegnere di dati, un ingegnere di analisi o un proprietario della piattaforma, partirai con strategie pratiche per ottimizzare l'esecuzione e l'ispirazione DBT per ciò che è il prossimo in orchestrazione su larga scala

\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\--\----\---\----\---\----\---\----\---\----\---\----\--\--- \-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\--\----\---\----\---\----\---\----\---\----\---\----\--\---

** Agenda **

*** 18: 00–18: 30: ** Arrivi, mangia, bevande e rete
*** 18: 30–20: 10: ** Presentazioni
*** 20: 10–21: 00: ** Networking