Berlin Apache Airflow Meetup at GetYourGuide!

** Pripojte sa k nadšencom a vedúcim predstaviteľom vzduchu v kanceláriách Getyourguide na večer pútavých prezentácií, chutného jedla a nápojov a úžasného lupu! **

** Prezentácie **

*** Air Flow & DBT: Dynamické vytváranie inter-Dag senzorov s kozmom ***

* Reproduktor: [Giovanni Corsetti Silva] (https://www.linkedin.com/in/giovanni-corsetti/), Data Core Engineer na [getyourguide] (https://www.getyourguide.com/)

Apache Air Flow je platforma GO-na orchestráciu dát, zatiaľ čo DBT je všeobecne rozpoznávaná pre analytické transformácie údajov. Pomocou knižnice Astrononomer-COSMOS sa integrácia projektov DBT do prúdu vzduchu stáva jednoduchou, čo umožňuje transformovať každý model DBT na jednotlivé úlohy alebo skupiny úloh vybavených funkciami prúdenia vzduchu, ako sú opakovanie a spätné volania.
Organizácia modelov DBT do samostatných DAG toku vzduchu založených na doméne alebo filtroch definovaných používateľom však predstavuje výzvy pri udržiavaní závislostí v týchto odlišných DAG. Zabezpečenie toho, aby sa úlohy DBT downstream DBT vykonávali iba po tom, čo zodpovedajúce úlohy proti prúdu v rôznych DAGS úspešne dokončili, je rozhodujúce pre konzistentnosť údajov - táto funkcia nie je predvolene podporená.
Pripojte sa k getyourguide, keď skúmame našu metódu na dynamické vytváranie inter-dag senzorov v toku vzduchu pomocou astronómového kozmia pre DBT. Ukážeme, ako sme udržiavali závislosti na modeli DBT vo viacerých DAG, vďaka čomu je náš potrubný modulárny, škálovateľný a robustný.

*** Zabezpečenie vašich pracovných postupov v Apache Air Flow ***

* Rečník: [Robert Bemmann] (https://www.linkedin.com/in/robert-bemmann/), senior dátový inžinier na [getyourguide] (https://www.getyourguide.com/)

Táto prezentácia zdôrazňuje praktické validačné techniky na zabránenie nesprávnym konfiguráciám a zvýšenie spoľahlivosti v prostrediach prietoku vzduchu Apache. Pokrývame dve kľúčové záruky: potvrdenie, že senzory sú správne zviazané s ich úlohami proti prúdu, a skontrolovať, či kritické dAGs majú povolenie PagerDuty. Obe validácie sú automatizované a integrované do nášho potrubia CI/CD pomocou akcií GitHub, čo zabezpečuje nepretržité presadzovanie a včasné odhalenie potenciálnych problémov pred nasadením. Okrem toho sme implementovali riešenie na sledovanie cieľov úrovne služieb (SLO) pre naše DAG, čo umožňuje lepší prehľad o spoľahlivosti a výkone v priebehu času. Tieto kontroly tvoria praktickú obranu proti operačným slepým spotom, podporujú spoľahlivosť pracovného toku a robustnú reakciu incidentov. Pripojte sa k nám, keď odhaľujeme praktické stratégie na zefektívnenie monitorovania pracovných postupov a zvýšenie odolnosti systému pomocou robustných schopností Apache Air Flow.

In

* Rečník: [Tatiana al-Chueyr Martins] (https://www.linkedin.com/in/tatialchaeyr/), hlavný softvérový inžinier v [astronóm] (https://www.astronomer.io/) a Cosmos Consumter

DBT sa stal de facto štandardom na transformáciu údajov v moderných analytických zásobníkoch. Ale s rastúcimi projektmi, takže otázka: * Kde by mal DBT bežať vo výrobe a ako ju môžeme rýchlejšie urobiť? * V tejto prednáške porovnáme kompromisy výkonnosti medzi spustením DBT natívne a organizáciou ho prostredníctvom prúdenia vzduchu pomocou kozmí, so zameraním na účinnosť pracovného toku v mierke. Použitím 200-modelového projektu DBT ako prípadovej štúdie ukážeme, ako sa čas vykonávania pracovného toku v Cosmos skrátil z 15 minút na 5 minút. Budeme tiež diskutovať o príležitostiach na ďalšie posunutie výkonu-od lepšej optimalizácie DAG po stratégie plánovania zameraného na sklad. Či už ste dátový inžinier, analytický inžinier alebo vlastník platformy, odídete s praktickými stratégiami na optimalizáciu vykonávania DBT a inšpirácie pre to, čo bude ďalej vo rozsiahlom orchestrácii

\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\ -\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\- \-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\ -\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-\-

** Agenda **

*** 18: 00–18: 30: ** Príchody, jedenie, pitie a sieť
*** 18: 30–20: 10: ** prezentácie
*** 20: 10–21: 00: ** Sieť