From Raw to Ready: Efficient Data Ingestion and Modeling

В октябре мы возвращаемся с великолепной встречей, организованной **Just Eat Takeaway.com**, посвященной приему и моделированию данных!

В повестке дня у нас будут две переговоры:

**Первый доклад: Теперь каждый может стать инженером данных - Джулиан Алвес**
Команды данных не кажутся полностью сформированными — они возникают из разрозненных сценариев, заданий cron и вопросов типа «можете ли вы получить эти данные?». Я начинал как инженер-программист, перешел к работе с платформами и каким-то образом закончил создание конвейеров данных — и понял, что эта область нуждается в большой помощи. В этом докладе я поделюсь тем, что я узнал о программном обеспечении, платформах и разработке данных: как на самом деле начинают работу команды по работе с данными, почему все в конечном итоге «занимаются данными», а также распространённые ловушки (специальный ETL, инструменты, неясное право собственности). Затем я покажу практический путь, который позволит любому разработчику безопасно вносить свой вклад: легкий код, понятные интерфейсы и мышление локальных разработчиков. Мы кратко покажем, как работает dlt из dltHub, подчеркнув, как он снижает барьер для создания надежных конвейеров с помощью Python.

**Джулиан Алвес** — инженер-фрилансер, специализирующийся на инфраструктуре, данных и программном обеспечении. Он помогал таким компаниям, как WeTransfer, Tikkie и Bitvavo, создавать платформы данных, которые ускоряют разработку. Он вносит свой вклад в библиотеку Python dlt и активно пропагандирует OpenSource как путь вперед.

**Второй доклад: Ментальные модели - Девдас Бхагат**
По мере того, как мы вступаем в мир с еще более быстрыми изменениями, мы сталкиваемся с трудностями, пытаясь идти в ногу со временем. Ментальные модели — это способ сформировать ваше мышление, выявить закономерности и, возможно, помочь улучшить коммуникацию (быстро, что такое DevOps? Что такое ИИ?). Использование неправильных мысленных моделей может разочаровать, а использование правильных оставляет вас в состоянии потока. Этот доклад поможет вам назвать некоторые наиболее распространенные модели и сделать выбор между моделями. Вы уйдете с разными взглядами на то, как думать и решать проблемы. Этот доклад станет введением в ментальные модели и в то, как их использовать для разработки более эффективных систем.

**Девдас Бхагат** — штатный инженер Just Eat Takeaway.com с более чем двадцатилетним опытом работы в этой области. Он был системным администратором, разработчиком, сетевым инженером, администратором базы данных и менеджером.

**Хронология:**

* 18.00 – Заезд/Двери открыты 🚪
* 18.15 – Еда и напитки 🍕🥤☕️
* 18:30 – Приветствие от **Just Eat Takeaway.com и Amsterdam.dev**
* 18.45 – **Теперь каждый может стать инженером данных - Джулиан Алвес** 🎤
* 19.15 – Перерыв 🥤🚽
* 19:30 – **Ментальные модели – Девдас Бхагат** 🎤
* 20:00 – Поговорите с другими людьми 🙋🗣+ Световые беседы 💡🌩️
* 21:00 – Время вышло! Увидимся в следующий раз. 👋

**Согласие на фото/видео**:
Обратите внимание, что во время мероприятия мы будем фотографировать. Если вы не хотите, чтобы вас снимали/фотографировали, сообщите нам.