Wrangling Data with Python – The Fabric Way (T. Eitelberg & T.Martens)

Практическое введение в Microsoft Fabric с Python: изучите Lakehouse, Spark, дельта-таблицы и создавайте воспроизводимые, готовые к использованию рабочие процессы.

Эта однодневная предварительная конференция предлагает структурированное и практическое введение в работу с данными в Microsoft Fabric с использованием Python. Основное внимание уделяется пониманию основных компонентов, применению Python в контексте Fabric и построению воспроизводимых, готовых к использованию рабочих процессов обработки данных.

• Мы начнем с базовой архитектуры Microsoft Fabric: что такое Lakehouse, как используются дельта-таблицы и как Spark работает внутри Fabric.
• Концепции Core Spark будут объяснены без слишком глубокого погружения во внутреннюю механику, что обеспечит четкое понимание того, как Fabric выполняет рабочие нагрузки.
• Далее мы переходим на Python. После краткого обзора основного синтаксиса мы сосредоточимся на ключевых принципах программирования, имеющих отношение к инженерии данных. Мы также представляем основные библиотеки, обычно используемые в рабочих процессах на основе Fabric.
• При наличии этой основы участники перейдут к практическим упражнениям под руководством. Сюда входит разработка процессов преобразования и интеграции данных с использованием записных книжек Python и Spark в Fabric. Мы сравним типы блокнотов, обсудим характеристики различных реализаций DataFrame и объясним, как вычислительные единицы (CU) влияют на производительность выполнения.
• На следующем этапе мы исследуем преимущества объединения Spark с другими службами Fabric, особенно с Power BI. Сюда входит введение в Semantic Link — демонстрация того, как преобразованные данные могут быть связаны с семантическими моделями для составления отчетов. Будут обсуждаться как техническая интеграция, так и практические аспекты проектирования.
• Заключительная часть дня посвящена рабочим процессам разработки с использованием кода Visual Studio — локально и в браузере. Мы сравниваем разработку на основе VS Code с блокнотами Fabric, выделяем полезные расширения и объясняем сценарии, в которых работа за пределами пользовательского интерфейса Fabric обеспечивает дополнительную гибкость.

Ваши преподаватели:
Тиллманн Эйтельберг (https://www.linkedin.com/in/tillmanneitelberg/)

Том Мартенс (https://www.linkedin.com/in/tommartens68/)