Wrangling Data with Python – The Fabric Way (T. Eitelberg & T.Martens)

Introduction pratique à Microsoft Fabric avec Python : découvrez Lakehouse, Spark, Delta Tables et créez des flux de travail reproductibles et prêts pour la production.

Cette préconférence d'une journée propose une introduction structurée et pratique à l'utilisation des données dans Microsoft Fabric à l'aide de Python. L'accent est mis sur la compréhension des composants principaux, l'application de Python dans un contexte Fabric natif et la création de flux de travail de données reproductibles et prêts pour la production.

• Nous commençons par l'architecture fondamentale de Microsoft Fabric : qu'est-ce qu'un Lakehouse, comment les tables Delta sont utilisées et comment Spark fonctionne au sein de Fabric.
• Les concepts de base de Spark seront expliqués sans plonger trop profondément dans la mécanique interne, offrant ainsi une compréhension claire de la façon dont Fabric exécute les charges de travail.
• Ensuite, nous passons à Python. Après un bref récapitulatif de la syntaxe essentielle, nous nous concentrons sur les principes clés de programmation pertinents pour l'ingénierie des données. Nous présentons également les bibliothèques essentielles couramment utilisées dans les flux de travail basés sur Fabric.
• Une fois cette base en place, les participants passeront à des exercices pratiques guidés. Il s'agit notamment du développement de processus de transformation et d'intégration de données à l'aide de notebooks Python et Spark dans Fabric. Nous comparerons les types de notebooks, discuterons des caractéristiques des différentes implémentations de DataFrame et expliquerons comment les unités de calcul (CU) influencent les performances d'exécution.
• Dans la phase suivante, nous explorons les avantages de combiner Spark avec d'autres services Fabric, en particulier Power BI. Cela comprend une introduction au lien sémantique - démontrant comment les données transformées peuvent être connectées à des modèles sémantiques à des fins de reporting. Les considérations d’intégration technique et de conception pratique seront discutées.
• La dernière partie de la journée se concentre sur les workflows de développement à l'aide de Visual Studio Code - localement et dans le navigateur. Nous comparons le développement basé sur VS Code avec les notebooks Fabric, mettons en évidence les extensions utiles et expliquons les scénarios dans lesquels le travail en dehors de l'interface utilisateur Fabric offre une flexibilité supplémentaire.

Vos formateurs :
Tillmann Eitelberg (https://www.linkedin.com/in/tillmanneitelberg/)

Tom Martens (https://www.linkedin.com/in/tommartens68/)