Python sur Spark avec Databricks

• Historique
• Différence entre l’utilisation Administrateur et Utilisateur
• Comment mettre en place un projet sur Databricks/AWS
• Comment créer un cluster de calcul avec Databricks/AWS
• Gestion des notebooks, des utilisateurs et des ressources

• Rappels sur le Big Data
• Présentation de Spark: Spark RDD, Spark SQL, Spark MLlib, Spark GraphX
• Configurer un Spark Context et une Spark Session
• Gestion de la mémoire sous Spark

• Présentation de Pyspark et fonctionnement avec les Java Virtual Machines
• Présentation de l’API Pyspark RDD et manipulation de données non structurées
• Mise en pratique avec des fichiers textes (comptage de mots, nettoyage d’un fichier texte structuré) et avec des opérations d’agrégation sur PairRDDs

• Présentation de l’API Pyspark SQL
• Lecture de fichiers csv, json, parquet et sauvegarde de fichier
• Nettoyage et manipulation de données
• Groupby et agrégation
• Jointure de tables
• Lien entre SQL et Python
• Manipulation d’objets Row, et Window
• Manipulation de dates
• Utilisation de User Defined Function et de Pandas User Defined functions
• Présentation de Pyspark Pandas
• Nombreuses mises en pratique sur des jeux de données

• Qu’est-ce que le Machine Learning? Apprentissages supervisé et non supervisé
• Compromis Biais Variance
• Modèles Linéaires
• Modèles Non Linéaires
• Modèles ensemblistes
• Modèles de clustering
• Métriques et évaluation des performances

• Différence entre MLlib SQL et MLlib RDD
• Les transformations de processing sur les données et notions de Pipeline
• Mise en pratique avec des modèles de Machine Learning sur des problématiques de clustering, de classification (données numériques et texte)
• Evaluation des performances avec Pyspark MLlib
• Utilisation de la librairie Xgboost sous un environnement Spark
• Utilisation de Pandas UDF pour faire tourner des modèles scikit-learn ou tensorflow en inférence

Consulter le diplôme, titre ou certificat... délivrés en fin de formation ainsi que les métiers auxquels cette formation vous donne accès.