Stack technique demandée pour donner la formation :

- La programmation, avec par exemple Python, Scala ou Java
- Le SQL pour tous les types d’usages : création de base de données, insertion, mise à jour, analyse, etc,
- La conception, la création et l’intégration d’évolutions d'infrastructures de données de type data warehouse et data lake avec, par exemple, MongoDB, PostgreSQL, HDFS, Hive, BigQuery, Snowflake, etc
- La création de pipelines/ETL/ELT de données avec par exemple Talend, Airflow, Flink, Kafka, ou encore Flume

Activités visées :

- Encadrer la conception d’un projet data au sein d’une organisation
- Coordonner la réalisation d’un projet data au sein d’une organisation
- Programmer la collecte de données depuis plusieurs sources pour un projet data au sein d’une organisation
- Développer la mise à disposition technique des données collectées pour un projet data au sein d’une organisation
- Mettre en place l’entrepôt de données
- Assurer la maintenance et l'évolution de l’entrepôt de données
- Mettre en place un data-lake
- Assurer la gestion de l’accès aux données

Compétences à transmettre aux apprenants :

- Analyser l’expression d’un besoin de projet data dans une étude de faisabilité en explorant, à l’aune des enjeux stratégiques de l’organisation, le besoin métier avec les parties prenantes pour valider les orientations et sélectionner les hypothèses techniques du projet avec le ou les commanditaire(s).

- Cartographier les données disponibles en référençant les usages, les sources, les métadonnées et les données afin de valider les hypothèses techniques du projet data.

- Concevoir un cadre technique d’exploitation des données en analysant les contraintes techniques, de moyens et la cartographie des données afin de définir une réponse technique adaptée aux ressources mobilisables dans le respect du RGPD et d’une démarche éco-responsable.

- Réaliser une veille technique et réglementaire en sélectionnant des sources et en collectant et traitant les informations collectées afin de formuler des recommandations projet toujours en phase avec l’état de l’art.

- Planifier la réalisation d’un projet data en attribuant les moyens nécessaires et en définissant les étapes de réalisation et les méthodes de suivi du projet afin de d’organiser sa mise en oeuvre

- Superviser la réalisation d’un projet data en organisant les méthodes, les outils de travail et la communication entre les parties prenantes, afin d’accompagner les membres de l’équipe dans la réussite du projet

- Communiquer tout au long de la réalisation du projet data sur les orientations, les réalisations et leurs impacts en élaborant la stratégie et les supports de communication afin d’informer toutes les parties prenantes des évolutions ou des opportunités internes comme externes, portés par le projet.

- Automatiser l’extraction de données depuis un service web, une page web (scraping), un fichier de données, une base de données et un système big data en programmant le script adapté afin de pérenniser la collecte des données nécessaires au projet.

- Développer des requêtes de type SQL d’extraction des données depuis un système de gestion de base de données et un système big data en appliquant le langage de requête propre au système afin de préparer la collecte des données nécessaires au projet.

- Développer des règles d'agrégation de données issues de différentes sources en programmant, sous forme de script, la suppression des entrées corrompues et en programmant l’homogénéisation des formats des données afin de préparer le stockage du jeu de données final.

- Créer une base de données dans le respect du RGPD en élaborant les modèles conceptuels et physiques des données à partir des données préparées et en programmant leur import afin de stocker le jeu de données du projet.

- Partager le jeu de données en configurant des interfaces logicielles et en créant des interfaces programmables afin de mettre à disposition le jeu de données pour le développement du projet.

- Modéliser la structure des données d’un entrepôt de données en s’appuyant sur les dimensions et les faits afin d’optimiser l’organisation des données pour les requêtes analytiques.

- Créer un entrepôt de données à partir des paramètres du projet, des contraintes techniques et matérielles et de la modélisation de la structure des données afin de soutenir l’analyse de l’activité et l’aide à la décision stratégique de l’organisation

- Intégrer les ETL nécessaires en entrée et en sortie d’un entrepôt de données afin de garantir la qualité et le bon formatage des données en respectant les modélisations logiques et physiques préalablement établies

- Gérer l’entrepôt de données à l’aide des outils d’administration et de supervision dans le respect du RGPD, afin de garantir les bons accès, l’intégration des évolutions structurelles et son maintien en condition opérationnelle dans le temps.

- Implémenter des variations dans les dimensions de l’entrepôt de données en appliquant la méthode adaptée en fonction du type de changement demandé afin d’historiser les évolutions de l’activité de l’organisation et maintenir ainsi une bonne capacité d’analyse.

Modalités d'évaluation :
- Etude de cas
- Mise en situation professionnelle
- Soutenance orale avec le jury de certification
- Rendu de livrables en amont de la soutenance orale avec le jury