Ce cours est conçu comme une continuation avancée de « Théorie, Algorithmes et Architecture pour l'Ingénierie des Données ».

Il s'appuie sur les concepts fondamentaux des pipelines de données, des systèmes distribués et des lacs de données pour explorer des techniques de pointe en intégration de données en temps réel, architectures de streaming et ingénierie des données à grande échelle.

Les étudiants travailleront sur la conception de systèmes robustes, à faible latence et à haut débit, prenant en charge l'évolution dynamique des schémas, la résolution de conflits et le traitement efficace de grands volumes de données variées en temps réel.

Plan du cours (flexible selon l'expérience et la vision de l'intervenant) :

1. Traitement des flux en temps réel et algorithmes
- Fenêtres glissantes, estimation de fréquence, modèles à décroissance temporelle
- Échantillonnage par réservoir, heavy hitters (Misra-Gries, SpaceSaving)
- Algorithmes d'apprentissage en ligne pour l'ingestion continue

2. Intégration avancée des données et optimisation des requêtes distribuées
- Correspondance de schémas, résolution d'entités, déduplication des données
- Planification de requêtes basée sur les coûts vs heuristique
- Algorithmes de jointure pour les flux distribués (par exemple, jointures flux-à-flux)

3. Architectures de données en streaming et capture de changements
- Pipelines événementiels vs micro-batch
- Capture de données modifiées (basée sur les journaux, les déclencheurs, hybride)
- ELT/ETL pour les systèmes en temps réel (Flink, Spark Structured Streaming)

4. Gestion de la variété des données et évolution des schémas
- Intégration de sources JSON, XML et non structurées en temps réel
- Stratégies d'évolution des schémas et gouvernance des métadonnées en temps réel
- Ingestion depuis l'IoT, les plateformes sociales et les bases de données opérationnelles

5. Résolution de conflits et cohérence des données
- Modèles de cohérence distribuée (éventuelle, forte)
- Versionnage et horloges vectorielles
- Stratégies de détection et de résolution des conflits dans les systèmes distribués

6. Techniques de compression et de stockage efficace
- Encodage Huffman, arithmétique, RLE, dictionnaire
- Formats colonnaires (Parquet, ORC) et leur impact sur les performances
- Équilibrage entre performance et coût dans le stockage des données

7. Tolérance aux pannes dans les systèmes de streaming
- Réplication, partitionnement et point de contrôle
- Le théorème CAP et ses implications
- Conception de systèmes résilients avec des capacités de basculement en temps réel

8. Confidentialité, sécurité et gouvernance des données
- Confidentialité différentielle, anonymisation, calcul sécurisé
- Conformité dans les pipelines de traitement en temps réel
- Gestion éthique des données dans des environnements à haute vitesse

9. Analytique avancée et apprentissage automatique en temps réel
- Mises à jour des modèles en ligne et détection de dérive
- Systèmes de recommandation et d'alerte basés sur le streaming
- Tableaux de bord et indicateurs clés de performance en temps réel

10. Plateformes pour une intégration évolutive en temps réel
- Apache Flink, Kafka Streams, Spark Streaming
- Services cloud : AWS Kinesis, Google Dataflow, Azure Stream Analytics
- Optimisation du débit, de la latence et de l'évolutivité