Stage - Data Engineer F/H - Air France
Nous recherchons un(e) stagiaire aura pour accompagner l’équipe de data engineering PNR afin de : • Concevoir et mettre en place un dispositif de suivi des performances, des coûts et de la complétude des flux PNR dans l’environnement GCP. • Développer un tableau de bord Power BI centralisant ces informations de manière claire et visuelle. L’objectif final est de fournir à l’équipe et aux responsables métiers un outil de pilotage en temps réel de l’activité du Data Warehouse GCP. Les missions principales sont les suivantes : • Identifier les indicateurs clés : - coûts BigQuery (par requête, dataset, job, utilisateur, pipeline), - volumétrie et latence des événements Kafka reçus, - erreurs ou ruptures de flux, - taux de complétude et fréquence de rafraîchissement des données. • Collecter les données de logs et de métriques GCP (Cloud Logging, Cloud Monitoring, BigQuery INFORMATION_SCHEMA, etc.). • Centraliser ces informations dans un dataset de monitoring dans BigQuery. • Concevoir un tableau de bord Power BI pour la visualisation et le pilotage. • Documenter la solution, automatiser les rapports et proposer des mécanismes d’alerte (détection d’anomalies, dérives de coûts, flux interrompus). Environnement technique • Cloud : Google Cloud Platform (BigQuery, Cloud Logging, Cloud Monitoring, Dataflow, Pub/Sub, éventuellement Dataform) • Streaming : Kafka (events) • BI & Visualisation : Power BI (connecteur BigQuery) • Langages : SQL, Python (optionnel) • Outils : Git, Terraform (optionnel)