1. Objet de la prestation :
Le projet Sales & Marketing Datahub (SMDH) de la Direction Informatique du Client, a pour but de faciliter et accélérer l’utilisation des données de l’entreprise utiles pour les projets des métiers Sales & Marketing en :
– Collectant les sources de données utiles au S&M (50 sources identifiées en cible)
– Unifiant et optimisant les modèles de données.
– Corrélant les données des différentes sources
– Améliorant et monitorant la qualité des données
– Mettant à disposition les données aux Use Cases métier conformément à leur besoin et en respectant le cadre légal.
Le projet SMDH sera intégré à la Plateforme Datalake du Client, en tant que zone Gold, dans la plateforme Google Cloud Platform (GCP).
Les données sources seront ingérées dans le datalake du client
La prestation de TechLead Data recherchée s’appuyera sur les recommandations d’architecture du Client pour mettre en œuvre les alimentations de données sous GCP.
En collaboration avec l’équipe projet agile SMDH, elle assurera les livraisons et traitement des données par sprint.
Elle veillera à mettre en œuvre les outils de monitoring continu de la qualité opérationnelle (Build & Run) et à atteindre le niveau de performance attendu du produit.
La prestation de TechLead Data devra :
– Travailler selon la méthode Agile Scrum et cérémonies Agile du projet SMDH
– Collaborer avec les Data Managers de l’équipe SMDH , ainsi que les DevOps pour implémenter les traitements de mise à disposition des données
– Mettre en place les chaînes de traitement de la data, de l’ingestion à l’exposition, sur la Plateforme GCP selon les préconisations du Client
– Mettre en place les tests automatisés
– Garantir la robustesse et la performance des alimentations et traitements mis en œuvre
– Résoudre les anomalies sur les chaines d’alimentation et de traitement de données
– Être force de proposition sur les choix techniques et apporter une expertise organisationnelle auprès des DE du projet
– Effectuer des revues de codes et proposer des best practices en terme de développement.
2. Livrables :
- Mise en place des chaînes de traitement de la data, de l’ingestion à l’exposition, sur la Plateforme GCP selon les préconisations du Client
- Mise en place de Dashboards de monitoring de disponibilité, de supervision, des rapports d’usage et de performance.
- Résolution des anomalies sur les chaines d’alimentation et de traitement de données
- Documentation sur l’architecture, les traitements et la supervision mis en œuvre
- Proposition de plan d’actions afin d’améliorer les développements du projet
3.Savoir faire / domaines d’expertise du Prestataire
Le prestataire est consulté compte tenu de son expertise et notoriété dans le domaine Data.
La prestation est sollicitée pour l’exécution d’une activité occasionnelle, ne relevant pas de l’activité permanente du client.
4. Savoir-faire nécessaire à la réalisation de la prestation / domaines d’expertise
- Expérience de 5 ans d’expérience minimum en Data Engineering et à minima 1 an comme Techlead de projet data.
- Certification Google Data Engineer indispensable
- Expérience en alimentation et traitement de données sous GCP
- Expérience de projets au sein d’équipes Agile
- Connaissance des logiciels JIRA et CONFLUENCE
- Expérience en supervision et devops
- Expérience en optimisation de performances
- Expérience sur BigQuery, AirFlow , Composer, Dataproc , GCS, Terraform, Kubernetes
- Développement Java
- Anglais courant
