1- Descriptif du poste
Dans le cadre des projets BIG DATA de notre client, nous sommes à la recherche de 6 Data Engineers compétent sur le cloud GCP et en particulier le Google cloud Data Engineer.
Vos missions consisteront à :
– Définir avec l’aide du Product Leader Data les nouvelles datas requises dans GCP et en suivre l’ingestion
– Mettre en forme les données identifiées afin de les rendre exploitables facilement par les utilisateurs métier
– Comprendre le besoin en données du métier
– Explorer les données du Datalake et y trouver les données sources permettant de répondre aux besoins identifiés
– Implémenter et optimiser les traitements existants de mise à disposition des données au meilleur coût
– Mettre en place les chaînes de traitement de la data, de l’ingestion à l’exposition, sur la Plateforme GCP selon les préconisations du client
– Garantir la robustesse et la performance des alimentations et traitements mis en œuvre
– Faire des rapports SPOTFIRE et profiter de la puissance de l’infrastructure datalake pour précalculer certaines données.
– Veiller à mettre en œuvre les outils de monitoring continu de la qualité opérationnelle (Build & Run) et à atteindre le niveau de performance attendu du produit.
2- Livrables
– Résolution des anomalies sur les chaines d’alimentation et de traitement de données
– Mise en place de dashboards de monitoring de disponibilité et de supervision
– Rapports d’usage et de performance
– Documentation d’architecture, de traitements et de supervision mis en œuvre
3- Savoir faire
– Expérience en optimisation des performances, en particulier en Python/Pandas, et Java/Scala
– Expérience des méthodologies Agiles
– Expérience en alimentation et traitement de données sous GCP
– Optimisation des coûts et des performances des requêtes BigQuery
– Expérience avec les user stories JIRA et la documentation sous Confluence
– Anglais courant apprécié
– Environnements : SQL, Python/Pandas, Java, Scala, GCP (Storage , Dataproc, …)
