DataEngineer-Transformation

1. Objet de la prestation :

Dans le cadre du projet de la transformation de la DIR-SF et du suivi de ses OKR 2021 et 2022, une prestation en Data Engineering est attendue.

Dans le contexte actuel, notre Direction s’est dotée d’objectifs ambitieux de transformation pour nous permettre de réduire nos coûts, de moderniser notre parc applicatif, d’ancrer notre organisation dans un processus d’amélioration continue agile.

Pour accompagner ces changements et en cohérence avec une démarche de Key Results par trimestre, nous mettons en place des métriques pour piloter notre plan et percevoir les effets de nos actions notamment sur le coût de notre parc applicatif.

L’objectif de cette prestation est d’aider les pilotes de la transformation et le CODIR DIRSF dans la résolution de problèmes analytiques, en mettant en place des chaînes de traitement data de bout en bout dans des environnements on premise et cloud et dans une culture DevOps.

2. Missions :

  • Collecter les data nécessaires au pilotage : ces datas existent mais issues de nombreux systèmes.
  • Organiser ces données pour les rendre exploitables.
  • Contribuer au respect de la qualité des datas,
  • Accompagner les utilisateurs des SI concernés pour assurer que les données saisies soient exploitables à partir de ces datas.
  • Mettre en place un dashboard de pilotage dans lesquelles les métriques mensuelles sont disponibles.
  • Participer aux discussions stratégiques avec le comité de notre direction pour orienter nos décisions

L’expertise est tout d’abord centrée sur les besoins de notre direction, cependant ce sujet génèrera de nombreux échanges avec d’autres entités : pole data, PMO, équipe transverse de transformation, équipes Françaises, Indiennes et Roumaines…

Pendant la définition du projet :

  • Conception de chaînes d’ingestion de données, de chaînes de préparation de données, d’algorithmes de ML de base, de produits de données, de modèles de données NoSQL et de visualisations de données
  • Participation à la sélection des services / solutions à utiliser en fonction des usages et à l’élaboration d’une boîte à outils data

Pendant la phase de réalisation itérative :

  • Mise en œuvre de chaînes d’ingestion de données, de chaînes de préparation de données, de produits de données, d’algorithmes de ML de base, de visualisations de données et mode distribué des traitements
  • Utilisation de framework de ML
  • Exposition de produits de données
  • Paramétrage de bases NoSQL
  • Utilisation de langages fonctionnels
  • Débogage des traitements distribués et algorithmes
  • Identification et catalogage des éléments réutilisables
  • Contribution à l’évolution des standards de travail
  • Contribution et avis sur les problèmes de traitements data

Pendant l’intégration et le déploiement :

  • Participation à la résolution de problèmes

 3. Livrables :

  • Dashboard de suivi mensuel des indicateurs (OKR et KPIs) réalisé dans Spotfire ou autre
  • Publication des indicateurs mensuels et à la maille Domaine / Chapitre

4. Savoir faire / domaines d’expertise du Prestataire:

 Savoir-faire du prestataire :

Le prestataire est consulté compte tenu de sa capacité à proposer des prestations en adéquation avec la demande formulée.

Savoir-faire nécessaire à la réalisation de la prestation / domaines d’expertise

  • Maitrise de Spotfire
  • Connaissance de base et intérêt dans le développement d’algorithmes de ML, des framework d’ingestion, de Spark et ses différents modules
  • Expertise dans les stratégies de tests data
  • Connaissance de l’écosystème AWS ou GCP, des bases NoSQL,
  • Connaissance dans la construction d’APIs de produits de données et d’outils et bibliothèques de Dataviz
  • Expertise dans la mise en place des chaînes de traitement data de bout en bout
  • Maîtrise du développement distribué, de Scala et/ou Python, de l’utilisation de notebooks data
  • Aisance dans le débogage Spark et de systèmes distribués
  • Vulgarisation de systèmes complexes
  • Fortes expertises en résolution de problèmes, intelligence, initiative et capacité à résister à la pression