Jobs

bg-jobs.jpg
Jobs /

Data Engineer Confirmé (H/F)

Description du poste

Contexte :

Tu rejoins l’équipe des Data Engineers composées de 4 personnes.

Tu es critique et force de proposition dans l'évolution de l'architecture, en choisissant les outils appropriés aux cas d'usage énoncés par les métiers et les Data Analysts. Concrètement il s'agit d'organiser et d'ordonnancer les flux d'extraction, de transformation et de chargement des données en garantissant leur fiabilité, leur disponibilité, etc.

Tes missions :

  • Assurer le bon fonctionnement de la plateforme Data
  • Gérer le cycle de vies de nos pipelines, garantir leur robustesse et leur résillience
  • S'assurer de la cohérence des données reçues
  • Répondre aux besoins de tracking des métiers ou des Data Analysts
  • Mettre à disposition les données en accord avec les ingénieurs BI
  • préparer les données avant leur exploitation par les Data Scientists
  • Aiguiller et assister les Data Scientists dans le choix de l’architecture et à la mise en production des algorithmes de Machine Learning
  • Être garants des droits d'accès aux ressources sur la plateforme
  • Diffuser et partager les bonnes pratiques liés aux coûts des ressources Cloud (calculs et stockages)
  • Respecter les données privées de nos utilisateurs et les lois RGPD

Quelques chiffres :

  • 5k events par seconde en moyenne
  • +750 To de données répartis sur plusieurs couches (Staging, Datawarehouse, Datamart, etc.)
  • +20 personnes dans l'équipe Data, composée de Data Analysts, Data Scientists, Ingénieurs BI et Ingénieurs Data

Notre stack technique :

  • Pub/Sub, Cloud Storage ou des APIs tierces pour l’ingestion des données
  • Apache Airflow / Cloud Composer (Python) comme ordonnanceur
  • Apache Beam / Cloud Dataflow (Java) pour les pipelines ETL
  • Cloud Storage et BigQuery pour stocker les données
  • Git avec GitHub afin de versionner nos sources (revues de codes, approbations, etc.)
  • Cloud Build permet d’automatiser le CI/CD
  • Grafana et StackDriver gèrent notre Monitoring et Alerting
  • Pulumi et Terraform pour l’aspect Infrastructure as Code
  • Tableau, notre outil de BI, géré par les Ingénieurs BI
  • Docker et Kubernetes pour servir les modèles de Machine Learning développés par les Data Scientists

Profil recherché

“It’s a crush !” si :

  • Tu es diplômé(e) d’une école d’ingénieur avec au moins 5 ans d’expérience sur un poste similaire
  • Tu maîtrises les langages Java, Python et SQL
  • Tu possèdes au moins une expérience professionnelle utilisant des plateformes Cloud, de préférence sur des techno Serverless