Data engineer AWS Python Apache Iceberg

Missions principales

1. Conception et développement de pipelines de données

• Concevoir, développer et maintenir des pipelines ETL/ELT pour collecter, transformer et charger des données massives (batch et streaming).
• Utiliser Apache Kafka pour la gestion des flux de données en temps réel.
• Implémenter des solutions de stockage optimisé avec Apache Iceberg (tables ACID, time travel, partitionnement).
• Automatiser les processus de traitement de données à grande échelle.

2. Intégration et optimisation des données

• Travailler avec des formats de données JSON (parsing, validation, transformation).
• Optimiser les performances des pipelines (vitesse, scalabilité, fiabilité) sur AWS (Glue, Lambda, EMR, Kinesis).
• Mettre en place des mécanismes de qualité des données (data validation, monitoring, alerting).
• Intégrer des sources de données hétérogènes (APIs, bases de données, fichiers).

3. Collaboration et industrialisation

• Collaborer avec les équipes DevOps pour déployer et maintenir les solutions data en environnement cloud ( AWS ).
• Participer à la mise en place de tests et de validations pour garantir la qualité des données.
• Documenter les processus, les architectures et les bonnes pratiques.
• Assurer la sécurité des données (chiffrement, IAM, conformité RGPD).

4. Veille technologique et innovation

• Suivre les avancées technologiques en Data Engineering (ex : évolutions d’Apache Iceberg, nouvelles fonctionnalités AWS).
• Proposer des solutions innovantes pour améliorer les processus existants (ex : optimisation des coûts, réduction de la latence).
• Participer à des ateliers ou formations pour monter en compétences.

Missions internes (expertise & contribution)

• Contribuer à la veille technologique et au benchmark des outils et méthodologies.
• Participer à l’amélioration des méthodologies internes (ex : templates de pipelines, bonnes pratiques AWS).
• Accompagner et coacher des consultants juniors sur les technologies Python, Kafka, Iceberg .
• Soutenir les équipes commerciales en amont des réponses aux appels d’offres.

Profil recherché

• Formation : Bac+5 en informatique, data science, mathématiques appliquées ou école d’ingénieur.
• Expérience : 6 ans minimum en Data Engineering, avec une expertise avérée sur :
• AWS (services data et serverless).
• Python (développement de pipelines, scripts d’automatisation).
• Apache Kafka (conception de topics, producteurs/consommateurs, Kafka Connect).
• Apache Iceberg (création et gestion de tables, optimisation des requêtes).
• JSON (manipulation avancée, schémas, validation).
• Compétences techniques :
• Maîtrise des formats de données (JSON, Parquet, Avro).
• Expérience en modélisation de données et en SQL avancé .
• Connaissance des bonnes pratiques DevOps (Docker, Kubernetes, Terraform).
• Soft skills :
• Capacité à travailler en équipe pluridisciplinaire.
• Rigueur, curiosité et esprit d’innovation.
• Bonne communication technique et pédagogique (en français et anglais courant ).