Data Engineer / Sciences : RAG NLP LLM

Contexte de la mission

Dans le cadre de projets innovants liés à l’ Intelligence Artificielle et au traitement des données , vous interviendrez en tant que Développeur Data Science / NLP / RAG / LLM . Votre mission consistera à concevoir, développer et déployer des solutions avancées en traitement du langage naturel (NLP) , Retrieval-Augmented Generation (RAG) et Large Language Models (LLM) .

Vous serez impliqué dans des projets variés, tels que :

• Le développement de pipelines de données pour alimenter des modèles d’IA.
• La conception de systèmes RAG pour améliorer la précision des réponses générées par l’IA.
• L’intégration et l’optimisation de LLM pour des applications métiers (chatbots, analyse de texte, génération de contenu, etc.).
• La collaboration avec des équipes pluridisciplinaires (Data Engineers, DevOps, experts métiers).

Missions principales

• Développement de pipelines de données et d’infrastructures IA
• Concevoir et maintenir des pipelines ETL/ELT pour collecter, nettoyer et transformer des données.
• Automatiser les processus de traitement de données à grande échelle.
• Optimiser les performances des pipelines (vitesse, scalabilité, fiabilité).
• Modélisation et traitement du langage naturel (NLP)
• Développer des modèles de NLP pour des tâches spécifiques (classification, extraction d’entités, traduction automatique, etc.).
• Fine-tuner des modèles de langage pré-entraînés (BERT, T5, etc.).
• Évaluer et améliorer la qualité des modèles NLP.
• Conception et optimisation de systèmes RAG
• Implémenter des architectures Retrieval-Augmented Generation pour enrichir les réponses des LLM avec des données externes.
• Intégrer des bases de connaissances vectorielles (Pinecone, Weaviate, FAISS).
• Optimiser la pertinence et la rapidité des systèmes RAG.
• Intégration et déploiement de LLM
• Déployer et optimiser des Large Language Models (LLM) pour des applications métiers.
• Adapter les LLM à des cas d’usage spécifiques (chatbots, génération de texte, analyse de sentiments, etc.).
• Travailler sur l’efficacité énergétique et la scalabilité des modèles.
• Collaboration et industrialisation
• Collaborer avec les équipes DevOps pour déployer les solutions en production (Docker, Kubernetes, CI/CD).
• Participer à la mise en place de tests automatisés pour valider les performances des modèles.
• Documenter les processus, les architectures et les résultats.
• Veille technologique et innovation
• Suivre les avancées en NLP, RAG et LLM (recherches académiques, nouvelles bibliothèques, etc.).
• Proposer des solutions innovantes pour améliorer les systèmes existants.
• Participer à des ateliers ou formations pour monter en compétences.

Environnement & méthodologies

• Langages et frameworks :
• Python (obligatoire), TensorFlow, PyTorch, Hugging Face (Transformers), LangChain, LlamaIndex.
• Bibliothèques NLP : NLTK, spaCy, scikit-learn.
• Outils :
• Data Engineering : Apache Spark, Apache Airflow, Kafka.
• DevOps/MLOps : Docker, Kubernetes, Git, CI/CD, MLflow.
• Bases de données : SQL (PostgreSQL, MySQL), NoSQL (MongoDB), bases vectorielles (Pinecone, Weaviate, FAISS).
• Cloud : AWS (SageMaker, Bedrock), Azure (OpenAI, Cognitive Services), GCP (Vertex AI).
• Méthodologies : Agile (Scrum, Kanban), MLOps, DevOps.

Profil recherché

• Formation : Bac+5 en informatique ou école d’ingénieur.
• Expérience : 2 à 5 ans en développement Python avec une spécialisation en Data Science, NLP, RAG ou LLM (projets concrets requis).
• Compétences techniques :
• Maîtrise de Python et des bibliothèques associées (TensorFlow, PyTorch, Hugging Face, LangChain, LlamaIndex).
• Expérience en NLP (traitement de texte, fine-tuning de modèles).
• Connaissance des architectures RAG et des outils associés (bases vectorielles, recherche sémantique).
• Expérience avec les LLM (déploiement, optimisation, évaluation).
• Connaissance des outils Data Engineering (Spark, Airflow) et des bonnes pratiques DevOps/MLOps.
• Expérience avec les environnements cloud (AWS, Azure, GCP).