Offre d'emploi Data Engineer Nantes

Aubay Grand Ouest recherche un Data Engineer, dans le cadre de l’accélération de l’IA chez son client grand compte du secteur bancaire.

L’activité portera sur la transformation de la solution d’industrialisation de l’IA vers une nouvelle solution logicielle.

Localisation : Nantes et périphérie sur site client

Télétravail : 2 jours par semaine

Les missions sont :

1. Cadrage

• Collaboration avec les équipes métiers pour comprendre leurs problématiques liées aux verbatims clients

• Accompagnement de la rédaction des spécifications fonctionnelles

2. Mise en place d’un dispositif d’annotation

• Création d’échantillons (jeux d’apprentissage, de validation et de test)

• Définition des règles d’annotation

• Création d’un formulaire sur l’outil d’annotation

3. Détection de topics et classification de verbatims

• Détection des topics abordés dans les verbatims et construire une catégorisation de verbatims avec l'aide du métier reposant sur les topics détectés

• Classification des verbatims dans chaque catégorie

• Intégration de l’analyse de la tonalité

4. Déploiement et suivi

• Optimisation des modèles pour garantir leur performance en production

• Développement des pipelines d’inférence robustes pour l’intégration des modèles dans les systèmes existants

• Collaboration avec l’équipe MLOps pour le déploiement.

• Suivi de la fiabilité des modèles et identifier les biais ou dérives dans le temps et procéder à leur amélioration le cas échéant.

5. Documentation et veille technologique

• Documentation toutes les étapes des projets pour assurer la traçabilité et la reproductibilité.

• Suivi de évolutions technologiques dans les domaines de l’IA

Environnement technique :

python, Poetry, FastApi, spark (et donc pyspark), SQL, cassandra et postgresql, Kafka, GitLab CI, Docker, Airflow, MLflow, Conda, APIs RESTful.