Offre d'emploi Data Engineer Java / Python / Scala / AWS

Le prestataire travaillera en tant que Data Engineer sur les différents systèmes de gestion de données, et devra supporter les développements sur les différentes plateformes dans les meilleurs délais (time to market), tout en garantissant leur qualité.

Le rôle impliquera notamment les activités suivantes :

- Maintenance évolutive et corrective sur le périmètre applicatif actuel

- Définition et chiffrage des architectures et solutions cibles en réponse aux besoins de l'entreprise.

- Définition et mise en œuvre de PoCs pour valider les solutions proposées.

- Rédaction des spécifications techniques et du dossier d'architecture.

- Développement de processus d'ingestion de données dans AWS.

- Définition et diffusion des meilleures pratiques de développement

- Développement de services de récupération de données stockées dans AWS/S3.

- Gestion du cycle de développement, de l'infrastructure et des mises en production (DevOps).

- Accompagnement des utilisateurs dans la prise en main des nouvelles fonctionnalités.

Le contexte

L'outil est basé sur un SGBD Postgresql et une couche de collecte de données Java. Le second outil repose sur une base de données Cassandra avec une ingestion via des automates écrits principalement en Python.

Dans les deux cas, les données sont récupérées via une API .Net. Un site web en Angular et un addin Excel en .Net permettent aux utilisateurs de consulter/manipuler les données.

Les données de ces bases opérationnelles sont synchronisées avec le datalake amazon afin d'alimenter les processus d'analyse de données qui utilisent la pile technique AWS.

Le prestataire travaillera en tant que Data Engineer sur les différents systèmes de gestion de données, et devra supporter les développements sur les différentes plateformes dans les meilleurs délais (time to market), tout en garantissant leur qualité.

Le rôle impliquera notamment les activités suivantes :

- Maintenance évolutive et corrective sur le périmètre applicatif actuel

- Définition et chiffrage des architectures et solutions cibles en réponse aux besoins de l'entreprise.

- Définition et mise en œuvre de PoCs pour valider les solutions proposées.

- Rédaction des spécifications techniques et du dossier d'architecture.

- Développement de processus d'ingestion de données dans AWS.

- Définition et diffusion des meilleures pratiques de développement

- Développement de services de récupération de données stockées dans AWS/S3.

- Gestion du cycle de développement, de l'infrastructure et des mises en production (DevOps).

- Accompagnement des utilisateurs dans la prise en main des nouvelles fonctionnalités.

Le contexte

L'outil est basé sur un SGBD Postgresql et une couche de collecte de données Java. Le second outil repose sur une base de données Cassandra avec une ingestion via des automates écrits principalement en Python.

Dans les deux cas, les données sont récupérées via une API .Net. Un site web en Angular et un addin Excel en .Net permettent aux utilisateurs de consulter/manipuler les données.

Les données de ces bases opérationnelles sont synchronisées avec le datalake amazon afin d'alimenter les processus d'analyse de données qui utilisent la pile technique AWS.