AVA2I

Offre d'emploi Data Engineer Kafka (production/ Run)

Vincennes (94)

AVA2I

Le poste

Freelance
CDI
3 ans
10k-60k €⁄an, 100-580 €⁄j
5 à 10 ans d’expérience
Télétravail partiel
Vincennes, Île-de-France
Publiée le 28/10/2024

Partager cette offre

Spécialisé dans le secteur bancaire, l'entreprise recherche un Expert Data Engineer Kafka pour renforcer ses effectifs. .

Le rôle consiste à mettre en œuvre des solutions de streaming de données à grande échelle et en temps réel pour répondre aux besoins des différents départements métiers et améliorer la prise de décision grâce à une infrastructure de données solide, évolutive et performante.

  • Architecture et conception : Concevoir et développer des pipelines de données en streaming avec Apache Kafka pour gérer des volumes de données élevés en temps réel. Participer à la définition de l’architecture de la plateforme Kafka et de ses composants (brokers, zookeepers, clusters).

  • Développement de flux de données : Créer, configurer, et maintenir des topics Kafka, des streams et des connecteurs Kafka pour assurer l’ingestion, la transformation et la livraison des données aux consommateurs en temps réel.

  • Optimisation des performances : Surveiller et ajuster les configurations pour optimiser la latence et le débit des flux de données en streaming. Mettre en place des processus de mise à l’échelle et de gestion des performances pour maintenir un haut niveau de fiabilité.

  • Sécurité et conformité : Mettre en œuvre des mesures de sécurité et de gouvernance des données pour protéger les flux de données Kafka en conformité avec les exigences internes et réglementaires (authentification, contrôle d’accès, chiffrement des données en transit).

  • Innovation continue : Mener une veille technologique active sur les évolutions d'Apache Kafka et les nouvelles technologies de streaming, telles que Apache Flink, Kafka Streams, ksqlDB, afin d’améliorer continuellement l’écosystème de données.

  • Maîtrise de Kafka : Expertise approfondie sur Apache Kafka, avec une expérience dans l’implémentation, l’optimisation et le maintien de clusters Kafka en environnement de production.

  • Compétences en programmation : Compétences en Java, Scala, et/ou Python pour la création de flux de données et l’intégration de Kafka avec d’autres systèmes.

  • Traitement des données en temps réel : Connaissance des frameworks de traitement en temps réel et streaming, tels que Apache Flink, Kafka Streams, et Spark Streaming.

  • Architecture de données distribuées : Solide compréhension des architectures de données distribuées, de la gestion des clusters et de l’optimisation des performances des systèmes de streaming.

  • Sécurité des données : Maîtrise des pratiques de sécurité des données, y compris le chiffrement, l'authentification (SASL, SSL) et le contrôle d’accès (ACL) dans les systèmes Kafka.

  • Environnement cloud : Expérience avec les environnements cloud (AWS, GCP, Azure) et familiarité avec les services Kafka managés comme Confluent Cloud ou Amazon MSK.

  • Compétences en DevOps : Connaissance des outils DevOps tels que Docker, Kubernetes, et Terraform pour le déploiement, l’orchestration, et la gestion des clusters Kafka.

Profil recherché

  • Formation : Bac+5 en informatique, data engineering ou équivalent.

  • Expérience : Minimum 5 ans d’expérience en ingénierie des données, avec une expertise confirmée sur Apache Kafka et des projets de traitement de données en temps réel.

  • Soft Skills : Autonomie, rigueur, capacité d’analyse, et aptitude à résoudre des problèmes complexes. Bon esprit d’équipe et capacité à travailler dans un environnement dynamique et exigeant.

Environnement de travail

  • Formation : Bac+5 en informatique, data engineering ou équivalent.

  • Expérience : Minimum 5 ans d’expérience en ingénierie des données, avec une expertise confirmée sur Apache Kafka et des projets de traitement de données en temps réel.

  • Soft Skills : Autonomie, rigueur, capacité d’analyse, et aptitude à résoudre des problèmes complexes. Bon esprit d’équipe et capacité à travailler dans un environnement dynamique et exigeant.

Courbevoie, Île-de-France
20 - 99 salariés
ESN
Ava2I est une start-up dynamique et en pleine expansion crée en 2016, implantée en Région Parisienne, présente en province ainsi qu’à l’international. Nous comptons aujourd’hui 50 collaborateurs spécialistes autour des problématiques Système, Production, devops, Cloud, Bid Data, et Décisionnel. Entreprise à taille humaine, nos valeurs sont la proximité, la communication, la confiance et l’esprit d’équipe. Nous souhaitons renforcer nos équipes et vous proposons de partager notre belle aventure dans un cadre propice à l’épanouissement personnel.

Postulez à cette offre !

Trouvez votre prochaine mission parmi +8 000 offres !

  • Fixez vos conditions

    Rémunération, télétravail... Définissez tous les critères importants pour vous.

  • Faites-vous chasser

    Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.

  • 100% gratuit

    Aucune commission prélevée sur votre mission freelance.

Data Engineer Kafka (production/ Run)

AVA2I

Au service des talents IT

Free-Work est une plateforme qui s'adresse à tous les professionnels des métiers de l'informatique.

Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur.

Free-workers
Ressources
A propos
Espace recruteurs
2024 © Free-Work / AGSI SAS
Suivez-nous