Offre d'emploi Expert/Architecte Kafka/MSK/ELK

Nous recherchons un Expert/Architecte Kafka/MSK pour piloter la conception, la mise en œuvre et l’optimisation d’une infrastructure Kafka/ELK (ElasticSearch, Logstash, Kibana) multi-région. Ce projet stratégique vise à soutenir une organisation opérant à l’échelle internationale, avec des besoins exigeants en termes de réplication des données, de faible latence, de scalabilité et de résilience.

Missions principales :

1. Conception et architecture :

   • Définir l’architecture globale du système Kafka/ELK multi-région, en étant attentif à la réplication cross-région, à la synchronisation des clusters Kafka et à la tolérance aux pannes.

   • S’assurer de la compatibilité avec les standards internationaux en termes de sécurité, de réglementations des données et de performances.

2. Implémentation :

   • Installer et configurer Kafka sur AWS MSK ainsi que les solutions ELK associées.

   • Gérer l’intégration avec des systèmes existants et assurer une migration sans interruption pour les clients internes.

   • Configurer la réplication multi-région (MirrorMaker 2.0 ou autres outils adaptés).

3. Optimisation et supervision :

   • Mettre en place une stratégie de monitoring avancée pour Kafka et ELK (Kibana, Prometheus, Grafana, etc.).

   • Optimiser les performances en équilibrant les charges entre régions et en minimisant les latences.

   • Gérer les mises à jour et assurer la maintenance de l’infrastructure.

4. Sécurité et conformité :

   • Implémenter des mécanismes de sécurité avancés (chiffrement, authentification, autorisation) pour Kafka et ELK.

   • Veiller à la conformité avec les réglementations locales et internationales (ex. : GDPR, CCPA).

5. Support et formation :

   • Fournir un support technique aux équipes internes.

   • Documenter les procédures et former les équipes à l’utilisation et à la gestion de l’infrastructure.