Mission freelance INGENIEUR SYSOPS (RedHat / Kafka)

Objectif :

Dans le cadre de la modernisation de notre système d’information, nous recherchons un ingénieur SysOps

RedHat / Kafka confirmé pour rejoindre notre équipe et assurer la mise en place, la gestion et l’optimisation de

l’infrastructure Kafka. Vous participerez activement au déploiement d’environnement distribués, garantissez la

robustesse et la haute disponibilité du système, et veillerez à la sécurité et aux performances de la plateforme.

Missions :

Nous recherchons un ingénieur SysOps RedHat, Kafka confirmé.

• Installation et configuration de Kafka

• Déploiement des clusters Kafka sur des environnements distribués (serveurs physiques ou virtuels)

• Configuration des serveurs Kafka pour assurer leur performance optimale

• Mise en place des flux de données, partitions et réplications

Surveillance et maintenance

• Surveillance en temps réel de l'état des serveurs, des partitions et des flux de données Kafka pour

détecter les éventuelles pannes ou dégradations de performance

• Utilisation d'outils comme Prometheus, Grafana, ou Kafka Manager pour superviser les métriques de

Kafka (latence, débit, erreurs, etc.)

• Gestion des logs et des alertes pour assurer une disponibilité continue et des performances optimales

Gestion de la sécurité

• Mise en place des mécanismes de sécurité et cryptage des données en transit (SSL/TLS)

• Application des meilleures pratiques en matière de sécurité pour protéger les flux de données transitant

sur Kafka

Scalabilité et haute disponibilité

• Gestion de la mise à l'échelle des clusters Kafka

• Mise en place de stratégies pour assurer la haute disponibilité et la tolérance aux pannes, par exemple,

en configurant des répliques de partitions sur plusieurs serveurs

Optimisation des performances

• Ajustement des paramètres de configuration pour améliorer les performances comme la gestion de la

mémoire, des fichiers journaux (logs), et des fichiers de données

• Mise en place des stratégies de compression des données pour optimiser l'utilisation de l'espace disque

Gestion de la rétention des données

• Configuration de la rétention des messages sur Kafka en fonction des politiques de l'entreprise (rétention

par temps, par taille, etc.)

Déploiement des mises à jour et des patches

• Mise à jour des versions de Kafka, application des patches de sécurité et de performance tout en

minimisant les interruptions de service

• Tests avant mise en production pour éviter toute régression dans les environnements sensibles

Automatisation et scripts

• Création de scripts d'automatisation pour faciliter la gestion de Kafka

CONFIDENTIEL

Documentation et formation

• Documentation des procédures et des meilleures pratiques pour l'utilisation et l'administration de Kafka

• Formation des équipes internes sur l'utilisation de Kafka et l'optimisation des performances de leurs applications

Support technique

• Assistance aux équipes internes