Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Kafka

je cherche un expert kafka dataops pour une misison longue en banque: faire du tunning en java sur les services de streaming kafka (optimisation de perf principalement) installer de nombreux connecteurs implémenter kubernetes dans l'écosysteme de l'entreprise participer à la mise en action des bonnes pratiques kafka plus de détails en privé postulez et je vous appelle -- je cherche un expert kafka dataops pour une misison longue en banque: faire du tunning en java sur les services de streaming kafka (optimisation de perf principalement) installer de nombreux connecteurs implémenter kubernetes dans l'écosysteme de l'entreprise participer à la mise en action des bonnes pratiques kafka plus de détails en privé postulez et je vous appelle

Dans le cadre de l'équipe CIB ITO/PaaS/Data Analytic , nous créons et maintenons des architectures Big Data pour les besoins internes de l’entreprise. Pour renforcer notre équipe support/dev , nous proposons une mission de DATA ENGINEERING sur KAFKA et ELASTIC/OPENSEARCH Les principales technologies utilisees • Elastic Stack (Elasticsearch / Logstash / Kibana / Beats) • Open Search • Kafka • Splunk • AI L'équipe mettant en avant une approche d'automation, les technologies suivantes sont notamment couramment utilisées • Ansible • Git/Bitbucket • Développement Python et REST APIs

Je recherche un Tech Lead Java Angular Kafka maitrisant MongoDB, Docker, Kubernetes ayant plus de 15ans d'expérience afin d' apporter une Expertise Technique pour fusion des applications de screening ponctuels et réguliers sur une seule plateforme, et harmonisation des interfaces utilisateur (UI) et les backends. L'objectif est d'amélioration de screening des relations et prospects de la Banque contre les listes de sanctions, embargos et PPE, afin de renfort de la lutte contre le blanchiment d'argent (LCB/AML) et le financement du terrorisme. Les missions sont : Compréhension et appropriation du code, de l’architecture et des fonctionnalités existantes. Réalisation des développements en java (backend) et Kafka et apporter son expertise dans la création et l'architecture des modules a créer Création ou mise à jour des tests unitaires associés. Respect des principes de développement et les barrières qualité. Mise en place de la documentation technique. Proposition de solutions dans le cadre de l’amélioration continue. Conduite du changement vers les technologies innovantes (Docker, Kubernetes, Cloud...) et des méthodes de développement (TDD, DDD, BDD) Le respect des normes de sécurités (via des scan de type Nexus IQ et Fortify) Une connaissance de GitLab, Ansible, OpenShift sera un plus très apprécié.

Nous recherchons un Expert Kafka pour accompagner le déploiement, l’optimisation et l’exploitation de notre plateforme de streaming de données. Vous jouerez un rôle clé dans la mise en œuvre d’une architecture orientée événements (Event-Driven Architecture), en intégrant Apache Kafka comme élément central du traitement et de la distribution des données en temps réel. Vous interviendrez dans un environnement technique moderne , intégrant le Cloud (AWS, GCP, Azure) , des technologies Big Data et des outils de monitoring avancés. Missions Principales 🔹 Conception et Mise en Place de Kafka Concevoir, déployer et administrer une infrastructure Kafka robuste et scalable. Définir les bonnes pratiques d’architecture event-driven et de gestion des flux de données. Assurer la haute disponibilité et la résilience des clusters Kafka. Sécuriser Kafka en appliquant les meilleures pratiques de chiffrement, d’authentification et d’autorisation. 🔹 Optimisation et Performance Analyser les performances des clusters Kafka et proposer des améliorations (scalabilité, latence, débit). Optimiser la gestion des partitions, des topics et des configurations de réplication. Mettre en place des outils de monitoring et d’alerting pour assurer la supervision proactive des flux de données. 🔹 Développement et Intégration Concevoir des producers et consumers Kafka performants et sécurisés. Intégrer Kafka aux autres systèmes du SI (bases de données, applications métier, services cloud). Participer au déploiement et à la gestion de Kafka Connect et Kafka Streams pour les transformations de données en temps réel. 🔹 Support et Accompagnement Assurer un support aux équipes IT et métiers sur les problématiques Kafka. Rédiger des documentations techniques et animer des sessions de formation pour améliorer l’adoption des solutions de streaming. Collaborer avec les équipes DevOps, Data et Cloud pour garantir une intégration fluide de Kafka dans l’écosystème IT du Crédit Agricole.

Contexte : Dans le cadre du renforcement de son infrastructure de streaming de données, notre client, une banque de renom, recherche un Administrateur Kafka pour assurer l’installation, la configuration, la gestion et l’optimisation de l’écosystème Kafka. Vous interviendrez sur des environnements critiques en garantissant la haute disponibilité, la performance et la sécurité des plateformes de messagerie en temps réel. Missions Principales : En tant qu’Administrateur Kafka, vous serez en charge de : Installation, configuration et maintenance de l’écosystème Kafka (Kafka Brokers, Zookeeper, Kafka Connect, Kafka Streams, Schema Registry) ; Supervision et monitoring des clusters Kafka afin d’assurer la performance et la haute disponibilité des services (via Prometheus, Grafana, ELK, Splunk, etc.) ; Optimisation des performances en ajustant les paramètres de configuration et en mettant en œuvre les bonnes pratiques de tuning et de scalabilité ; Sécurisation des échanges de données (authentification, autorisation, chiffrement TLS, intégration Kerberos ou ACLs) ; Gestion des mises à jour et des montées de version de Kafka et de ses composants ; Automatisation des opérations d’administration via des scripts (Shell, Python, Ansible, Terraform) ; Support et troubleshooting des incidents liés à Kafka, analyse des logs et résolution des problèmes en lien avec les équipes IT et DevOps. Documentation des procédures, des architectures et des bonnes pratiques liées à l’administration de Kafka.

Dans le cadre du développement d’une infrastructure de centralisation des logs basée sur les technologies Elastic Search/Kibana, nous recherchons un Administrateur SysOps. Le but de la mission est d'améliorer cette architecture en déployant ajoutant un service basé sur Kafka pour améliorer la fiabilité de la collecte d’événements. Dans ce contexte, la Prestation contribuera à : Ø Concevoir, mettre en œuvre et déployer une infrastructure Kafka pour les besoins du projet Logcentral gérant actuellement plus de 100 000 évènements par seconde. Ø Intégrer ce service avec les outils de monitoring et de métrologie de l’entreprise. Ø Industrialiser et automatiser les tâches de construction et de déploiement pour étendre cette infrastructure aux autres besoins internes. Ø Définir les bonnes pratiques pour la gouvernance du service. Le Prestataire devra s’assurer tout particulièrement de la mise en œuvre des meilleures pratiques de sécurité et du renforcement de la sécurité dans Kafka. Une expérience en matière de tableau de bord Kibana sera également utile. Livrables: Tout au long de la mission: - Service Kafka pour effectuer les tâches d’automatisation IT pour livrer et maintenir la documentation d’architecture de la solution

Nous recherchons un Architecte Système Kafka pour un client grand compte afin de concevoir et déployer des architectures de données scalables et résilientes sur Kafka Confluent Cloud . Missions principales Concevoir et optimiser les architectures de streaming haute performance Définir les stratégies de déploiement et de scalabilité des clusters Kafka Intégrer Kafka avec diverses sources de données et plateformes Encadrer et former les équipes techniques Piloter les audits de sécurité, conformité et performance Assurer la documentation et le support N3

Nous recherchons un Tech Lead expérimenté pour piloter et optimiser nos projets basés sur Kafka et l'architecture Event-Driven. Le candidat idéal maîtrisera l'ensemble des technologies associées au streaming et au développement full-stack, tout en garantissant la sécurité et l'évolutivité des systèmes. Objectifs de la mission : • Garantir la performance et la robustesse des systèmes Kafka. • Mettre en place et superviser une architecture Event-Driven performante. • Assurer la sécurité et l'intégrité des données tout au long des processus. • Apporter une expertise technique à l'équipe et aux projets.

- Développement Back-End en JAVA 11+ - Frameworks JAVA commun tels que Hibernate, et la suite Spring - Modèles d’architectures Microservices (CQRS, Event driven) - Pratique de la sécurité des API - Connaissance et pratique d’Apache Kafka - Serveur d'application Tomcat et des technologies JEE - Utilisation quotidienne de l'IDE IntelliJ - Utilisation des outils de "CI" (Gitlab, Gitlab-CI) et de contrôle de source (Bitbucket / Git) - Infra cloud (GCP, Kubernetes, Helm, ArgoCD). - Utilisation et configuration de Grunt, Bower. - Techniques de conception (UML) - Les bases de données et la modélisation (SQL, Oracle, MySQL) - La méthodologie Agile SCRUM - Connaissance Keycloack, ou protocole OpenID Connect Compétences techniques et/ou fonctionnelles souhaitable : - Environnement UNIX et LINUX (Redhat), Script Shell, Bash, Python, Etc. - Kafka Stream

Organisme de financement public recherche un Développeur expert SUMMIT V62/64 ou à défaut développeur expert C++ Python Rest Kafka finance de marché capable de monter en compétence sur SUMMIT. Contexte • Projets : • Rédaction des Spécifications Techniques Générales • Développements et paramétrage du progiciel SUMMIT • Suivi de production : • Gestion des incidents de production • Suivre et compléter les procédures en vue de sécuriser les arrêtés, les batchs. • En cas d’incident, mener les investigations nécessaires afin de résoudre les incidents, • Répondre aux interrogations des équipes

Bonjour à tous, Je recherche pour un de mes clients un développeur Java/Angular/Kafka : Quelques éléments concernant les missions : •Migration des offres proposées •Ajout de la nouvelle offre au catalogue •Création et envoi d’un nouvel évènement Kafka •Définir les paramètres de l’offre •Permettre aux administrateurs de gérer l’offre Transition vers une nouvelle UX & UI •Utilisation d’une nouvelle architecture à part entière dans le but de diminuer les appels vers l’API •Transition vers de nouvelles données mises en avant Mutualisation des dépendances Migration du partenaire de gestion de collecte automatique •Analyse de l’existant •POC sur la faisabilité et estimation de la charge de travail •Analyse des API et du fonctionnement du nouveau partenaire

Dans le cadre d’un projet au sein du secteur du luxe, nous recherchons un Consultant Technico-Fonctionnel KAFKA ayant entre 5 et 7 ans d’expérience . Le consultant sera le garant de la solution et devra optimiser le travail des équipes techniques et fonctionnelles. Missions Principales Garantir le bon fonctionnement de la solution Kafka et assurer son maintien en condition opérationnelle. Optimiser et fiabiliser la solution en lien avec les équipes techniques. Assurer le run de la solution en garantissant une disponibilité optimale. Collaborer avec l’architecte afin d’améliorer et faire évoluer la plateforme. Travailler avec les équipes de développement pour assurer une intégration fluide et efficace des services. Participer à l’amélioration continue des processus et à la résolution des incidents.

- Développer de nouvelles API ; - Contribuer à l'amélioration des performances globales de la plateforme ; - Participer à la modernisation de la plateforme (adoption de nouvelles technologies, urbanisation du SI) ; - Garantir la qualité des livrables et participer aux revues de code ; - Participer au Run applicatif de la plateforme (Monitoring, Reporting, Reguls...). ANALYSE Participe à l'analyse fonctionnelle détaillée des besoins utilisateurs et peut être sollicité(e) pour des ateliers de définition des spécifications générales Étudie les opportunités et la faisabilité technologique de l'application, réalise l'analyse technique, l'étude détaillée et contribue à l'estimation des charges CONCEPTION ET DÉVELOPPEMENT Contribue au design du logiciel et des frameworks utilisés dans le cadre du projet Adapte et applique les paramètres techniques des progiciels ou des middlewares Réalise le prototypage Analyse et développe les composants en utilisant les langages appropriés Participe à la structuration des Bases de Données Participe à la revue croisée des développements de ses pairs Initialise le dossier d'exploitation Assemble les composants unitaires dans un package applicatif cohérent destiné au déploiement de la solution et l'intègre à la gestion de configuration Documente les applications pour les développements ultérieurs et la Mise en Production (MEP) Harmonise et industrialise l'ensemble des composants et applications Utilise les composants logiciels réutilisables et met à jour la nomenclature RECETTE UNITAIRE ET TESTS D'INTÉGRATION Responsable des tests unitaires : élaboration des jeux d'essais et réalisation Teste, identifie et traite les dysfonctionnements éventuels du logiciel développé Vérifie la conformité de l'ouvrage avec la demande formulée Contribue à la préparation et à la réalisation des tests d'intégration Analyse les résultats et rédige le rapport de tests MAINTENANCE Réalise les développements nécessaires à la maintenance corrective et évolutive Participe à l'analyse et à la résolution des incidents de production Les livrables: Développement Tests unitaires Conception

Description et livrables de la prestation Nous recherchons un développeur JAVA Spring Boot expérimenté pour renforcer l’équipe OCR Factory pour AXA France. Vous rejoindrez l’équipe DEV pour travailler dans un environnement Java 21, avec Kafka en solution EDA, Docker, échanges au format JSON, base de données Azure SQL, infrastructure CAAS, au sein d’une équipe de 3 développeurs, sur le développement de services/API/batchs liés aux cas d’utilisation OCR construits pour AXA France et ses entités, en collaboration avec d’autres équipes au sein de la tribu. Vous devrez : Analyser les besoins métier tout en inspectant le code existant. Implémenter selon les bonnes pratiques d’ingénierie de la guilde de DEV Suivre les différents rituels agiles tout en soutenant/challengeant le PO/BA concernant la rédaction des stories. Apporter votre expertise à l’équipe.

Nous recherchons un Data Engineer Senior passionné(e) par les données et les infrastructures modernes. Vous jouerez un rôle clé dans la mise en place et la gestion des pipelines de données, tout en garantissant la fiabilité et l'efficacité des systèmes Principales activités : Développer, tester et démontrer les différentes briques de la plateforme, les services et les usages Améliorer les services existants en collaboration avec les Product Owners Documenter et partager les solutions sur Confluence Assurer une veille technologique et participer à l’innovation Participer aux cérémonies Agile/SAFe et aux divers ateliers Environnement technique : Langages : Scala (maîtrise requise), Python Cloud & Data : Azure, Databricks, HDFS, Spark Orchestration & Streaming : Airflow, Oozie, Kafka (Kafka Streams, Flink, Spark Streaming) CI/CD & Conteneurisation : Git, Docker, AWX, CDP, OpenShift Méthodologies : Agile, Scrum, SAFe

Nous recherchons un Ingénieur SysOps RedHat, Kafka confirmé pour un client situé dans le département 78. Le profil doit avoir la Nationalité française pour une habilitation. ANGLAIS LU ECRIT ET PARLE. Installation et configuration de Kafka Déploiement des clusters Kafka sur des environnements distribués (serveurs physiques ou virtuels). Configuration des servers Kafka pour assurer leur performance optimale Mise en place des flux de données, partitions et réplications 2. Surveillance et maintenance Surveillance en temps réel de l'état des servers , des partitions et des flux de données Kafka pour détecter les éventuelles pannes ou dégradations de performance. Utilisation d'outils comme Prometheus , Grafana , ou Kafka Manager pour superviser les métriques de Kafka (latence, débit, erreurs, etc.). Gestion des logs et des alertes pour assurer une disponibilité continue et des performances optimales. 3. Gestion de la sécurité Mise en place des mécanismes de sécurité , et cryptage des données en transit (SSL/TLS). Application des meilleures pratiques en matière de sécurité pour protéger les flux de données transitant sur Kafka. 4. Scalabilité et haute disponibilité Gestion de la mise à l'échelle des clusters Kafka Mise en place de stratégies pour assurer la haute disponibilité et la tolérance aux pannes , par exemple, en configurant des répliques de partitions sur plusieurs serveurs. 5. Optimisation des performances Ajustement des paramètres de configuration pour améliorer les performances comme la gestion de la mémoire, des fichiers journaux (logs), et des fichiers de données. Mise en place des stratégies de compression des données pour optimiser l'utilisation de l'espace disque. 6. Gestion de la rétention des données Configuration de la rétention des messages sur Kafka en fonction des politiques de l'entreprise (rétention par temps, par taille, etc.). 7. Déploiement des mises à jour et des patches Mise à jour des versions de Kafka, application des patches de sécurité et de performance, tout en minimisant les interruptions de service. Tests avant mise en production pour éviter toute régression dans les environnements sensibles. 8. Automatisation et scripts Création de scripts d'automatisation pour faciliter la gestion de Kafka, 9. Documentation et formation Documentation des procédures et des meilleures pratiques pour l'utilisation et l'administration de Kafka. Formation des équipes internes sur l'utilisation de Kafka et l'optimisation des performances de leurs applications. 10. Support technique Assistance aux équipes internes TECHNOLOGIES : KAFKA / REDHAT LINUX Kibana / ElasticSearch DevOps (Saltstack, Rundeck) Zabbix, Prometheus, Grafana