Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Kafka

Qui sommes-nous ? Le Groupe Objectware est une ESN spécialisée dans le Conseil IT et la transformation digitale. Nous sommes plus de 1 000 collaborateurs en France (IDF, Strasbourg, Nancy, Lille, Bordeaux, Nantes) et à l'International (Luxembourg, Belgique) pour plus de 100 M€ de CA. Objectware c'est aussi, et surtout, une entreprise à taille humaine, qui a à cœur d’écouter, valoriser et respecter ses collaborateurs, et reconnue Great Place to Work depuis plusieurs années ! Notre conception de l'entreprise ? Un lieu d’énergie, d’innovation, de partage, et d’épanouissement ! Ce que nous proposons : Rejoindre Objectware c'est intégrer des équipes férues de technologies, engagées et dynamiques, dans un environnement collaboratif et stimulant autour de projets variés, ambitieux et innovants. Objectware s’est aussi des communautés d’experts qui accompagnent et participent à la veille technologique ! Votre quotidien en tant qu’expert SysOps KAFKA Dans le cadre de l’audit et de l’amélioration de la plateforme Kafka de notre client : - Audit de l’installation et de la configuration de clusters Kafka - Surveillance et tuning des performances (latence, throughput, partitioning, etc.) - Gestion des incidents et résolution des problèmes de disponibilité ou de débit - Sécurisation des flux Kafka (authentification, autorisations, chiffrement) - Mise en place de la haute disponibilité, de la réplication, du monitoring - Automatisation des tâches récurrentes avec des outils comme Ansible, Terraform ou scripts Shell/Python - Gestion des mises à jour et évolutions du cluster Kafka

Nous sommes à la recherche d'un(e) : Développeur KAFKA -Valider les topics, ACLs et schémas Avro (compatibilité). - Assurer l’onboarding des équipes et les former aux bonnes pratiques Kafka. - Support & Troubleshooting -Analyser et résoudre les incidents sur Kafka (Kafka producer, Kafka consumer, Kafka Connect, Schema Registry…). - Diagnostiquer les problèmes de latence, offset, débit et consommation. - Identifier les root causes et proposer des optimisations. - Développement & Intégration de Connecteurs Kafka Connect -Automatiser la gestion de Kafka via CI/CD et Infrastructure (Git, Terraform, Ansible). - Structurer et documenter les process pour assurer une gouvernance efficace. - Mettre en place des dashboards Kibana pour surveiller Kafka et ses composants. - Installer et configurer des agents de monitoring pour prévenir les incidents. - Définir des alertes automatisées pour garantir la résilience de la plateforme. - Automatisation & Industrialisation

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : La mission consiste à assurer le support , l'automatisation et le maintient en conditions opérationnelles des plateformes se basant sur les technologies mentionnées ci-dessus (Elasticsearch étant la priorité forte). L’équipe étant intégrée dans des écosystèmes de solutions automatisées, une compréhension de principes DevOps et la capacité à compléter notre outillage maison dans une logique versionnée et déployée est impérative. Cette mission a clairement un orientation production et donc nous cherchons avant tout une expertise à l'aise avec la gestion de la production ( et donc par opposition , moins des développeurs). Quoiqu'il en soit, l'environnement est hétérogène et il sera demandé d'investir du temps pour automatiser la plupart des tâches L1/L2 et le passage sur des Clouds interne ou hybrides ( voir externes) Dans le cadre de l'équipe Analytics, nous créons et maintenons des architectures Big Data pour les besoins interne de l’entreprise. Pour renforcer notre équipe, nous recherchons un ingénieur Elasticsearch / Kafka /Splunk avec des connaissances avancées de ces produits (support de production et accompagnement sur des architectures de grande volumétrie). Les principales technologies supportées sont (par ordre d'importance) • Elastic Stack (Elasticsearch / Logstash / Kibana / Beats) • Splunk • Kafka

Responsabilités principales : Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance. Élaborer des stratégies de déploiement de Kafka, incluant la configuration des clusters, le choix des machines, et la définition des paramètres de performance. Assurer l'intégration de Kafka avec diverses sources de données et plateformes de traitement en aval. Diriger les évaluations de sécurité et les audits de conformité pour les infrastructures Kafka. Fournir un soutien technique et une expertise lors de la résolution de problèmes complexes. Développer et maintenir la documentation technique, y compris les architectures de référence et les meilleures pratiques. Mentorat et formation des développeurs et des autres architectes dans l'utilisation optimale de Kafka et Confluent. Compétences et qualifications : Diplôme en informatique, ou domaine connexe. Expérience approfondie avec Apache Kafka et la plateforme Confluent. Expérience démontrée en architecture de solutions de données à grande échelle. Maîtrise des langages de programmation tels que Java, Scala ou Python. Connaissance approfondie des pratiques de sécurité des données et des architectures microservices. Excellentes compétences en communication, en présentation et en leadership.

Doté d’une solide expérience dans la MOE et la gestion de Kafka, le dispositif doit avoir une forte appétence pour la technologie et une solide capacité d’analyse, ainsi que de communiquant lui permettant de s’adresser à une population large et variée dans les profils. Nous recherchons un dipsoistif ayant une pleine connaissance de la solution. Capable de l'administrer, de la mettre en place, de la monitorer. Il faut être force de proposition pour ce poste et avoir déjà des réalisations sur la solution. La mission consiste à prendre en charge les activités suivantes ; • Evolution au sein d'une équipe complètement transverse à la DSI afin de gérer le cluster Kafka gérant une forte volumétrie. • Participation à la définition de la feuille de route en tenant compte des adhérences et trajectoires de convergence avec les usages actuels • Conseille aux équipes clientes de la plateforme événementielle. • Construction des principes et outillages autour de la gestion événementielle et de sa plateforme technologique, • Préconisation et implémentation des solutions et ingénieries de type Event Driven Architecture en réponse aux besoins des utilisateurs et les conseiller sur les choix finaux. • Maintenance en condition opérationnelle les plateformes événementielles en diagnostiquant les pannes et les dysfonctionnements liés aux problèmes d’infrastructures • Optimisation des performances des systèmes (tuning) • Gestion des patterns et Librairies • Alimenttion de la Roadmap Kafka : Questionnement d'une possible migration vers Confluent Cloud, à challenger • Mise en place d'un guide de bonne pratique / librairie pour les différentes équipes métiers • Mise en place des templates de paramétrage Au sein de l'équipe, certaines de vos responsabilités seront : • Gestion et développement de plusieurs clusters Kafka on Premise • Forte volumétrie de données • Monitorer les différents clusters • Ensemble de la palette DevOps (chaîne CI/CD, Jenkins, Ansible, Gitlab...) • Capacité à travailler dans un contexte international

Les missions s’articulent autour des axes suivants : Participer aux phases de Discovery Prendre part dans les analyses techniques et les études d’impacts en amont des développements Concevoir des solutions en respectant et en promouvant les bonnes pratiques de développements Fournir des estimations concernant les futures réalisations (dans le cadre de la méthode SCRUM) Réaliser les développements en suivant les bonnes pratiques de développement du Groupe Effectuer des contrôles croisés afin d’assurer la qualité des développements réalisés par l’équipe Assurer le support de niveau 2 aux équipes d’homologation lors des phases de recette Assurer le support lors des mises en production de chacune des évolutions Assurer le maintien en condition opérationnelle des applications du périmètre Participer aux activités du Chapter Back End (développement de librairies transverses, partage de connaissances, développement de poc avec impact sur la squad et le Chapter)

Dans le cadre de la mise en place d’une équipe dédiée au streaming de données , nous recherchons un(e) Architecte Système spécialisé(e) Kafka / Confluent Cloud pour notre client dans le domaine du Luxe. Vous interviendrez sur un projet stratégique de transformation des flux de données temps réel , en lien étroit avec les équipes IT, développement et métier. Vos missions principales : Concevoir des architectures de données évolutives et sécurisées via Kafka et Confluent Cloud Définir les stratégies de déploiement et d’intégration (sources de données, plateformes aval) Encadrer des équipes techniques et accompagner la montée en compétences interne Participer à la rédaction de spécifications techniques (architecture, sécurité, performance) Coordonner avec les équipes projet pour le delivery et le support technique de niveau 3 Créer et structurer la documentation (référentiels, bonnes pratiques, procédures de monitoring) Contribuer à la gestion de backlog et au suivi des priorités en lien avec les équipes métiers Compétences recherchées : Expertise avérée sur Apache Kafka et Confluent Cloud Maîtrise des flux de données temps réel , des environnements microservices et des enjeux sécurité Bonne pratique des langages Java / Scala / Python , scripting Unix, SQL/PLSQL Connaissance des outils : Kafka toolset, SQL Server, OpCon, Jira, ServiceNow (SNOW) Expérience en environnement Agile ou hybride Leadership technique, sens du mentoring, autonomie et rigueur Processus : 2 entretiens Go - No Go

J'ai un poste à pourvoir pour un data engineer senior qui connaisse le secteur de la finance de marché pour une mission longue en banque technos : scala spark kafka (java) si vous êtes intéressé, n'hésitez pas à postuler je vous appelle dans la journée plus de détails en privé. -- J'ai un poste à pourvoir pour un data engineer senior qui connaisse le secteur de la finance de marché pour une mission longue en banque technos : scala spark kafka (java) si vous êtes intéressé, n'hésitez pas à postuler je vous appelle dans la journée plus de détails en privé.

Nous recherchons un Tech Lead expérimenté pour piloter et optimiser nos projets basés sur Kafka et l'architecture Event-Driven. Le candidat idéal maîtrisera l'ensemble des technologies associées au streaming et au développement full-stack, tout en garantissant la sécurité et l'évolutivité des systèmes. Objectifs de la mission : • Garantir la performance et la robustesse des systèmes Kafka. • Mettre en place et superviser une architecture Event-Driven performante. • Assurer la sécurité et l'intégrité des données tout au long des processus. • Apporter une expertise technique à l'équipe et aux projets.

Notre Plateforme Kafka est un socle stratégique regroupant un ensemble de services et de composants applicatifs centralisés, conçu pour tous nos pays partenaires. Elle joue un rôle clé en permettant aux applications métiers d’utiliser les différents compostons de Kafka pour Produire et consumer des évènements. La prestation peut-être basée à Levallois ou Mérignac. Mission principales dans le cadre de la prestation : Onboarding & Accompagnement des équipes - Valider les topics, ACLs et schémas Avro ( compatibilité) . - Assurer l’onboarding des équipes et les former aux bonnes pratiques Kafka. Support & Troubleshooting - Analyser et résoudre les incidents sur Kafka ( Kafka producer , Kafka consumer, Kafka Connect, Schema Registry….) - Diagnostiquer les problèmes de latence, offset, débit et consommation. - Identifier les route cause et proposer des optimisations. Développement & Intégration de Connecteurs Kafka Connect - Concevoir et tester de nouveaux connecteurs adaptés aux besoins métiers. - Réaliser des tests de performance et assurer la validation avant mise en production. - Documenter et mettre à disposition les connecteurs sur la plateforme Kafka. Monitoring & Observabilité - Mettre en place des dashboards Kibana pour surveiller Kafka et ses composants. - Installer et configurer des agents de monitoring pour prévenir les incidents. - Définir des alertes automatisées pour garantir la résilience de la plateforme. Automatisation & Industrialisation - Automatiser la gestion de Kafka via CI/CD et Infrastructure (Git, Terraform, Ansible). - Structurer et documenter les process pour assurer une gouvernance efficace. Profil & Compétences recherchées : - Expertise technique sur Apache Kafka (administration, technique, troubleshooting). - Schéma Avro & Schema Registry : validation, compatibilité et évolution. - Monitoring & Logging : Kibana, Logstash, Filebeat, Grafana , Dynatrace. - CI/CD & Automatisation : Git, Jenkins, Terraform, Ansible. - Esprit analytique et capacité à résoudre des problèmes complexes. - Excellentes compétences en communication pour accompagner les équipes. - Approche DevOps et automatisation des processus. - Bonne compréhension des architectures de données (API, flux, BDD, etc.) - Anglais courant

Nous recherchons pour notre client un ingenieur sysops redhat / kafka pour une mission longue a boullogne Objectif : Dans le cadre de la modernisation de notre système d’information, nous recherchons un ingénieur SysOpsRedHat / Kafka confirmé pour rejoindre notre équipe et assurer la mise en place, la gestion et l’optimisation del’infrastructure Kafka. Vous participerez activement au déploiement d’environnement distribués, garantissez la robustesse et la haute disponibilité du système, et veillerez à la sécurité et aux performances de la plateforme. Missions : Nous recherchons un ingénieur SysOps RedHat, Kafka confirmé. • Installation et configuration de Kafka • Déploiement des clusters Kafka sur des environnements distribués (serveurs physiques ou virtuels) • Configuration des serveurs Kafka pour assurer leur performance optimale • Mise en place des flux de données, partitions et réplications Surveillance et maintenance • Surveillance en temps réel de l'état des serveurs, des partitions et des flux de données Kafka pour détecter les éventuelles pannes ou dégradations de performance • Utilisation d'outils comme Prometheus, Grafana, ou Kafka Manager pour superviser les métriques de Kafka (latence, débit, erreurs, etc.) • Gestion des logs et des alertes pour assurer une disponibilité continue et des performances optimales Gestion de la sécurité • Mise en place des mécanismes de sécurité et cryptage des données en transit (SSL/TLS) • Application des meilleures pratiques en matière de sécurité pour protéger les flux de données transitant sur Kafka Scalabilité et haute disponibilité • Gestion de la mise à l'échelle des clusters Kafka • Mise en place de stratégies pour assurer la haute disponibilité et la tolérance aux pannes, par exemple, en configurant des répliques de partitions sur plusieurs serveurs Optimisation des performances • Ajustement des paramètres de configuration pour améliorer les performances comme la gestion de la mémoire, des fichiers journaux (logs), et des fichiers de données • Mise en place des stratégies de compression des données pour optimiser l'utilisation de l'espace disque Gestion de la rétention des données • Configuration de la rétention des messages sur Kafka en fonction des politiques de l'entreprise (rétention par temps, par taille, etc.) Déploiement des mises à jour et des patches • Mise à jour des versions de Kafka, application des patches de sécurité et de performance tout en minimisant les interruptions de service • Tests avant mise en production pour éviter toute régression dans les environnements sensibles Automatisation et scripts • Création de scripts d'automatisation pour faciliter la gestion de Kafka CONFIDENTIEL Documentation et formation • Documentation des procédures et des meilleures pratiques pour l'utilisation et l'administration de Kafka • Formation des équipes internes sur l'utilisation de Kafka et l'optimisation des performances de leurs applications Support technique • Assistance aux équipes internes

Le candidat idéal devra justifier d’une expérience minimale de trois ans dans le développement JAVA, démontrant une maîtrise solide du langage et de ses frameworks associés (Spring Boot, Hibernate, etc.). Une expertise avérée dans l’utilisation de technologies de messagerie telles qu’Apache Kafka ou RabbitMQ est indispensable, car ces outils sont au centre de notre architecture pour assurer la gestion efficace des flux de données et la communication entre services. Un niveau professionnel en anglais est requis

Rejoignez l'équipe en tant que Expert Kafka pour notre Plateforme Notre Plateforme Kafka est un socle stratégique regroupant un ensemble de services et de composants applicatifs centralisés, conçu pour tous nos pays partenaires. Elle joue un rôle clé en permettant aux applications métiers d’utiliser les différents compostons de Kafka pour Produire et consumer des évènements. La prestation peut-être basée à Levallois ou Mérignac. Mission principales dans le cadre de la prestation : Onboarding & Accompagnement des équipes - Valider les topics, ACLs et schémas Avro ( compatibilité) . - Assurer l’onboarding des équipes et les former aux bonnes pratiques Kafka. Support & Troubleshooting - Analyser et résoudre les incidents sur Kafka ( Kafka producer , Kafka consumer, Kafka Connect, Schema Registry….) - Diagnostiquer les problèmes de latence, offset, débit et consommation. - Identifier les route cause et proposer des optimisations. Développement & Intégration de Connecteurs Kafka Connect - Concevoir et tester de nouveaux connecteurs adaptés aux besoins métiers. - Réaliser des tests de performance et assurer la validation avant mise en production. - Documenter et mettre à disposition les connecteurs sur la plateforme Kafka. Monitoring & Observabilité - Mettre en place des dashboards Kibana pour surveiller Kafka et ses composants. - Installer et configurer des agents de monitoring pour prévenir les incidents. - Définir des alertes automatisées pour garantir la résilience de la plateforme. Automatisation & Industrialisation - Automatiser la gestion de Kafka via CI/CD et Infrastructure (Git, Terraform, Ansible). - Structurer et documenter les process pour assurer une gouvernance efficace.

AGATE LIFE SCIENCES est une jeune société spécialisée dans l'industrie bio-pharmaceutique, des dispositifs médicaux et la cosmétique, regroupant une communauté d'experts passionnés par les innovations. Nous accompagnons nos clients grands comptes autour de problématiques scientifiques, techniques et opérationnelles. Nos collaborateurs et nos experts interviennent dans les domaines des opérations cliniques, de la biométrie et de la data science, de la pharmacovigilance, des affaires réglementaires et de l'assurance qualité. Nous mettons l'humain et le bien-être de nos collaborateurs au centre de nos préoccupations. Ambiance dynamique assurée. Dans le cadre d'une croissance d'activité nous recherchons un Chef de Projet MOA Test et Integration CONTEXTE Dans le cadre de la modernisation du SI de la CNAF (programme ModSI) et de l’industrialisation du nouveau socle technique qui va avec, de nombreux travaux techniques restent à effectuer. Ces travaux portent soit sur des briques techniques déjà en place et dont nous souhaitons étendre les modalités d’usage soit des briques nouvelles dont nous souhaitons évaluer la capacité à intégrer le socle ModSI. ➔ DESCRIPTION DETAILLEE DE LA PRESTATION ATTENDUE En soutien au pilotage interne, piloter, organiser et animer une série de tests techniques. Organiser les points d’avancement pour le pilotage global des travaux. Pour chacun des tests, tenir à jour le planning des opérations à réaliser. Organiser les différentes réunions en cohérence avec le planning global : réunions de suivi, ateliers techniques … ; rédaction des ordres du jour et des comptes-rendus, suivi des actions. Pour un pilotage éclairé des différents tests à réaliser, une bonne maitrise technique est nécessaire. ➔ LES SPECIFICATIONS TECHNIQUES DES PRESTATIONS ATTENDUES Les tests portent sur les technologies suivantes : serveur d’autorisation Gravitee AM et les protocoles d’authentification et de fédération de type OAUTH2, OIDC, SAML, Kerberos ; environnement technique avec Azure (Office 365), Active Directory, MDM intunes, IGA Sailpoint … D’autres tests portent plus sur les technologies événementielles ou de Message Queuing : Kafka confluent, Rabbitmq, environnement spring boot , architecture microservice … ➔ NATURE ET DELAIS DE REMISE DES LIVRABLES ATTENDUS : Les livrables attendus sont les livrables standards d’un pilotage en mode projet : planning, suivi des actions, odj de réunion, Cr de réunion et tout autre livrable nécessaire à la bonne exécution du marché. Les différents documents sont à fournir 1 j avant ou après les réunions de suivi ou les ateliers techniques. Informations complémentaires : Poste à pourvoir immédiatement. Possibilité de télétravail jusqu’à deux jours par semaine Les profils basés à Paris, disposant d’une certaine mobilité, sont également les bienvenus. Si vous correspondez à cette offre, n'hésitez pas à postuler. mail :

En tant que Back-End Developer , vous serez au cœur de la construction d'une nouvelle plateforme de paiement mondiale pour un gros client dans un environnement en pleine transformation. Vous serez responsable de la conception, du développement et du déploiement des fonctionnalités clés de cet écosystème de paiement global. Vous appliquerez des pratiques de développement de pointe telles que Clean Code , Clean Architecture , TDD et CI/CD , tout en mettant un accent particulier sur l'optimisation des systèmes de traitement des paiements. Vous résoudrez des défis techniques complexes, en utilisant Kafka , Kafka Connect et Kafka Streams pour gérer les paiements en temps réel et améliorer les performances globales. Vous travaillerez en étroite collaboration avec des équipes Product , QA , DevOps , et UI/UX pour garantir que les solutions techniques s’alignent avec la stratégie de l’entreprise.

Almatek recherche pour l'un de ses clients, un développeur GO sur Boulogne-Billancourt. Description détaillée : Participer aux développements en Go de l'équipe vidéo: 1) ajout de workflows basés sur la plateforme opensource Temporal pour livrer nos contenus à des partenaires externes tels que des FAI via différents protocoles 2) maintenance et évolutions sur nos workflows d'ingestion, par exemple traitements sur les vidéos ou les métadonnées les accompagnant 3) migration de workflows PHP de notre outil interne MOVE vers Temporal 4) évolutions de nos services utilisés par les players Nos services tournent principalement sur AWS, dans des cluster Kubernetes, avec des bases de données PostgreSQL et Redis, et des transcodeurs video cloud ou on-premise. Nous utilisons des API HTTP/JSON, GRPC ou Kafka pour la communication entre nos services. Notre code est hébergé en privé sur Github, avec des actions Github et l'utilisation de Bazel pour les builds d'images. Les déploiements se font via ArgoCD. Il faut être assez à l'aise techniquement pour pouvoir se concentrer sur la partie métier qui est très riche d'informations à assimiler. Des connaissances système et réseaux sont un plus, ainsi que du scripting Shell. Définition du profil : À la demande du Métier, il analyse, paramètre et code les composants logiciels applicatifs dans le respect des évolutions souhaitées, des normes et des procédures orientées Web Back. Compétences techniques : Go - Expert - Impératif AWS - Confirmé - Important Video - Confirmé - Serait un plus Temporal - Confirmé - Serait un plus Connaissances linguistiques : Français Courant (Impératif) Anglais Lu, écrit (Impératif)