Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Choisir Capgemini, c'est choisir une entreprise où vous serez en mesure de façonner votre carrière selon vos aspirations. Avec le soutien et l'inspiration d'une communauté d'experts dans le monde entier, vous pourrez réécrire votre futur. Rejoignez-nous pour redéfinir les limites de ce qui est possible, contribuer à libérer la valeur de la technologie pour les plus grandes organisations et participer à la construction d'un monde plus durable et inclusif. Vos missions : Au sein de projets d'envergure pour des clients grands comptes, vous interviendrez en support aux équipes en charge de l'administration, de la configuration et de l'optimisation des bases de données. Sous la supervision des experts, vos principales missions consisteront à : * Participer à l'installation, la configuration et l'administration des bases de données (Oracle, PostgreSQL, SQL Server), en assurant performance et sécurité. * Contribuer à la transformation des données et à la mise en place de pipelines ETL/ELT (Apache Kafka, Apache Spark, Apache Ariflow, etc.). * Développer des insights métiers/gouvernance pertinents et participer au développement de tableaux de bord/rapports (Power BI, Kibana, Grafana, etc.). * Fournir un support technique de niveau 1 (ou 2) pour résoudre des incidents, en collaboration avec les équipes senior. * Assister à la mise à jour des outils de ticketing (ServiceNow, TeamDesk) en respectant les normes établies. * Analyser et optimiser les performances des bases de données et contribuer à l'automatisation des tâches (MCO). * Participer à la gestion et à l'escalade des incidents critiques, tout en contribuant aux retours d'expérience. * Proposer des améliorations pour les outils de supervision et participer à des missions d'audit et de build. * Utiliser vos compétences en programmation (bash, PL/SQL, T-SQL, Python) pour automatiser des processus. Votre profil : Actuellement en formation supérieure en informatique (Bac+5), vous recherchez un stage de fin d'études pour approfondir vos compétences en bases de données et systèmes d'exploitation. Vous maîtrisez les bases de données (Oracle, PostgreSQL, SQL Server) et avez déjà acquis une expérience pratique lors de stages ou d'alternances. Vous êtes à l'aise avec les environnements Unix/Linux ou Windows (terminal, gestion des droits, utilisateurs, fichiers). Les petits plus : * Connaissance d'autres SGBD (MySQL, MariaDB) ou NoSQL (MongoDB, Cassandra), * Notions en programmation (bash, PL/SQL, tsql, Python), * Expérience avec des outils d'exploitation et de supervision.

Je suis à la recherche pour un de nos clients d'un Expert Hadoop. Stack technologique : Distribution Hadoop : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, SQL, Zookeeper, ... Langages de scripting et de développement : Shell, Python, Spark Moteur de requetage : SQL, Hive, Impala, Système d'exploitation : Linux Le SI « BigData / Hadoop » a pour objectif de centraliser différentes sources de données hétérogènes sur un même socle technique pour manipuler de gros volumes de données, permettre de réaliser du requêtage croisé entre différentes sources de données hétérogènes et fonctionnellement pouvoir répondre à différents cas d’usages tels que : • Pour les équipes « DSI Etudes » : - Dans le cadre de phases d’études amont être en capacité d’explorer, croiser et analyser des données provenant de différents contextes, afin de formaliser des points structurants relatifs à la gestion des informations. - Dans le cadre de phases de spécifications savoir adapter la solution aux enjeux de volumétrie d’un cas d’usage ; • Pour les équipes « DSI Supports Fonctionnels » : Participer au suivi de Production pour explorer, croiser analyser les données inter-applications dans le but de piloter les opérations d’exploitation et être en mesure d’adresser aux éditeurs des demandes d’intervention pertinentes. • Pour les équipes « DSI Centre National de Recette et d’Intégration » : Préparer les jeux de données en explorant et en identifiant les données des applications qui constitueront les jeux d’essais en lien avec les critères métiers. • Pour les équipes « DSI Système d’Information Décisionnel », envisager une bascule vers Hadoop d’une partie des données stockées dans Teradata, dans l’objectif de réduire l’impact Teradata.

Afin de renforcer ses équipes, notre client recherche un(e) architecte sur un environnement Hadoop / Big data de technologie Cloudera ; Et avec des compétences en développement autour des langages propres au domaine BigData, tels que Python, Spark, Hive, impala. Descriptif de la mission : Les missions sont : Ø Les missions porteront sur : o Pilotage et mise en œuvre opérationnelle des travaux de fiabilisation des socles Hadoop pour répondre aux exigences de performances attendues par les cas d'usages fonctionnels. Ø Evolution des architectures techniques : o Mise en place des principes directeurs sur l’utilisation du cluster Cloudera o Vérification de la bonne application des normes et des standards o Force de proposition, étude, analyse et mise en œuvre de solutions pour améliorer : l'outillage utilisateurs, optimiser les performances et la résilience du cluster o Etude d'impact et réalisation opérationnelle des montées de version Cloudera et outils Hadoop ; Ø Expertise Hadoop de niveau 3 o Configuration du cluster Cloudera en fonction des besoins identifiés o Optimisation des traitements ; Ø Support : o Accompagnement des équipes de développement o Assistance auprès des équipes : Optimisation des traitements, Prise en main de l’outillage mis à disposition, Chargement des données o Transmission du savoir-faire via la rédaction de documentations et transfert de connaissances Ø Savoir être : o Coordination et pilotage des chantiers en collaboration avec les différents services DSI o Autonomie pour la prise en charge des sujets et travail en équipe o Capacité à communiquer et s'adapter en fonction des différents interlocuteurs

Spécialisé dans le secteur bancaire, l'entreprise recherche un Expert Data Engineer Kafka pour renforcer ses effectifs. . Le rôle consiste à mettre en œuvre des solutions de streaming de données à grande échelle et en temps réel pour répondre aux besoins des différents départements métiers et améliorer la prise de décision grâce à une infrastructure de données solide, évolutive et performante. Architecture et conception : Concevoir et développer des pipelines de données en streaming avec Apache Kafka pour gérer des volumes de données élevés en temps réel. Participer à la définition de l’architecture de la plateforme Kafka et de ses composants (brokers, zookeepers, clusters). Développement de flux de données : Créer, configurer, et maintenir des topics Kafka , des streams et des connecteurs Kafka pour assurer l’ingestion, la transformation et la livraison des données aux consommateurs en temps réel. Optimisation des performances : Surveiller et ajuster les configurations pour optimiser la latence et le débit des flux de données en streaming. Mettre en place des processus de mise à l’échelle et de gestion des performances pour maintenir un haut niveau de fiabilité. Sécurité et conformité : Mettre en œuvre des mesures de sécurité et de gouvernance des données pour protéger les flux de données Kafka en conformité avec les exigences internes et réglementaires (authentification, contrôle d’accès, chiffrement des données en transit). Innovation continue : Mener une veille technologique active sur les évolutions d'Apache Kafka et les nouvelles technologies de streaming, telles que Apache Flink , Kafka Streams , ksqlDB , afin d’améliorer continuellement l’écosystème de données. Maîtrise de Kafka : Expertise approfondie sur Apache Kafka , avec une expérience dans l’implémentation, l’optimisation et le maintien de clusters Kafka en environnement de production. Compétences en programmation : Compétences en Java , Scala , et/ou Python pour la création de flux de données et l’intégration de Kafka avec d’autres systèmes. Traitement des données en temps réel : Connaissance des frameworks de traitement en temps réel et streaming, tels que Apache Flink , Kafka Streams , et Spark Streaming . Architecture de données distribuées : Solide compréhension des architectures de données distribuées, de la gestion des clusters et de l’optimisation des performances des systèmes de streaming. Sécurité des données : Maîtrise des pratiques de sécurité des données, y compris le chiffrement, l'authentification (SASL, SSL) et le contrôle d’accès (ACL) dans les systèmes Kafka. Environnement cloud : Expérience avec les environnements cloud (AWS, GCP, Azure) et familiarité avec les services Kafka managés comme Confluent Cloud ou Amazon MSK . Compétences en DevOps : Connaissance des outils DevOps tels que Docker , Kubernetes , et Terraform pour le déploiement, l’orchestration, et la gestion des clusters Kafka.

Je recrute pour une entreprise en pleine croissance avec une équipe de 45 collaborateurs répartis entre Toulouse (35 personnes) et la nouvelle agence à Paris (10 personnes). Je recherche un Data Engineer Confirmé avec un minimum de 4 ans d'expérience pour rejoindre l'équipe. Ce que l'entreprise offre : • Choix du matériel : PC ou Mac, tu choisis ta config ! + Prime d'équipement télétravail (450€ HT sur 3 ans). • Formation continue : Certifications 100% prises en charge avec du temps dédié à la préparation. • Veille technologique : 12 Stack Days par an (1 journée/mois) dédiés à la veille et au partage de connaissances. Participation à des conférences tech. • Transport : 50% des frais de transports publics pris en charge + forfait mobilités vertes. • Vie d'entreprise : Stack Trip annuel, activités sponsorisées (escape game, kayak, rando, etc.), conférences tech (Devoxx, AWS Summit, Google Summit, etc.), afterworks réguliers. Ce que tu feras : • Auditer les configurations cloud et proposer des améliorations. • Concevoir des architectures data cloud natives (GCP/AWS). • Déployer des entrepôts de données massivement scalables (BigQuery, Redshift, MongoDB…). • Développer des pipelines de traitement de données (Spark, Dataflow…). • Intégrer des processus de Data Science et Machine Learning. • Accompagner les clients sur les bonnes pratiques cloud et DevOps (CI/CD, GitOps). • Conduire les déploiements et intégrations. Tu as un esprit d'initiative, une curiosité pour les nouvelles technologies et une passion pour la data ? Ce poste est fait pour toi ! Localisation : Paris (avec télétravail possible). Postule dès maintenant et rejoins une équipe passionnée par la technologie !

Missions / Tâches : Vous intégrerez l’équipe IT Data Integration, qui a pour responsabilité l’intégration des données (ainsi que les flux retours) en provenance d'un partenaire (qui opère le système bancaire en marque blanche pour le compte du client final) vers notre Data Platform sur le cloud AWS. Vous aurez à travailler sur le « run » (suivi de production et gestion des défauts sur les données reçues/envoyées) : - Jobs AWS Glue (Spark serverless sur AWS) - Lambda Functions AWS - DAG Airflow - PYSpark - Flux de fichiers CFT/SFTP - Reporting PowerBI ainsi que sur les nouveaux projets : - Data Privacy : purge de données, mise en conformité RGPD. - Data Quality : mise en place de traitements (DBT) pour détecter les données non conformes et consolider des KPI permettant de gérer la qualité des données. - API Management (Gravitee) finalisation d’un Proof of Value et accompagnement au deploiement des nouvelles API / miration des API existantes vers cet outil. Administration de l’outil en lui-même (K8S, helm, AWS). Formation & Expérience Requises : Vous justifiez d'une expérience de plus de 5 ans dans le domaine de la data et/ou des solutions cloud AWS (idéalement orientées Data ou API Management). Vous savez travailler en équipe et en mode agile (Scrum) et vous vous appuyez sur des compétences solides en git et gitlab-ci pour mettre en commun votre code, participer aux revues de l’equipe, déployer les nouvelles versions jusqu’en production. Vous êtes passionné(e)s de nouvelles technologies et vous souhaitez développer vos compétences. Formation : A partir de Bac+4, tête bien faite, envie d’apprendre et de relever des défis Anglais : Professionnel