Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Nous recherchons un Data Engineer talentueux et passionné pour rejoindre notre équipe. Vous serez responsable de la conception, du développement et de l’optimisation des infrastructures de données, garantissant ainsi leur scalabilité, leur fiabilité et leur performance. Vous travaillerez en étroite collaboration avec les Data Scientists, les Analystes et les Développeurs pour exploiter les données et en extraire toute leur valeur. Si vous avez l'envie d'évoluer et d'apprendre n'hésitez pas à nous faire part de votre candidature.

Bonjour, Dans le cadre de ses projets clients Visian est à la recherche d'un Data Ops AWS. nous recherchons un profil Data OPS/devOPS disposant d'une bonne expérience sur le cloud AWS avec une appétence DATA. Outre les compétences techniques, l'état d'esprit et la personnalité seront des points d'attention. Ta^ches Assurer l'exploitation de la Data Platform au quotidien Accompagner le DELIVERY dans le cycle des releases Maintien opérationnel des outils d’accès aux données de l’entreprise et à l'infrastructure Améliorer la supervision + l'alerting de l'infrastructure Surveillance et optimisation des coûts d’infrastructure Dynamiser le fonctionnement sur les environnements hors PROD Participation aux développements sur le socle Data Assistance et support aux utilisateurs (Équipes technique et métiers) Appliquer les règles définies par la Gouvernance Data Accompagner les équipes Data dans la définition d’une architecture technique cible. Être garant de la stack technique utilisée par les différentes équipes Data et travailler avec les équipes pour l'améliorer en continu Mise en place d'outils pour faciliter le développement et le suivi de produits Data dans notre écosystème avec aussi un accompagnement. Livrables • Suivi opérationnel : mise en place et suivi de métriques sur nos environnements de prod et hors prod (intégration, recette), suivi du statut des environnements, support technique sur les environnements. • Contribution aux releases et déploiements/livraisons de nos assets en prod et hors prod. • Industrialisation de nos processus et pratiques (gestion des versions, releases, releases notes, notes d’installation, procédure de déploiement etc). • Prise en charge des évolutions techniques sur les produits : montée de versions, sujets de sécurité, évolutions des pods ou de pipelines. • Participation au suivi sécurité sur nos assets. • Participation à la conception et à la réalisation de nos produits : infrastructure et besoins non fonctionnels (monitoring, performance, exploitation…). Si vous êtes actuellement à l'écoute du marché, je vous invite à m'envoyer votre candidature. Bien à vous, Nadia

Vous êtes un·e ingénieur support applicatif avec une solide expérience bancaire ? Vous êtes à la recherche de votre nouvelle équipe ? Alors, nous avons la mission qu'il vous faut ! Nous recherchons un·e Ingénieur Support Applicatif pour l’un de nos clients du secteur bancaire. En tant qu’Ingénieur Support Applicatif, vous aurez pour mission de garantir le bon fonctionnement et la disponibilité du SI Risques Opérationnels. Missions principales Maintien en condition opérationnelle des applications o Suivi quotidien des activités de fonctionnement (incidents, demandes, problèmes) o Gestion des incidents de niveaux 1, 2 et 3 et suivi de la production applicative o Traitement des demandes utilisateurs et gestion des changements applicatifs o Accompagnement et conseil aux utilisateurs sur l’utilisation du système applicatif Collaboration avec les équipes IT et métiers o Support et expertise technique auprès des équipes projet Risques o Participation aux comités équipes projets / fonctionnement et instances de gouvernance métier (RUN, COPIL) o Coordination avec les équipes IT, architectes et production pour assurer la performance et la fiabilité des applications o Gestion des interactions avec les Métiers (documentation, communication, gestion des cas atypiques) Amélioration continue et sécurité o Mise en place et suivi du plan d’amélioration sur les applications incidentées o Gestion du plan d’obsolescence sur son périmètre o Traitement des vulnérabilités et suivi des plans de remédiation o Participation aux actions liées à la sécurité IT (plans de secours, suivi des failles de sécurité) o Production des indicateurs et supports pour les métiers Livrables attendus o Gestion et suivi de la production au quotidien o Pilotage et reporting de l’activité sur le périmètre o Documentation technique et process de support o Supports à destination des métiers

Spécialisé dans le secteur bancaire, l'entreprise recherche deux Business Analysts orientés Data pour renforcer son équipe. Les candidats idéaux auront une solide expérience en bases de données SQL et seront capables de travailler avec divers outils et technologies de traitement de données. Compétences requises : Bases de données SQL : Maîtrise obligatoire. Datalake Cloudera : Connaissance souhaitée. HDFS (stockage) : Connaissance souhaitée. Framework et traitement de données : Apache Spark Indexima pour l'indexation de données Profil recherché : Formation scientifique ou technique (ingénierie, informatique, mathématiques, etc.) pour une montée en compétence rapide. Capacité à démarrer dès que possible (ASAP). Anglais professionnel : Travail principalement en français avec quelques échanges en anglais.

La DSI Fonctions Centrales de BNP Paribas Personal finance (350 personnes) a en charge la gestion d'applications métiers pour le compte des clients corporate de PF (Finance, risque, conformité, marketing, automobile, RH, ...) et des plateformes data. Elle opère pour le compte de ses clients en central, mais est également fournisseur d'applications pour l'ensemble des filiales de PF sur ce périmètre transverse. La prestation se déroule sur le site de BNPP PF Unicity (Levallois) au sein de la Tribe Data France. Au sein de l’équipe "DATA IT", la prestation consiste à : Contribuer à l’estimation des User Stories et s’engager avec l’équipe sur un périmètre de réalisation au cours du prochain sprint, en adéquation avec la capacité à faire de l’équipe Développer les User Stories dans le respect des normes et standards de développement et de sécurité, en intégrant les enjeux data et sécurité Aider à définir et actualiser régulièrement les artefacts de l’équipe (DOR, DOD…) Durant le Sprint, partager l’avancement de ses travaux ainsi que les points de blocage à lever pour atteindre l’objectif fixé Contribuer à l’optimisation de la qualité du code (code review) et à sa maintenabilité Assurer les tests unitaires et contribuer aux autres activités de tests Mettre en œuvre les corrections nécessaires sur les anomalies détectées (build et run) Co-présenter en Sprint Review les résultats des stories prises en charge, les problèmes rencontrés et leur résolution, et répondre aux questions des participants Contribution à la documentation technique du produit Participer à la livraison du produit dans les différents environnements L'environnement technologique est du Big Data Hadoop, le développement est en SPARK SCALA. Expérience requise en SPARK SCALA

Contexte : Dans le cadre de l’exploitation et de l’optimisation de notre infrastructure Cloudera Data Platform (CDP), nous recherchons un prestataire expert capable d’assurer le support technique, l’analyse et la résolution des incidents critiques ainsi que l’optimisation continue de la plateforme. Le prestataire devra maîtriser les architectures Cloudera, posséder une expertise avancée en développement Shell, Ansible et Python, et être capable d’intervenir sur les problématiques de dimensionnement et de tuning de l’infrastructure. Une connaissance de Kafka est requise pour la gestion des flux de données en temps réel. Des connaissances en Elasticsearch, MongoDB ainsi qu’une expérience sur la plateforme Dataiku seraient un plus. Missions Principales : Support Technique Niveau 2 et 3 sur Cloudera Data Platform - Analyser, diagnostiquer et résoudre les incidents complexes impactant la plateforme Cloudera ; - Assurer un support de niveau 2 et 3 pour les équipes techniques et métiers ; - Gérer les escalades des incidents critiques et collaborer avec l’éditeur si nécessaire ; - Implémenter et Améliorer les outils de monitoring avancés pour détecter et anticiper les problèmes ; - Optimiser la performance des services et traitements Hadoop, Spark et Kafka. Gestion et Optimisation de Kafka - Administrer et Optimiser l’infrastructure Kafka sur Cloudera ; - Gérer la scalabilité et la résilience des clusters Kafka ;Assurer une supervision efficace des topics, brokers et consommateurs ; - Résoudre les incidents liés à la latence, au throughput et à la gestion des offsets ; - Mettre en place des stratégies de sécurisation et de haute disponibilité de Kafka. Automatisation et Développement - Développer et Maintenir des scripts Shell, Ansible et Python pour automatiser le support et l’exploitation ; - Automatiser la gestion des incidents récurrents et les procédures de maintenance ; - Déployer des pipelines CI/CD pour les services Cloudera, Kafka et les bases de données associées. Optimisation et Dimensionnement de l’Infrastructure - Travailler sur le dimensionnement et le tuning des clusters Cloudera pour une meilleure gestion des charges de travail ; - Dimensionner les divers clusters ElasticSearch en fonction des consommations des ressources ; - Analyser et Proposer des évolutions d’architecture en collaboration avec les architectes en fonction des besoins métier ; - Assurer une veille technologique et être force de proposition pour améliorer la plateforme. Documentation et Transmission de Connaissances - Documenter les incidents récurrents, les procédures de résolution, les bonnes pratiques et le manuel d’utilisation de l’offre ; - Former les équipes internes sur les outils de monitoring, Kafka, Cloudera et l’analyse des incidents ; - Rédiger des guides de troubleshooting pour faciliter le travail des équipes de support niveau 1 et 2.

Poste : Nous recherchons un Data Engineer (H/F) afin de renforcer notre pôle AI Experts qui intervient sur des sujets impactant directement notre business et l'expérience client, afin d'optimiser la personnalisation, le taux de conversion et les assets. Grâce à ses compétences alliant développement bigdata, appétences pour les modèles d’IA et architecture applicative, le data engineer participe à la conception d’applications mettant à l’échelle des algorithmes créateurs de valeur pour l’entreprise.

Spécialisé dans le secteur bancaire, l'entreprise recherche un Data Engineer talentueux et motivé pour rejoindre son équipe de données. Le candidat idéal aura une solide expérience en ingénierie des données et sera capable de concevoir, développer et maintenir des solutions de données robustes et évolutives. Missions principales : Concevoir et développer des pipelines de données pour l'ingestion, le traitement et le stockage des données. Assurer la qualité, la sécurité et l'intégrité des données. Collaborer avec les équipes de data scientists, d'analystes et d'autres parties prenantes pour comprendre les besoins en données et fournir des solutions adaptées. Optimiser les performances des systèmes de données et résoudre les problèmes techniques. Participer à la mise en place et à la gestion des infrastructures de données (Datalake, HDFS, etc.).

En tant que Data Engineer, vos principales responsabilités incluront : Optimisation et migration des jobs existants : Optimiser des jobs déjà en place et migrer ceux écrits en Hive vers Spark pour améliorer leurs performances. Modification et ajustement des workflows : Adapter les workflows actuels pour répondre aux nouvelles exigences des partenaires. Tuning des applications Spark : Effectuer des ajustements techniques pour améliorer les performances des applications Spark. Création et développement de nouveaux jobs : Concevoir et développer de nouveaux jobs de bout en bout en réponse aux besoins clients. Développement de backend : Développer de nouveaux backends afin de faire évoluer la stack technique du train SAFe PNS. Résultats attendus : Amélioration significative des performances grâce à la migration vers Spark. Refonte de l'architecture de certains jobs permettant de détecter et corriger des problèmes des anciennes versions. Création de jobs répondant aux nouvelles attentes des clients dans les délais impartis.

Localisation : Rennes (2 jours sur site, télétravail possible) Expérience : 5-7 ans Domaine : Telecom, Support Applicatif Missions : Assurer le support des applications critiques. Participer à l’optimisation des flux de données. Collaborer avec les équipes IT pour la maintenance et l’évolution des systèmes. Analyser et résoudre les incidents techniques. Compétences requises : Technologies : Power BI. Expérience en analyse et visualisation des données. Bonne maîtrise des environnements Telecom. Français et anglais requis.

Pour l'un de nos clients grand compte, nous recherchons un Ingénieur Support Applicatif spécialisé sur BALE . Vous rejoindrez une entité regroupant les départements IT en charge du développement et de l’exploitation du système d’information et des infrastructures technologiques du groupe. Cette entité a pour mission de : Fournir aux métiers et fonctions de support des outils adaptés à leurs besoins tout en garantissant un niveau de service optimal. Optimiser les dépenses IT en alignant les systèmes d’information sur les objectifs stratégiques. Offrir des prestations informatiques pour diverses entités du groupe. Maintien en condition opérationnelle du parc applicatif : Suivi quotidien des incidents, demandes et problèmes (Niveaux 1, 2 et 3). Suivi de la production applicative et gestion des changements. Assistance et conseil aux utilisateurs sur l’utilisation des systèmes applicatifs. Interaction avec les équipes IT, projets et production. Participation aux comités projets et de fonctionnement.

Principales missions - Maîtrise des outils Databricks (création de jobs, cluster, notebook) et pouvoir requêter efficacement avec SQL - Maintien en condition opérationnelle de la plateforme en production (analyse et correction d’incidents, de defects) - Développement des jobs d'ingestion et transformation data Python avec Spark sur de gros volumes de données - Fournir une vision long terme, tant opérationnelle qu’en terme de stratégie de plateforme data - Accompagner et promouvoir les bonnes pratiques - Participer aux ateliers de conception techniques et fonctionnels - Rédaction et actualisation de la documentation technique Compétences techniques recherchées dans l’ordre de priorité : - MUST o Python o Spark o SQL - SHOULD o Databricks o AWS (S3, Glue, AirFlow, Cloudwatch, Lambda, IAM) - COULD o Big DATA - WOULD o GIT Méthodologies : - CI/CD avec Gitlab - JIRA / Confluence - Scrum

Principales missions - Maîtrise des outils Databricks (création de jobs, cluster, notebook) et pouvoir requêter efficacement avec SQL - Maintien en condition opérationnelle de la plateforme en production (analyse et correction d’incidents, de defects) - Développement des jobs d'ingestion et transformation data Python avec Spark sur de gros volumes de données - Fournir une vision long terme, tant opérationnelle qu’en terme de stratégie de plateforme data - Accompagner et promouvoir les bonnes pratiques - Participer aux ateliers de conception techniques et fonctionnels - Rédaction et actualisation de la documentation technique Compétences techniques recherchées dans l’ordre de priorité : - MUST o Python o Spark o SQL - SHOULD o Databricks o AWS (S3, Glue, AirFlow, Cloudwatch, Lambda, IAM) - COULD o Big DATA - WOULD o GIT Méthodologies : - CI/CD avec Gitlab - JIRA / Confluence - Scrum

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

Compétences techniques nécessaires • Linux (RedHat 8), Shell scripting • Security (LDAP, Kerberos, SSL, IDM) • Cloudera, HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, Nifi • Centreon, Ansible • Python et Scala sur environnement distribué. • SQL • Maitrise des systèmes d'informations et logiciels (outils bureautiques courants, SharePoint, Power BI, etc.) Soft skills : • Communiquer efficacement (ex : présentation des incidents en Comité de Pilotage Big Data). La mission se fait en relation avec les utilisateurs métiers et en interaction avec l'équipe des administrateurs et des data Engineers de la plateforme. Il est donc essentiel que les communications soient les plus fluides possibles, • Aimer travailler en équipe, • Être réactif et autonome, • Dialoguer avec aisance pour coordonner les intervenants sur des domaines techniques différents, • Esprit de synthèse pour rédiger des documentations utilisateur facilement utilisables et en minimisant les erreurs sur le contenu. Avril 2025 -> prestation pour 3 mois, renouvelable 2 fois – total 9 mois jusqu'à fin d'année 2025 Anglais : N/A + de 6 ans d'expérience Lieu : Villaroches (77) TT : à définir

Almatek recherche pour l'un de ses clients, un Cloud Data Engineer Azure ou AWS sur Paris/ Grenoble. Descriptif: Le client cherche un ingénieur en données cloud qui pourra contribuer au développement de sa plateforme IA, utilisée par ses parties prenantes internes pour concevoir et déployer des cas d'utilisation de l'IA pour ses offres externes et ses fonctions internes. Nous recherchons une personne ayant une formation en ingénierie des données et qui a expérimenté les plateformes cloud. Il/elle doit être aguerri à la résolution de problèmes métiers et techniques complexes en appliquant les meilleures pratiques d'ingénierie, de qualité et de sécurité dans le contexte du développement et de l'intégration de logiciels d'IA. Notre plateforme d'IA est construite sur les fournisseurs de cloud Azure et AWS, et utilise également des solutions tierces telles que Databricks. Attendus : Expérience : entre 2 & 5 ans Background data engineering Bonne connaissance du langage Python Connaissance langage Spark Bonne connaissance d'au moins l'une des 2 plateformes cloud : Azure ou AWS Familier avec les outils de CI/CD et infrastructure as code La connaissance de Databricks est un plus Environnement technique : Langages : Python, Spark Plateformes cloud : Microsoft Azure, AWS Outils: Kubernetes, Databricks, Docker, Spark, OpenDataSoft, actions Github, Terraform. Compétence linguistique : Anglais