Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming

Les principales activités de la prestations sont: Construction d’offres DATA : • Packaging des nouvelles offres dans un environnement Kubernetes • L’automatisation, l’industrialisation et la documentation des solutions • L’intégration dans les offres de solutions de monitoring, alerting, gestion de droits • Assurer le RUN des solutions • Veille technologique autour de la Data: réalisation de POC, tests de performances et comparaison de solutions. Adaptions d’offres DATA existantes pour les intégrer dans l’environnement client : • Qualification des offres afin de mesurer leur niveau de maturité • L’intégration des offres Data de CA-GIP dans le SI client • L’intégration dans les offres de solutions de monitoring, alerting, gestion de droits Rôle de conseil expert : • Intervenir en assistance/expertises auprès de nos clients, obtenir leurs retours et comprendre leurs exigences • Evaluer les tendances du marché. Utiliser ces informations pour définir une vision du produit, cohérente avec la stratégie de l'entreprise, et déterminer les roadmaps a suivre • En lien avec les architectes, identifier la meilleur solution pour répondre au besoin client • Préparer la mise en place du produit en présentant sa valeur, et des démonstrations • Définir et documenter les patterns d’usage

Dans ce cadre, la prestation consiste à contribuer à/au(x) : - Développement de traitements Spark/Scala - Revue de code et re-factoring - Traitement d'un gros volume de données - Développement sur un pipeline CICD - Respect des normes de développements Environnement technique: - Framework Spark - Langage scala - ETL Talend - Talend for BIG DATA - Méthode agile : Scrum - GIT - Ecosystème Hadoop Cloudera Les livrables attendus sont les suivants : - Documentation - Nouvelle version applicativ Cadre international.

Nous recherchons un Expert Big Data (Spark) pour rejoindre notre équipe et apporter son expertise dans le traitement et la manipulation de données massives. En tant que tel, vous aurez pour missions principales : Apporter votre expertise en Big Data, en particulier sur Spark D éfinir et évaluer des solutions techniques permettant de traiter de grands volumes de données, tout en garantissant des pipelines sécurisés et clairs. Intervenir auprès des architectes et urbanistes pour la préparation des dossiers techniques. Mettre en place et maintenir des solutions de stockage de données (SQL, NoSQL, etc.), en veillant à leur efficacité. Proposer des optimisations des requêtes SQL, PL/SQL pour garantir les meilleures performances applicatives. Piloter et encadrer les équipes à chaque étape du processus de traitement des données. Partager les meilleures pratiques avec les équipes et assurer un accompagnement technique transverse. Big Data : Spark, Hive, Indexima. Stockage : Oracle, CEPH S3 (parquet). Langages : Java, Python, PL/SQL, Shell. CI/CD : Ansible, Terraform, Jenkins, GIT. ETL : Informatica. Dataviz : Tableau Server. Ordonnanceur : Control-M.

Ingénieur MLOPS Montpellier Senior DevOps : Maîtrise de GitHub, Docker, Kubernetes. Outils : MLFlow, Expérience avec Airflow. Plateformes : Connaissance de Spark (Databricks) ou GCP (Vertex AI), AWS, . Langages : Excellente maîtrise de Python et Scala. Pré embauche sous 1 an de mission ASAP Vos principales responsabilités : Concevoir et développer des solutions logicielles pour l'IA et la gestion des flux de données. Proposer et implémenter des stratégies novatrices pour l'extraction, le traitement et l'analyse de l'information. Assurer le déploiement, le test et la maintenance des solutions MLOps. Vous serez également en charge de : Participer aux rituels de gestion de projet (Agile ou cycle en V). Rédiger de la documentation technique détaillée. Réaliser une veille technologique proactive autour des données et de leur traitement. Votre profil : Formation : Diplôme d'Ingénieur ou équivalent (Bac+5) en sciences ou informatique. Expérience : Expertise avérée sur des projets en data & IA, avec une forte inclinaison pour le développement et une culture solide en data et DevOps. Compétences Techniques : DevOps : Maîtrise de GitHub, Docker, Kubernetes. Outils : MLFlow, Expérience avec Airflow. Plateformes : Connaissance de Spark (Databricks) ou GCP (Vertex AI), AWS, . Langages : Excellente maîtrise de Python et Scala. Qualités Personnelles : Esprit d'équipe, passion pour la data, autonomie et capacité d'adaptation.

- Intégrer des données provenant de sources externes et exploiter pleinement le Datalake. - Générer et diffuser automatiquement des agrégats quotidiens, hebdomadaires et mensuels. - Mettre en place la chaîne complète d'ingestion, validation, croisement et stockage des données enrichies dans le Datalake. - Respecter les normes d'architecture définies lors du développement. - Documenter les user stories en collaboration avec le PO - Créer des scripts de déploiement et prioriser la résolution des anomalies. - Soutenir les équipes d'exploitation et contribuer à l'implémentation de la chaîne de livraison continue. - Automatiser les tests fonctionnels.

Vos missions : Cadrage des projets : Collaborer à la définition des objectifs et à la collecte des besoins utilisateurs. Développement et tests : Participer à la création et à l’évaluation de solutions pour le traitement de grandes quantités de données et l’implémentation de modèles de machine learning. Intégration continue : Mettre en œuvre des pratiques d’intégration continue pour assurer une livraison fluide et régulière du code. Résolution de problématiques techniques : Travailler sur l’optimisation des performances des traitements distribués, ainsi que sur la sécurité et la résilience des applications. Création de dashboards : Contribuer à la conception et au développement de tableaux de bord pour la visualisation des données techniques et fonctionnelles, facilitant le monitoring des systèmes.

Nous recherchons un développeur Big Data avec un compétence sur l'environnement opensource Delta Lake pour une mission de longue durée à Vélizy. La Prestation s’effectuera au sein de l’équipe « IS Data Factory » du client qui est composée Data Engineer et de Data Architect. Les personnes sont basées entre Vélizy, Boston (USA) et Pune (Inde) Les données sont principalement gérées au sein - D’un datawarehouse d’entreprise organisé autour de plusieurs instances de base de données ORACLE - D’un Datalake s’appuyant sur l’offre cloudera on premise L’équipe est en charge des évolutions, du support et de la maintenance du datawarehouse. Dans ce contexte, la prestation consiste à intervenir sur le POC (Proof of concept) en étroite collaboration avec l’administrateur du Data Lakehouse et à mettre en œuvre et valider l’infrastructure de plateforme de données. Dans ce cadre, le Prestataire contribuera et aura la responsabilité de la conception et du développement d'un POC pour un Data Lakehouse ouvert en utilisant les dernières technologies (Delta Lake, Cloudera, NoSQL, NiFi, DBT, Superset, etc.) pour répondre aux exigences de l’entreprise, L’intégration des données : o Mise en œuvre des pipelines d’ingestion et d’intégration de données à partir de diverses sources tout en s’assurant la qualité et la cohérence des données. o Développement et optimisation des processus ETL/ELT pour soutenir les besoins de data warehousing et d’analyse. o Analyse et optimisation de la performance des flux de données et des requêtes. o Création et maintenance de documents techniques sur les pipelines de données, o Rester à jour avec les technologies émergentes et les meilleures pratiques pour améliorer continuellement la plateforme de données.

Il met en avant ses qualités pour mener à bien ses missions : o Autonomie, rigueur et force de proposition o Capacités d'analyse et de synthèse. o Esprit d’équipe 4 à 5 années d'expérience sont attendues sur le rôle au minimum. Expertise Spark, quelque soit le langage de prédilection (Java, Scala, Python). Défini/challenge les solutions et architectures techniques permettant le traitement de volumes importants de pipelines de données suffisamment sécurisés et lisibles Intervient auprès des architectes et urbanistes pour la préparation des dossiers techniques Anime les équipes Data sur toutes les étapes du traitement de la donnée Assure la bonne prise en compte des recommandations du CTO Nex’Us Maîtrise des solutions de stockage de données Maîtrise des technologies du Big Data permettant le traitement et la manipulation de données Maîtrise des outils de gestion de code et de déploiement projet Maitrise des fondamentaux de l’agilité Maîtrise des solutions de stockage de données Maîtrise avancée des langages structurés Maîtrise avancée des technologies du Big Data permettant le traitement et la manipulation de données Expertise Spark Oracle

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'n Data Engineer Python/Spark. Les missions de la prestation notamment seront : Remplacement des pipelines Informatica par des pipelines spark, pyspark et python Ordonnancement : Remplacement du DAC de OBIEE par Dagster Restitution : Création de rapports sur Apache SuperSet sur la base du LakeHouse Les principales missions à mener sont : - Description des fonctionnements existants et des besoins couverts, - Développement d’une solution de collecte de données, - Développement d’un système de stockage de la donnée, - Réalisation de tests unitaires, - Mise en place d’un suivi des traitements, - Assistance à la recette par la MOA / les utilisateurs.

Ingénieur MLOPS Montpellier Senior DevOps : Maîtrise de GitHub, Docker, Kubernetes. Outils : MLFlow, Expérience avec Airflow. Plateformes : Connaissance de Spark (Databricks) ou GCP (Vertex AI), AWS, . Langages : Excellente maîtrise de Python et Scala. Pré embauche sous 1 an de mission ASAP Vos principales responsabilités : Concevoir et développer des solutions logicielles pour l'IA et la gestion des flux de données. Proposer et implémenter des stratégies novatrices pour l'extraction, le traitement et l'analyse de l'information. Assurer le déploiement, le test et la maintenance des solutions MLOps. Vous serez également en charge de : Participer aux rituels de gestion de projet (Agile ou cycle en V). Rédiger de la documentation technique détaillée. Réaliser une veille technologique proactive autour des données et de leur traitement. Votre profil : Formation : Diplôme d'Ingénieur ou équivalent (Bac+5) en sciences ou informatique. Expérience : Expertise avérée sur des projets en data & IA, avec une forte inclinaison pour le développement et une culture solide en data et DevOps. Compétences Techniques : DevOps : Maîtrise de GitHub, Docker, Kubernetes. Outils : MLFlow, Expérience avec Airflow. Plateformes : Connaissance de Spark (Databricks) ou GCP (Vertex AI), AWS, . Langages : Excellente maîtrise de Python et Scala. Qualités Personnelles : Esprit d'équipe, passion pour la data, autonomie et capacité d'adaptation.

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un Dévelopeur Java et Scala (H/F) dans le cadre d'un projet Big Data. Contexte de la Mission : Nous recherchons un Développeur Java et Scala pour rejoindre une équipe technique travaillant sur des projets Big Data dans le cadre de la transformation digitale d'un acteur majeur de la logistique pour l'intégration de systèmes et l'optimisation des flux de données. Vos missions : - Participer au développement des injecteurs et des adaptateurs en Java et Scala. - Implémenter des microservices permettant la gestion et le suivi des flux de données. - Réaliser les tests unitaires et d'intégration pour garantir la qualité des composants. - Collaborer avec les Tech Leads et les Product Owners pour garantir la bonne intégration des composants dans l'architecture globale. Profil recherché : - Expérience : Minimum 3 ans d'expérience en développement Java et Scala (maitrise obligatoire des 2 langages) dans des environnements Big Data. - Compétences techniques : - Langages : Java , Scala - Big Data : Kafka, Spark Streaming - Bases de données : Cassandra, Elasticsearch - Outils DevOps : Docker, Jenkins - Capacité à travailler en équipe et bonne connaissance des méthodologies agiles (Scrum). Pourquoi nous rejoindre ? - Projet d'envergure : Participez à un projet innovant et complexe visant à transformer la logistique. - Environnement stimulant : Travaillez sur des technologies modernes avec une équipe d'experts en Big Data. - Possibilité de télétravail partiel pour favoriser un équilibre entre vie professionnelle et personnelle. Modalités de la Mission : - Durée : 6 mois (renouvelable). - Localisation : Île-de-France avec possibilité de télétravail 2 jours par semaine.

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un Dévelopeur Java/Scala (H/F) dans le cadre d'un projet Big Data. Contexte de la Mission : Nous recherchons un développeur Java/Scala pour rejoindre une équipe technique travaillant sur des projets Big Data dans le cadre de la transformation digitale d'un acteur majeur de la logistique pour l'intégration de systèmes et l'optimisation des flux de données. Vos missions : - Participer au développement des injecteurs et des adaptateurs en Java et Scala. - Implémenter des microservices permettant la gestion et le suivi des flux de données. - Réaliser les tests unitaires et d'intégration pour garantir la qualité des composants. - Collaborer avec les Tech Leads et les Product Owners pour garantir la bonne intégration des composants dans l'architecture globale. Profil recherché : - Expérience : Minimum 3 ans d'expérience en développement Java/Scala dans des environnements Big Data. - Compétences techniques : - Langages : Java, Scala - Big Data : Kafka, Spark Streaming - Bases de données : Cassandra, Elasticsearch - Outils DevOps : Docker, Jenkins - Capacité à travailler en équipe et bonne connaissance des méthodologies agiles (Scrum). Pourquoi nous rejoindre ? - Projet d'envergure : Participez à un projet innovant et complexe visant à transformer la logistique. - Environnement stimulant : Travaillez sur des technologies modernes avec une équipe d'experts en Big Data. - Possibilité de télétravail partiel pour favoriser un équilibre entre vie professionnelle et personnelle. Modalités de la Mission : - Durée : 6 mois (renouvelable). - Localisation : Île-de-France avec possibilité de télétravail 2 jours par semaine.

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un Architecte Solution Big Data (H/F) dans le cadre d'un projet Big Data. Description du poste : Nous recherchons un Architecte Solution expérimenté pour rejoindre notre équipe dédiée à la transformation digitale et aux projets Big Data dans le secteur de la logistique et de la livraison. Le candidat idéal concevra des architectures logicielles robustes et adaptatives pour des solutions de gestion de flux de données à grande échelle, contribuant à optimiser les services de suivi et de gestion d'objets de livraison. Responsabilités : - Concevoir et mettre en oeuvre des architectures système et logicielles adaptées aux besoins des projets Big Data et en ligne avec les exigences d'urbanisme. - Assurer la cohérence et l'homogénéité des solutions logicielles tout en garantissant leur évolutivité et adaptabilité. - Collaborer avec les équipes de développement pour leur communiquer les règles d'architecture et offrir un support technique. - Participer à la définition de l'architecture fonctionnelle des projets en collaboration avec les urbanistes. - Analyser et proposer des améliorations sur les architectures existantes. Compétences requises : - Expérience significative en architecture de solutions Big Data. - Maîtrise des technologies Java, Scala et de frameworks comme Spring Boot. - Connaissance des outils de traitement de flux (Kafka, Spark Streaming, Akka Streaming). - Compétences en bases de données distribuées (Cassandra, Elasticsearch). - Connaissance des environnements de déploiement Docker, Kubernetes et Jenkins. - Compétences en méthodologies agiles (Scrum) pour s'intégrer dans un contexte de développement itératif. Profil recherché : - Niveau : Sénior à Expert en architecture logicielle. - Expérience de collaboration dans un environnement agile. - Capacité à travailler en équipe, à former et guider les développeurs sur les bonnes pratiques. - Autonomie, rigueur et excellent sens de la communication. Conditions de travail : - Localisation : Issy-les-Moulineaux avec possibilité de télétravail partiel. - Disponibilité : Démarrage souhaité début décembre 2024.

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un Consultant Tech Lead Java & Scala (H/F) dans le cadre d'un projet Big Data. Contexte de la Mission : Nous recherchons actuellement 2 Tech Leads ayant une forte expertise et expérience en Java et Scala et une solide expérience dans des environnements Big Data. Vous rejoindrez une équipe dédiée au développement de solutions autour de la traçabilité des objets, de la gestion des événements, et de l'amélioration des services client dans le cadre d'un projet de transformation digitale majeur. Vos missions : - Définir l'architecture logicielle des solutions en collaboration avec l'équipe d'architectes. - Participer au développement en restant un acteur clé sur la partie technique pour maintenir votre expertise. - Accompagner et encadrer l'équipe de développeurs, en assurant la montée en compétences sur les technologies Big Data. - Garantir la qualité des livrables en effectuant des revues de code, en supervisant les tests unitaires et en optimisant les performances. - Contribuer à la veille technologique et au développement de prototypes, avec une capacité à être force de proposition sur les choix technologiques. - Collaborer étroitement avec les Product Owners, Scrum Masters, et les architectes pour garantir l'alignement de l'architecture et des développements avec les besoins métier. Profil recherché : - Expérience : Vous êtes un expert avec au moins 7 ans d'expérience professionnelle en développement Java (spring boot) et Scala (la maitrîse des 2 langages de programmation est obligatoire), ainsi qu'une expérience significative en tant que Tech Lead sur des projets complexes. - Expertise technique : - Langages : Java (spring boot), Scala - Big Data : Kafka, Spark Streaming, Akka - Bases de données : Cassandra, Elasticsearch - Déploiement : Docker, Kubernetes, Jenkins - Message Protocol : Protobuf, Avro - Compétences en leadership : Expérience dans l'encadrement et la montée en compétences des développeurs, mise en oeuvre des bonnes pratiques de développement, coaching agile. - Agilité : Bonne connaissance de la méthodologie Scrum, capable d'évoluer dans un environnement agile et d'encadrer les équipes dans ce cadre. Modalités de la Mission : - Durée : Mission de 6 mois (renouvelable selon les besoins). - Environnement de travail : Localisation en Île-de-France avec possibilité de télétravail partiel.

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un Consultant Tech Lead (H/F) dans le cadre d'un projet Big Data. Contexte de la Mission : Nous recherchons actuellement deux Tech Leads ayant une forte expertise en Java/Scala et une solide expérience dans des environnements Big Data. Vous rejoindrez une équipe dédiée au développement de solutions autour de la traçabilité des objets, de la gestion des événements, et de l'amélioration des services client dans le cadre d'un projet de transformation digitale majeur. Vos missions : - Définir l'architecture logicielle des solutions en collaboration avec l'équipe d'architectes. - Participer au développement en restant un acteur clé sur la partie technique pour maintenir votre expertise. - Accompagner et encadrer l'équipe de développeurs, en assurant la montée en compétences sur les technologies Big Data. - Garantir la qualité des livrables en effectuant des revues de code, en supervisant les tests unitaires et en optimisant les performances. - Contribuer à la veille technologique et au développement de prototypes, avec une capacité à être force de proposition sur les choix technologiques. - Collaborer étroitement avec les Product Owners, Scrum Masters, et les architectes pour garantir l'alignement de l'architecture et des développements avec les besoins métier. Profil recherché : - Expérience : Vous êtes un expert avec au moins 7 ans d'expérience professionnelle en développement Java et Scala, ainsi qu'une expérience significative en tant que Tech Lead sur des projets complexes. - Expertise technique : - Langages : Java, Scala (Spring Boot) - Big Data : Kafka, Spark Streaming, Akka - Bases de données : Cassandra, Elasticsearch - Déploiement : Docker, Kubernetes, Jenkins - Message Protocol : Protobuf, Avro - Compétences en leadership : Expérience dans l'encadrement et la montée en compétences des développeurs, mise en oeuvre des bonnes pratiques de développement, coaching agile. - Agilité : Bonne connaissance de la méthodologie Scrum, capable d'évoluer dans un environnement agile et d'encadrer les équipes dans ce cadre. Modalités de la Mission : - Durée : Mission de 6 mois (renouvelable selon les besoins). - Environnement de travail : Localisation en Île-de-France avec possibilité de télétravail partiel.

Spécialisé dans le secteur bancaire, l'entreprise recherche un Expert Data Engineer Kafka pour renforcer ses effectifs. . Le rôle consiste à mettre en œuvre des solutions de streaming de données à grande échelle et en temps réel pour répondre aux besoins des différents départements métiers et améliorer la prise de décision grâce à une infrastructure de données solide, évolutive et performante. Architecture et conception : Concevoir et développer des pipelines de données en streaming avec Apache Kafka pour gérer des volumes de données élevés en temps réel. Participer à la définition de l’architecture de la plateforme Kafka et de ses composants (brokers, zookeepers, clusters). Développement de flux de données : Créer, configurer, et maintenir des topics Kafka , des streams et des connecteurs Kafka pour assurer l’ingestion, la transformation et la livraison des données aux consommateurs en temps réel. Optimisation des performances : Surveiller et ajuster les configurations pour optimiser la latence et le débit des flux de données en streaming. Mettre en place des processus de mise à l’échelle et de gestion des performances pour maintenir un haut niveau de fiabilité. Sécurité et conformité : Mettre en œuvre des mesures de sécurité et de gouvernance des données pour protéger les flux de données Kafka en conformité avec les exigences internes et réglementaires (authentification, contrôle d’accès, chiffrement des données en transit). Innovation continue : Mener une veille technologique active sur les évolutions d'Apache Kafka et les nouvelles technologies de streaming, telles que Apache Flink , Kafka Streams , ksqlDB , afin d’améliorer continuellement l’écosystème de données. Maîtrise de Kafka : Expertise approfondie sur Apache Kafka , avec une expérience dans l’implémentation, l’optimisation et le maintien de clusters Kafka en environnement de production. Compétences en programmation : Compétences en Java , Scala , et/ou Python pour la création de flux de données et l’intégration de Kafka avec d’autres systèmes. Traitement des données en temps réel : Connaissance des frameworks de traitement en temps réel et streaming, tels que Apache Flink , Kafka Streams , et Spark Streaming . Architecture de données distribuées : Solide compréhension des architectures de données distribuées, de la gestion des clusters et de l’optimisation des performances des systèmes de streaming. Sécurité des données : Maîtrise des pratiques de sécurité des données, y compris le chiffrement, l'authentification (SASL, SSL) et le contrôle d’accès (ACL) dans les systèmes Kafka. Environnement cloud : Expérience avec les environnements cloud (AWS, GCP, Azure) et familiarité avec les services Kafka managés comme Confluent Cloud ou Amazon MSK . Compétences en DevOps : Connaissance des outils DevOps tels que Docker , Kubernetes , et Terraform pour le déploiement, l’orchestration, et la gestion des clusters Kafka.