Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Au sein du Pôle Administration & Transition (ATR) de la Direction des Opérations (DOP), l'administrateur applicatif Big Data sénior interviendra en tant qu’administrateur des applications du client. Veuillez noter que la durée du bon de commande mentionnée est estimative. Elle est sujette à ajustement en fonction des besoins et des évolutions du projet. Objectifs et livrables La principale mission est de participer à : La maintenance en condition opérationnelle des services applicatifs sur la base des meilleures pratiques ITIL ; La mise en œuvre de nouveaux projets pour le client. Mission complémentaire: S’assurer du bon niveau de résolution des incidents et problèmes des Middlewares. Support à la mise en œuvre des changements et des mises en production (Recette d’exploitabilité). Mise en place du Monitoring des nouveaux Middlewares. Participer avec la MOE/MOA aux évolutions des Middlewares. Identifier les impacts des évolutions Middlewares et mettre en place les actions et procédures d’exploitation associées. Rédaction des fiches d’exploitation des Middlewares. Assurer un reporting régulier auprès de son Manager. Spark :Confirmé Kafka :Confirmé Linux (RH, CentOS …) :Confirmé Cassandra :Confirmé Hadoop :Confirmé

Missions: · Développement Scala/Spark · Maîtrise de l’environnement technique (AWS Databricks, AWS S3) · Expériences sur la Qualité logicielle (revue de code ; conformité aux critères de qualité SONAR, tests automatisés) · La connaissance de Power BI (Azure) est un plus -Les compétences fonctionnelles attendues sont les suivantes : · Méthode Agile · Expérience sur des projets de technologies similaires · Connaissance du domaine Data · Expérience de travail sur des projets en équipe, (notamment savoir solliciter son écosystème au bon moment)

1 - Contexte La mission consiste à intégrer l'équipe Projets en charge de l'intégration des données de l'entreprise au sein de la plateforme Data sous le Cloud Azure afin de couvrir les besoins Big Data et BI. La personne sera intégrée dans l'équipe projet qui fonctionne dans une organisation en mode Agile. 2 - Description de la mission Nous recherchons un Data Engineer confirmé/sénior avec une forte expertise sur Azure, Databricks, Spark, Scala, Python et SQL Développement et l’implémentation de solutions Big Data Analytics Analyse du besoin, étude d'impacts et conception de la solution technique Conception et modélisation des données au niveau d'un Data Lake (format Parquet, Delta table, …) Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data Lake Développements de notebooks (ex : Databricks) de traitements avancés des données Cloud Datawarehousing (tuning, optimisation de traitements et requêtes SQL) Rédaction de documentation technique (Dossier d'Analyse Technique, release delivery note, ….) Revue de code Réalisation de tests unitaires Maintenance corrective et évolutive Livraison dans un environnement Devops, CI/CD et outils associés

Hello ! Nous c’est WEKEY ! Nous ne sommes ni une ESN ni un cabinet de recrutement. Aaah mais qui sommes-nous alors ? Pour tout savoir sur nous et votre future mission c’est par ici 😁⬇ Vous êtes Data Scientist H/F et vous recherchez une mission en freelance ? Nous avons le projet qu’il vous faut pour l'un de nos clients basé à Niort dans le secteur des assurances. CE QUI VOUS ATTEND 👀 Dans le cadre de la mission votre rôle sera : · Concevoir, développer et mettre en œuvre des modèles en utilisant des techniques avancées d'apprentissage automatique et de statistiques. · Travailler en collaboration avec les équipes métier pour comprendre les objectifs, identifier les variables clés et définir les critères de succès pour les modèles. · Collecter, nettoyer et préparer les données nécessaires à l'entraînement des modèles. · Utiliser Python et d'autres outils analytiques pour développer des scripts et des pipelines de données efficaces. · Évaluer la performance des modèles, ajuster les paramètres et effectuer des améliorations continues. · Communiquer efficacement les résultats des analyses et des modèles aux parties prenantes non techniques.

Intégrer l’équipe Move To Cloud pour réaliser la migration dans le cloud GCP. KARMA est le système de Revenue Management du groupe 100% migration cloud GCP Intégration d’une équipe de 6 personnes Présence sur site (Sophia Antipolis) obligatoire 1x par semaine. Présence sur site (Sophia Antipolis) obligatoire 3x par semaine pendant les 3 premiers mois (on boarding) Communication, leadership, autonomie, coaching Profils séniors uniquement Anglais niveau B2 Obligatoire Data engineering / Big Data Development Hadoop et Spark pour migration dans le cloud GCP

Mission : En tant que Data Scientist (H/F), vous serez en charge des missions suivantes : • Concevoir et développer les futures fonctionnalités de la plateforme sous Google Cloud Platform. • Concevoir les flux d'alimentation et les tables (structure de donnée). • Automatiser et industrialiser les flux. La stack technique : • Maîtrise des outils permettant de gérer les gros volumes de données (stockage HDFS, calcul distribué, …) via Spark. • Expérience significative dans la mise en production de solutions de ML ayant un impact à grande échelle sur les clients. • Maîtrise des pratiques de packaging ML et de mise en place des architectures AI avancées. • Maîtrise des environnements de développement sur le Cloud (ex : AWS, SageMaker, DataBricks, etc.). • Maîtrise des outils de développement : Git, Github, CI/CD, VSCode/Pycharm, Terminal. • Maîtrise de l'Anglais indispensable.

Développeur Java Sénior Vannes Langages/Frameworks utilisés pour le projet : Java 17, Spark, SpringBoot, Shell Windows, Bash Linux, Python, SQL, KAFKA, JCL Outils utilisés : Jira, Jira XRay, Artifactory, Jfrog XRay, GitLab CI/CD/CT, Postman, Ansible, ArgoCD/Kubernetes, MySQL, EGEN Java, Jira, Python, GitLab CI/CD/CT Mission : Dans le cadre d'un projet, nous recherchons un développeur Java Tâches : - Avoir une vision globale des travaux et être force de proposition dans les tâches de développement - Être un interlocuteur privilégié des développeurs de la squad pour contribuer à la bonne réalisation et au respect de l'avancement - Assurer la conception, l’intégration et le développement des projets et solutions en prenant en compte la valeur métier (Réaliser des tests unitaires et d’intégration sur les développements réalisés, Accompagner les tests fonctionnels, Préparer la mise en production avec les équipes support, gérer et maintenir la documentation fonctionnelle et technique, Interagir avec les membres des squads dans un contexte agile)" Compétences techniques requises : Langages/Frameworks utilisés pour le projet : Java 17, Spark, SpringBoot, Shell Windows, Bash Linux, Python, SQL, KAFKA, JCL Outils utilisés : Jira, Jira XRay, Artifactory, Jfrog XRay, GitLab CI/CD/CT, Postman, Ansible, ArgoCD/Kubernetes, MySQL, EGEN Modalités : - Lieu mission : Vannes - Durée : 6 mois - Déplacement : Non - Temps partiel possible : Non - Possible à distance : Télétravail à Hauteur Max de 2j/semaine

Principales missions et tâches à effectuer : Accompagnement de l’équipe OPS pour la migration vers Cloudera Data Plateform Compléter la Roadmap Architecture et la mettre en place (Rationalisation des environnements ; distribution Hadoop; Stratégie de Backup; Process d'onboarding: nouveau cas d'usage, nouvel utilisateur; Secret Management; SSSD; Refonte de l'organisation LDAP; Gestion des permissions; SSO; Haute disponibilité; Catalogue de données et de usecase …) Poursuivre et mettre en place la politique de Gouvernance DATA sur la plateforme. Assister l'équipe exploitation en cas de blocage dans le déploiement des livraisons, l'installation des outils, le debug. Soutenir les travaux de développement de pipeline de l'équipe DATA ING (choix techniques, optimisation de perfs, bonnes pratiques etc.). Technos/Outils du projet : Les outils de stockage : Hadoop, Hive, Hbase, Postgresql, Ceph Les outils de gestion de calcul distribué : Spark, Yarn Les outils de prototypage : Jupyter, Dataiku, Hue, Airflow Les outils d’alimentation : Kafka, Nifi Les outils d’affichage : Grafana, Tableau Les outils d’administration : Kerberos, Zookeeper, Solr, Ranger, Atlas, Ldap Les outils de proxyfication : Knox, HAProxy Les outils de supervision : Prometheus Les outils de configuration management : Puppet, Ansible Outil de secret management: Vault Cloud Computing: Openstack

Dans le cadre de la réalisation d'une TMA, nous recherchons pour un client un Data Engineer H/F. Les technologies majeures de la TMA sont les suivantes : Langages : Scala Python Java Frameworks : Hadoop Spark Akka BDD / gestion des données: Hbase Postgre Elastic HDFS Hive DevOps : Ambari Ansible VSTS Git Zookeeper Bonne qualité de communication irréprochable et savoir communiquer avec les métiers. Connaitre les méthodologies agile (Scrum et Kanban). Profils polyvalents car ils interviendront d’abord dans un contexte de run mais également sur de la MCO.

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Consultant BI sénior Tableau Software (H/F) à Lyon, Auvergne-Rhône-Alpes, France. Contexte : Fonctionnement : sur site à Lyon + Télétravail 50% Les missions attendues par le Consultant BI sénior Tableau Software (H/F) : Activité principale o Analyser les besoins fonctionnels et techniques o Localiser les données de production permettant de répondre au besoin o Documenter / spécifier les livrables o Développer les processus d’intégration de données o Modéliser et enrichir les datawarehouse (entrepôts de données) et les datamarts (magasins de données) o Produire des rapports ou tableaux de bords lisibles et compréhensibles par le métier, et répondant à leur besoin o Tester la qualité et la performance de ses livrables Activité secondaire o Livrer et déployer ses livrables o Participer aux revues de code o Assurer le suivi et le maintien en conditions opérationnelles de ses livrables en production Stack technique de l'équipe Informatica, Java, Tableau Server, Oracle, Cascading, Maven, Hive, CEPH, Indexima, Control-M, Git, Jenkins, Ansible, Spark, Terraform

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un Ingénieur Ingénieur DevOps / Tech Lead en Automatisation CI/CD (H/F) dans le cadre d'un projet Big Data. Description du poste : Nous recrutons pour notre client, une entreprise d'envergure en pleine transformation digitale de sa plateforme de données un(e) Ingénieur DevOps / Tech Lead en Automatisation CI/CD pour intégrer et renforcer leur équipe en charge d'une plateforme réactive et scalable. Ce rôle exigeant et transverse vise à garantir l'excellence opérationnelle, le partage des meilleures pratiques, et la fédération des équipes autour d'une vision commune des architectures réactives et systèmes distribués. Missions principales : - Support Build & Run : Assurer le support des pipelines CI/CD en build et en production, en maintenant la stabilité et en participant aux améliorations continues de la plateforme. - Évangélisation de la Plateforme : Agir en tant qu'ambassadeur(rice) de la plateforme réactive en facilitant l'onboarding des équipes, en communiquant la vision technique, et en promouvant la philosophie de l'architecture réactive (AR). - Tech Transverse : Coordonner et communiquer avec les équipes inter-squads, en proposant des architectures techniques adaptées aux besoins et en assurant une cohésion technique. - Expertise en Automatisation CI/CD : Concevoir, gérer et optimiser les pipelines d'intégration et de déploiement continus pour maximiser l'efficacité et réduire le time-to-market. - Challenge et amélioration continue : Identifier des axes d'optimisation, tant sur la plateforme que sur les processus CI/CD, en vue d'une amélioration continue. - Architectures réactives et systèmes distribués : Participer activement aux choix techniques sur les architectures réactives, les systèmes de microservices et le streaming haute performance. - Développement Scala : Intervenir dans le développement backend en Scala (Spark, Akka, Play) en apportant une expertise sur la JVM et en travaillant sur des librairies internes réutilisables. - Amélioration de la qualité et des performances : Contribuer à l'optimisation des performances de la plateforme, et au développement d'outils d'extraction/injection générique de messages multi-formats (Avro, Proto, XML, JSON). - Partage des connaissances : Organiser et participer à des meetups, en partageant les retours d'expérience, les meilleures pratiques et en formant les équipes sur les outils et méthodes DevOps. Profil recherché : - Expérience confirmée en DevOps, avec une expertise en gestion de plateformes réactives et automatisation CI/CD. - Compétences avancées en administration de GitLab, GitLab CI et Jenkins pour le support des pipelines de build et run. - Maîtrise des langages de données (Avro, Proto, XML, JSON) et de Scala, avec des connaissances en Spark, Akka, et Play. - Expérience en méthodologie DevOps et en accompagnement technique, avec des compétences en communication pour fédérer les équipes. - Compétences organisationnelles et relationnelles : Aptitude à mener des initiatives transverses, avec une approche orientée collaboration et partage de la connaissance. Compétences techniques requises : - CI/CD : Administration de GitLab et Jenkins. - Scripting et automation : Compétence avancée pour la création et la gestion de pipelines. - Langages de données : Formats Avro, Proto, XML et JSON. - Développement Backend : Expérience avec Scala et ses frameworks associés (Spark, Akka, Play). - Outils de gestion collaborative : Maîtrise de Jira et Wiki pour la gestion de projets et le suivi collaboratif. - Soft skills : Curiosité, autonomie, esprit d'initiative et capacité à résoudre des problèmes de manière proactive. Compétences additionnelles : - Capacité à identifier les processus d'industrialisation et à proposer des solutions pour une automatisation accrue. - Connaissance des systèmes distribués et des microservices. - Pratique de la veille technique pour rester à jour sur les évolutions technologiques et les tendances du secteur.

Le Bénéficiaire souhaite une prestation d'accompagnement (2,5 à 3 ans) pour assurer un service d'expertise autour de Dataiku, de Tableau et du ML/IA aux utilisateurs de la plateforme Prométhée. Cette plateforme permet aux Fonctions Centrales RISK, FINANCE et STFS de BNP Paribas de réaliser des travaux réglementaires sensibles du Groupe (stress tests bancaires, calcul du capital interne, reportings financiers, …). Elle intègre et met à disposition, avec le support d’équipes de production dédiées, les services suivants : - Cluster Hadoop CDP 7.1.9 ; - Cluster K8S ; - Service d’ingestion de données (application Java/Spark/Shell développée en interne) ; - Dataiku DSS et Automation Node (v. 12.6) comme point d’entrée du Métier sur tous les services ; - Service d’archivage de données (application Java/J2E développée en interne) ; - Dataviz via offre Tableau Groupe. Les missions de l’équipe Prométhée sont : 1. Gestion au quotidien & gouvernance de la plateforme ; 2. Maintien en conditions opérationnelles de la plateforme : a. Traitement des incidents ; b. Gestion des montées de versions des différents composants systèmes et applications, en collaboration avec les équipes de production ; c. Anticipation de la charge et planification des évolutions requises pour y faire face ; 3. Garantie de la sécurité et de la disponibilité du service : mise en place et monitoring de solutions de backup des données et des politiques de sécurité d’accès ; 4. Veille à l'évolution de la plateforme pour répondre aux nouveaux besoins métiers ; 5. Support utilisateurs sur les différents composants de la plateforme. Ce contexte exige une grande polyvalence technique et une réelle compréhension des principaux composants d'un SI (réseau, système, sécurité). La Tribe Prométhée est composée de 3 Squads de 5-6 personnes ayant chacune 1 Product Owner et 1 Tech Lead. La prestation sera réalisée au sein de la Squad Data Usage dont les principales missions sont : - d'assister les utilisateurs de Prométhée sur les outils Dataiku et Tableau ainsi que dans le choix et l'utilisation de modèles de ML/IA ; - de concevoir et d’assurer l’insertion opérationnelle de modèles de ML/IA répondant à de forts enjeux pour nos utilisateurs et pour la Banque. L’équipe est située sur le site du Millénaire 4 (Paris 19) et le rythme est de 50% de présence sur site.

NOTRE CLIENT Pionnier dans le domaine des solutions de plateforme, notre client offre une suite innovante permettant aux sociétés de transformer leur e-commerce pour accélérer leur croissance de manière durable et rentable. Depuis le début des années 2010, il accompagne les entreprises B2C et B2B en leur fournissant des technologies avancées, sécurisées et évolutives pour digitaliser leur activité, étendre leur offre via la marketplace ou le dropship, optimiser la gestion des catalogues et paiements de fournisseurs, offrir une expérience d'achat personnalisée à leurs clients, et augmenter leurs profits grâce au retail media. LES PLUS DU POSTE Intégré.e dans notre équipe Data Science, votre principale mission sera de prototyper, itérer, et mettre en production des algorithmes en collaboration avec les équipes Produit, les Data Engineers et les équipes de développement. Vos projets seront centrés sur les enjeux du catalogue Marketplace, comprenant le NLP, la Computer Vision et l'utilisation de Generative AI (LLMs customs) à grande échelle. Les sujets que vous traiterez auront un impact significatif sur leurs clients : leur ambition est d'exploiter au mieux leurs données riches et variées pour augmenter leur chiffre d'affaires, optimiser la gestion de leur marketplace et garantir la sécurité des utilisateurs et des transactions. Implémenter des algorithmes qui auront un impact visible sur plus de 500 sites e-commerce/marketplaces dans 40 pays dont certains une volumétrie très importantes (millions de produits, de clients, de commandes par an) Des techniques de pointe variées (modèles multimodaux, fine-tuning de LLM, etc.). Notre client est aujourd'hui l'un des rares acteurs français à avoir des LLM finetunés en production à grande échelle. Une vraie autonomie et responsabilité dans les projets dont vous avez ownership STACK ET OUTILS Python, Tensorflow, Pytorch, Hugging Face, Databricks, Spark, AWS (Amazon Redshift, s3, etc.), SQL, Airflow, Delta Lake. Spécifiques LLM : Autotrain, Unsloth, Galileo, LangChain, Anyscale LES MISSIONS Analyser, préparer les données, prototyper des algorithmes Les mettre en production en collaboration avec les Data Engineers et les équipes de développement Faire des dashboards afin d’illustrer la pertinence des algorithmes et de monitorer la production Présenter les résultats au weekly data science et participer aux sessions de brainstorming de l’équipe Échanger avec les autres équipes pour affiner les cas d’utilisation, l’expérience utilisateur et les modes d’intégration

1 jour sur site en Belgique Votre mission : Contribuer à l'optimisation des pipelines de données et à l'intégration de solutions innovantes dans notre infrastructure IT en tant qu'Ingénieur Microsoft Fabric. Ce que vous ferez : Améliorer l'efficacité des systèmes de gestion des données pour une prise de décision éclairée. Soutenir les équipes Data Science et DevOps avec une infrastructure fiable et évolutive. Développer des solutions pour automatiser les processus de gestion des données. Participer aux comités techniques pour recommander des améliorations. Documenter les processus et créer des guides utilisateurs. Ce que nous offrons : Une ambiance conviviale avec des collègues passionnés et professionnels. Un accompagnement par des experts et des formations continues. Autonomie dans un rôle varié, riche en opportunités d'apprentissage. Des outils et technologies de pointe. Un accompagnement personnalisé pour votre développement de carrière. Flexibilité avec des options de télétravail et un package salarial attractif. Un environnement de travail dynamique, axé sur l'innovation et le bien-être, avec des activités ludiques comme des food trucks et des barbecues. Votre profil : Expertise en gestion de données avec Microsoft Fabric et Azure. Bonne maîtrise des pipelines de données et de l'intégration continue. Connaissance de Python ou Spark, ainsi que des outils comme Power BI. Expérience avec les services cloud Azure et la sécurité des données. Certification DP600 préférée. Bilingue FR/EN avec un esprit analytique et proactif. Si vous êtes prêt à relever ce défi, n’hésitez pas à postuler !

ROLE BASE A NANTES Dans le cadre du programme DATA/IA et d'une réorganisation d'activité entre les départements DDL et ADS autour de la gestion du lac de données et des produits associés, nous recherchons, au sein de notre département Agence Data Service, un Data ingénieur / Administrateur DataIku pour renforcer notre équipe en gestion du DATALAB. Vous viendrez compléter l'équipe en place composée d'un PO et d'un admin Dataiku pour prendre part aux activités suivantes : - Administration de la plateforme Dataiku DSS - Support aux utilisateurs et accompagner les équipes dans la mise en place de leur projets et des bonnes pratiques associées. - Relations avec l'éditeur pour cadrer et participer aux chantiers techniques, optimiser l'architecture du produit. - Participer à la construction d'une offre de service autour d'une plateforme DATA/IA fédérée. Activités Principales : Administration de la Plateforme DataIku ------------------------------------------------------- Configuration et gestion des environnements de production et de développement. Surveillance des performances de la plateforme et mise en œuvre de mesures d'optimisation. Gestion des utilisateurs, des permissions et des rôles sur DataIku. Maintenance des mises à jour et des correctifs de la plateforme. ------------------------------------ Ingénierie des Données : Conception et développement de pipelines de données robustes et évolutifs. Intégration de diverses sources de données (bases de données SQL/NoSQL, API, fichiers plats, etc.). Nettoyage, transformation et enrichissement des données pour les rendre exploitables. Automatisation des processus de traitement de données. ----------------------------------------- Compétences indispensables : Très bonne connaissance de la plateforme DataIku (administration, configuration, optimisation). Connaissance des principes DevOps et des outils CI/CD (Jenkins, Docker). Solides compétences en SQL et Python pour la manipulation des données. Expérience avec les technologies de Big Data (Hadoop, Spark, etc.). Connaissance des bases de données relationnelles et NoSQL. Capacité à concevoir et développer des pipelines de données automatisés.

En bref : Ingénieur Databricks (h/f) - Photovoltaïque - Montpellier (34) - CDI - Rémunération : 50-60KEUR fixe Adsearch, cabinet de recrutement spécialisé dans l'IT, recrute pour son client final leader dans le solaire photovoltaïque un Ingénieur Databricks (h/f). Au sein de la Digital Factory vous intégrez léquipe Build composée de 6 personnes. Votre rôle est de définir et concevoir les solutions afin de gérer le DataWarehouse. Vos missions : Participer aux choix des technologies de récupération et de traitement des données Gérer le DataWarehouse Travailler en collaboration avec léquipe Data Maintenir les solutions en place et développer de nouvelles solutions Technologies utilisées : Spark, Databricks, Python, Azure, Fast API, Power BI, Github,... Adsearch vous propose des milliers d''opportunités de carrières dans toute la France pour les profils d''experts, cadres et managers. Que ce soit pour un emploi ou pour une mission, Adsearch c''est le cabinet de recrutement qu''il vous faut ! Retrouvez toutes nos offres d'emploi en CDI, CDD, Intérim et Freelance sur notre site internet !