Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Objet de la prestation Nous recherchons Un Data Engineer expérimenté H/F pour accompagner la mise en production de "data products" sur une plateforme d'analytics Databricks. Le candidat idéal aura un profil de développeur Python orienté data avec une expérience sur le traitement de grande volumétrie de données. Le candidat devra être capable d’intéragir avec des datascientists et avoir une bonne compréhension des principes algorithmiques. Le travail consiste, entre autre, à reprendre et industrialiser des preuves de concept (PoCs) développées par notre centre de recherche et de les déployer sur la plateforme Databricks. Activités · Participer avec l’équipe technique à la mise en place de la gouvernance de la platforme · Collaborer (en anglais) avec les chercheurs pour comprendre les algorithmes existants · Implémenter les pipelines d’ingestion de données brut · Implémenter et optimiser les algorithmes de traitement en pyspark · Suivre les jobs en production

En tant que Senior Data Engineer Azure, vous jouerez un rôle clé dans la conception, l'implémentation et l'optimisation des solutions de données cloud. Vous travaillerez en étroite collaboration avec les équipes de développement, les data scientists et les analystes pour construire et maintenir une architecture de données robuste et scalable. Concevoir et développer des pipelines de données sur la plateforme Azure en utilisant des technologies telles qu’Azure Data Factory, Databricks, Synapse, etc. Garantir la qualité, la sécurité et la gouvernance des données. Optimiser les performances des bases de données et des entrepôts de données. Collaborer avec les équipes métiers pour comprendre les besoins en données et concevoir des solutions adaptées. Assurer la maintenance, la supervision et le monitoring des pipelines et des flux de données. Réaliser des audits techniques et des revues de code pour garantir les bonnes pratiques en matière de développement de données. Assurer une veille technologique et recommander des évolutions architecturales et technologiques.

Les ingénieurs data de l’équipe ont deux missions principales : a. Maintien en condition opérationnelle de la plateforme : Assurer la disponibilité des données et des services de la plateforme Communiquer avec les utilisateurs de la plateforme Répondre aux demandes de données ad hoc ou à l'analyse des anomalies Développer des correctifs et des évolutions de la plateforme Contribuer à la qualité des données et à l’industrialisation de la plateforme b. Conception et développement de services et de pipelines de données performants et fiables : Mettre en place des flux d’acquisition et d’exportation de données Effectuer des modélisations de données Développer des pipelines de transformation Réaliser les tests unitaires et d'intégration Veiller à la qualité des développements et au respect des standards via les revues de code Gérer les dépendances entre les traitements et les ordonnancer Réaliser les déploiements dans tous les environnements Maintenir et enrichir la documentation de la plateforme

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : Un Tech-Lead/Dév Data AWS (H/F) Un profil senior (10+ ans d’expérience) est recherché pour le département Solutions Data (Data Engineering) La mission consistera à : Conception et Développement : Participer au design technique des solutions logicielles et à la recherche de solutions techniques. Prendre en charge une partie des développements. Encadrement et Qualité : Accompagner les autres développeurs (coaching, optimisation de code). Collaborer avec l'architecte data pour l'intégration dans le SI. Assurer la qualité des produits logiciels.

la prestation consiste à : Ø Maintenir l’architecture Big Data en utilisant les dernières technologies ad-hoc Ø Participer à l’industrialisation, au déploiement, au maintien des clusters Cloudera existants (Cloudera Manager, HDFS, Yarn, Hive, Ranger, Nifi, Kerberos) Ø Mettre en place les nouveaux outils que notre SI souhaite explorer: Kafka, Iceberg, Impala … Ø Participer à l’exploitation quotidienne des plateformes (vérifier la santé des clusters, mettre à jours mensuellement les serveurs) Ø Gérer la sécurité et l’accès aux clusters Ø Monitorer les plateformes et communiquer sur les besoins futurs Ø Apporter un support technique aux équipes de développement (Data Engineers / Data Scientists) Ø Mener les réflexions sur les évolutions à apporter aux plateformes

Ce que tu recherches : Evoluer au sein d’une équipe dynamique Participer à des projets innovants et d’envergure Relever des défis Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi. Au sein d’acteurs majeurs du secteur Banque, Assurance, Retail ou Médias et service, tu participeras à des projets d’envergure, de refonte, de migration, et / ou à des évolutions majeures du SI du client : Analyse des besoins, tu feras Spécifications techniques, tu rédigeras L'architecture et/ou le socle technique, tu définiras Bonnes pratiques, tu instaureras De nouvelles fonctionnalités, tu développeras Zéro bug, tu laisseras Ton équipe, tu accompagneras Aux instances de pilotage, tu participeras

Ingénieur MLOPS Montpellier Senior DevOps : Maîtrise de GitHub, Docker, Kubernetes. Outils : MLFlow, Expérience avec Airflow. Plateformes : Connaissance de Spark (Databricks) ou GCP (Vertex AI), AWS, . Langages : Excellente maîtrise de Python et Scala. Pré embauche sous 1 an de mission ASAP Vos principales responsabilités : Concevoir et développer des solutions logicielles pour l'IA et la gestion des flux de données. Proposer et implémenter des stratégies novatrices pour l'extraction, le traitement et l'analyse de l'information. Assurer le déploiement, le test et la maintenance des solutions MLOps. Vous serez également en charge de : Participer aux rituels de gestion de projet (Agile ou cycle en V). Rédiger de la documentation technique détaillée. Réaliser une veille technologique proactive autour des données et de leur traitement. Votre profil : Formation : Diplôme d'Ingénieur ou équivalent (Bac+5) en sciences ou informatique. Expérience : Expertise avérée sur des projets en data & IA, avec une forte inclinaison pour le développement et une culture solide en data et DevOps. Compétences Techniques : DevOps : Maîtrise de GitHub, Docker, Kubernetes. Outils : MLFlow, Expérience avec Airflow. Plateformes : Connaissance de Spark (Databricks) ou GCP (Vertex AI), AWS, . Langages : Excellente maîtrise de Python et Scala. Qualités Personnelles : Esprit d'équipe, passion pour la data, autonomie et capacité d'adaptation.

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

Nous recherchons pour un leader dans le secteur bancaire, un Data Engineer SQL expérimenté pour une équipe chargée de la maintenance des flux de données du projet INDIXIS. Ce rôle requiert une expertise en SQL Server et un solide sens du support technique, avec des responsabilités de maintenance évolutive, d’optimisation, et de support niveau 2. Vous intégrerez une équipe internationale dans un environnement Agile/Kanban. Missions : Assurer la maintenance et l'évolution des flux de données pour le Global Market, incluant la migration vers Windows 11. Modéliser et optimiser les bases de données SQL Server, en utilisant T-SQL. Gérer l’ ordonnancement des traitements de données avec CtrlM, et intervenir pour le support niveau 2. Participer activement aux rituels Agile/Kanban, en collaboration avec des équipes basées à Paris et Porto. Rédiger des documentations techniques et réaliser des tests unitaires pour garantir la qualité des solutions.

Les principales activités de la prestations sont: Construction d’offres DATA : • Packaging des nouvelles offres dans un environnement Kubernetes • L’automatisation, l’industrialisation et la documentation des solutions • L’intégration dans les offres de solutions de monitoring, alerting, gestion de droits • Assurer le RUN des solutions • Veille technologique autour de la Data: réalisation de POC, tests de performances et comparaison de solutions. Adaptions d’offres DATA existantes pour les intégrer dans l’environnement client : • Qualification des offres afin de mesurer leur niveau de maturité • L’intégration des offres Data de CA-GIP dans le SI client • L’intégration dans les offres de solutions de monitoring, alerting, gestion de droits Rôle de conseil expert : • Intervenir en assistance/expertises auprès de nos clients, obtenir leurs retours et comprendre leurs exigences • Evaluer les tendances du marché. Utiliser ces informations pour définir une vision du produit, cohérente avec la stratégie de l'entreprise, et déterminer les roadmaps a suivre • En lien avec les architectes, identifier la meilleur solution pour répondre au besoin client • Préparer la mise en place du produit en présentant sa valeur, et des démonstrations • Définir et documenter les patterns d’usage

Il met en avant ses qualités pour mener à bien ses missions : o Autonomie, rigueur et force de proposition o Capacités d'analyse et de synthèse. o Esprit d’équipe 4 à 5 années d'expérience sont attendues sur le rôle au minimum. Expertise Spark, quelque soit le langage de prédilection (Java, Scala, Python). Défini/challenge les solutions et architectures techniques permettant le traitement de volumes importants de pipelines de données suffisamment sécurisés et lisibles Intervient auprès des architectes et urbanistes pour la préparation des dossiers techniques Anime les équipes Data sur toutes les étapes du traitement de la donnée Assure la bonne prise en compte des recommandations du CTO Nex’Us Maîtrise des solutions de stockage de données Maîtrise des technologies du Big Data permettant le traitement et la manipulation de données Maîtrise des outils de gestion de code et de déploiement projet Maitrise des fondamentaux de l’agilité Maîtrise des solutions de stockage de données Maîtrise avancée des langages structurés Maîtrise avancée des technologies du Big Data permettant le traitement et la manipulation de données Expertise Spark Oracle

Vos missions : Cadrage des projets : Collaborer à la définition des objectifs et à la collecte des besoins utilisateurs. Développement et tests : Participer à la création et à l’évaluation de solutions pour le traitement de grandes quantités de données et l’implémentation de modèles de machine learning. Intégration continue : Mettre en œuvre des pratiques d’intégration continue pour assurer une livraison fluide et régulière du code. Résolution de problématiques techniques : Travailler sur l’optimisation des performances des traitements distribués, ainsi que sur la sécurité et la résilience des applications. Création de dashboards : Contribuer à la conception et au développement de tableaux de bord pour la visualisation des données techniques et fonctionnelles, facilitant le monitoring des systèmes.

Ingénieur MLOPS Montpellier Senior DevOps : Maîtrise de GitHub, Docker, Kubernetes. Outils : MLFlow, Expérience avec Airflow. Plateformes : Connaissance de Spark (Databricks) ou GCP (Vertex AI), AWS, . Langages : Excellente maîtrise de Python et Scala. Pré embauche sous 1 an de mission ASAP Vos principales responsabilités : Concevoir et développer des solutions logicielles pour l'IA et la gestion des flux de données. Proposer et implémenter des stratégies novatrices pour l'extraction, le traitement et l'analyse de l'information. Assurer le déploiement, le test et la maintenance des solutions MLOps. Vous serez également en charge de : Participer aux rituels de gestion de projet (Agile ou cycle en V). Rédiger de la documentation technique détaillée. Réaliser une veille technologique proactive autour des données et de leur traitement. Votre profil : Formation : Diplôme d'Ingénieur ou équivalent (Bac+5) en sciences ou informatique. Expérience : Expertise avérée sur des projets en data & IA, avec une forte inclinaison pour le développement et une culture solide en data et DevOps. Compétences Techniques : DevOps : Maîtrise de GitHub, Docker, Kubernetes. Outils : MLFlow, Expérience avec Airflow. Plateformes : Connaissance de Spark (Databricks) ou GCP (Vertex AI), AWS, . Langages : Excellente maîtrise de Python et Scala. Qualités Personnelles : Esprit d'équipe, passion pour la data, autonomie et capacité d'adaptation.

Dans le cadre de la croissance rapide de HEXATEAM, nous renforçons notre équipe technique en intégrant de nouveaux talents capables d’accompagner notre transition et expansion dans l’univers du Big Data . Nous cherchons actuellement des Architecte Data Engineer AWS pour concevoir, évoluer et maintenir nos plateformes data sur le cloud AWS. En tant qu'Architecte Data Engineer AWS, vous jouerez un rôle clé dans la conception, le développement, l’optimisation et la maintenance des pipelines de données pour répondre aux besoins de nos clients et assurer la robustesse de notre infrastructure Data. Conception et Gestion de Databricks : Création et gestion de clusters , jobs , et notebooks dans Databricks. Utilisation avancée de SQL pour créer des requêtes performantes et gérer de grandes bases de données. Maintien en condition opérationnelle : Analyser, corriger et prévenir les incidents et les défauts de la plateforme data en production. Assurer la stabilité et la disponibilité de la plateforme. Développement de pipelines d'ingestion et de transformation des données : Utilisation de Python avec Apache Spark pour traiter de grands volumes de données. Conception de jobs d’ingestion automatisés et performants. Stratégie à long terme : Proposer et implémenter une vision stratégique pour le développement de la plateforme Data. Travailler en collaboration avec les équipes pour définir la feuille de route technique à long terme. Accompagnement et diffusion des bonnes pratiques : Promouvoir les standards de qualité dans l'équipe. Accompagner les équipes dans l’adoption des bonnes pratiques en termes de développement et de gestion des données. Participation aux ateliers de conception techniques et fonctionnels : Collaborer avec les équipes de développement et de produit pour concevoir des solutions adaptées aux besoins métiers. Documentation technique : Rédiger et maintenir à jour la documentation technique des projets en cours. Indispensable : Langages : Python, SQL Big Data Framework : Apache Spark Outils : Databricks Cloud AWS : Expérience avec les services AWS (S3, Glue, Lambda, Airflow, CloudWatch, IAM) Versioning : Git Méthodologies : Travail en Agile , principalement en mode Scrum Suivi de projet : Expérience avec JIRA et Confluence Souhaité (plus) : CI/CD : Connaissance et utilisation de GitLab pour l’intégration et le déploiement continus. Outils Big Data : Expérience dans la gestion de grands volumes de données . Expérience en CI/CD avec des pratiques avancées d'automatisation.

Au sein du Pôle Administration & Transition (ATR) de la Direction des Opérations (DOP), l'administrateur applicatif Big Data sénior interviendra en tant qu’administrateur des applications du client. Veuillez noter que la durée du bon de commande mentionnée est estimative. Elle est sujette à ajustement en fonction des besoins et des évolutions du projet. Objectifs et livrables La principale mission est de participer à : La maintenance en condition opérationnelle des services applicatifs sur la base des meilleures pratiques ITIL ; La mise en œuvre de nouveaux projets pour le client. Mission complémentaire: S’assurer du bon niveau de résolution des incidents et problèmes des Middlewares. Support à la mise en œuvre des changements et des mises en production (Recette d’exploitabilité). Mise en place du Monitoring des nouveaux Middlewares. Participer avec la MOE/MOA aux évolutions des Middlewares. Identifier les impacts des évolutions Middlewares et mettre en place les actions et procédures d’exploitation associées. Rédaction des fiches d’exploitation des Middlewares. Assurer un reporting régulier auprès de son Manager. Spark :Confirmé Kafka :Confirmé Linux (RH, CentOS …) :Confirmé Cassandra :Confirmé Hadoop :Confirmé