Trouvez votre prochaine mission ou futur job IT.

Dans le cadre de la croissance de HEXATEAM, nous sommes en quête permanente de nouveaux talents pour renforcer nos équipes. Nous cherchons actuellement deux profils Data Engineer AWS. Maîtrise des outils Databricks : Création et gestion de jobs, clusters et notebooks, ainsi que l'utilisation avancée de SQL pour effectuer des requêtes efficaces. Maintien en condition opérationnelle de la plateforme en production : Analyse et correction d'incidents et de défauts. Développement de jobs d'ingestion et de transformation des données : Utilisation de Python avec Spark pour traiter de grands volumes de données. Fourniture d'une vision à long terme : Proposition d'une stratégie opérationnelle et de développement de la plateforme data. Accompagnement et promotion des bonnes pratiques : Garantir la diffusion et l'application des standards de qualité. Participation aux ateliers de conception techniques et fonctionnels : Collaboration avec les équipes pour concevoir des solutions adaptées aux besoins. Rédaction et mise à jour de la documentation technique : Veiller à la documentation et à sa mise à jour continue. Indispensable : Python Spark SQL Databricks AWS (S3, Glue, AirFlow, Cloudwatch, Lambda, IAM) GIT COULD : Big Data CI/CD : Utilisation de GitLab pour l'intégration et le déploiement continus. Outils de gestion de projets : JIRA et Confluence pour le suivi et la documentation. Méthodologie Agile : Travail en mode Scrum. Bon niveau d’anglais

Nous sommes à la recherche d'un Tech lead Data et Python afin de réaliser une mission chez l'un de nos clients. En tant que tel, vous serez le garant de la conception , du développement et de l' optimisation des solutions techniques liées aux données . Votre rôle consistera à proposer et à mettre en œuvre des solutions adaptées aux enjeux des différents projets, tout en encadrant techniquement l'équipe de développement. Développement d’applications et traitements orientés data : Création et maintenance d'API, de dashboards et de pipelines pour l'analyse et la visualisation des données, principalement en Python. Maintien de la qualité logicielle : Effectuer des revues de code régulières. Promouvoir les bonnes pratiques de développement au sein de l’équipe. Garantir une qualité logicielle élevée à chaque étape du processus. Appui aux projets : Fournir une aide ponctuelle et des conseils techniques sur les différents projets en cours. Accompagner les Product Owners (PO) dans la compréhension et la priorisation des enjeux techniques. Cadrage technique des sujets : Participer activement à la définition des besoins techniques et à la planification des solutions. Industrialisation des projets et mise en place de processus efficaces. Échanges transverses avec les autres équipes : Collaborer étroitement avec les équipes transverses pour identifier les besoins communs et implémenter un cadre de travail harmonisé. Activités secondaires : Cadrage et accompagnement technique sur divers projets. Réalisation d’études data et aide à l'industrialisation de solutions. Python : FastAPI, Dash, Pandas, parallélisation, packaging, PyTest. SQL : PostgreSQL, Teradata. Spark : PySpark, Scala. Outils DevOps : Git, GitLab CI/CD.

Participation au recueil de besoin auprès des utilisateurs finaux Expérience dans la BI/Data Experience architecture Lakehouse Expérience dans le développement et l’implémentation de solutions Big Data Analytics Analyse du besoin, étude d'impacts et conception de la solution technique Conception et modélisation des données au niveau d'un Data Lake (format Parquet, Delta table, …) Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data Lake Développements de notebooks (ex : Databricks) de traitement avancé des données Conception et modélisation des données au niveau d'un DataWarehouse (SQL) Mise en place de traitement d'alimentation d'une base de données SQL (tables de faits, agrégats, procédures stockées, ..) Cloud Datawarehousing (tuning, optimisation de traitements et requêtes SQL) Rédaction de documentation technique (Dossier d'Analyse Technique, release delivery note, ….) Expérience en tant que Tech Lead Data Engineer Revue de code Réalisation de tests unitaires Maintenance corrective et évolutive Livraison dans un environnement Devops, CI/CD et outils associés Conception et Développement : Concevoir, développer et maintenir des pipelines de données performants en utilisant Apache Spark avec Scala et Python. Implémenter des solutions de traitement de données en temps réel et en batch sur des environnements cloud, notamment Azure. Développer et optimiser des requêtes SQL complexes pour le traitement et l'analyse des données. Intégration de Données : Assurer l'intégration de données provenant de sources multiples, en optimisant leur transformation et leur stockage sur des plateformes cloud comme Azure. Travailler avec des outils comme Databricks pour gérer et analyser de grands volumes de données. Optimisation des Performances : Optimiser les pipelines de données pour garantir des performances élevées, une faible latence, et une grande fiabilité. Utiliser des techniques de parallélisation et d'optimisation pour gérer des ensembles de données volumineux et complexes. Collaboration et Communication : Collaborer étroitement avec les équipes de Data Science, de BI, et d’Ingénierie pour comprendre les besoins métiers et traduire ces besoins en solutions techniques efficaces. Documenter les solutions techniques et fournir des rapports réguliers sur les performances des pipelines de données. Sécurité et Conformité : S'assurer que les solutions de traitement de données respectent les normes de sécurité et de confidentialité en vigueur. Implémenter des pratiques de gouvernance des données pour garantir la qualité et la conformité des données.

Hanson Reganis recherche actuellement un Data Engineer (Python Azure) pour travailler avec une équipe de données existante sur une gamme de nouveaux projets passionnants et essentiels à l'entreprise. 2 jours par semaine sur site à Paris sont requis pour ce poste. Les candidats devront maîtriser Python (Spark), SQL et les requêtes SQL, les technologies Azure Cloud (Data Bricks et Data Facory) et Kubernetes. En raison des exigences de nos clients, nous ne pouvons accepter que les candidatures de freelances travaillant par l'intermédiaire de leur propre entreprise française. Malheureusement, nous ne pouvons pas accepter de solutions de portage pour ce poste. Si vous êtes intéressé, veuillez nous contacter dès que possible avec un CV à jour en utilisant les coordonnées ci-dessous.

Contexte de la mission Le Client fait appel à l'expertise du prestataire pour l'équipe Datalake, au sein de l'équipe Data Hub de la Direction Technique. Technologies requises : Python, Kafka, Spark, Hbase, Hive, Hadoop, Jenkins, Ansible, Github, Scala, Python, Linux, Kube. Objectifs et livrables L’expertise technique sur le Datalake (plateforme Big Data) consistera à : · Assurer le maintien en conditions opérationnelles de la plateforme Datalake : gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux · Contribuer à l’implémentation/automatisation des solutions · Effectuer les actions de mises en production · Contribuer à l’amélioration continue des outils d’exploitation · Communication auprès des utilisateurs finaux Le Prestataire devra fournir les livrables suivants : · Récapitulatif mensuel des tickets traités (incidents, demandes de travaux) · Statut bi-mensuel sur l’avancée des projets sur lesquels il sera contributeur

Le développeur Java / Big Data intégrera une équipe d'experts Big Data dans un contexte international et aura pour missions : Participer à la conception et à l'architecture des applications, des processus et des workflows. Développement Java et Spark Amélioration et stress test sur des problèmes de performance Performance tuning des jobs Spark Code review des développements Déploiements sur Azure cloud hdi cluster et kubernetes (AKS) Tests unitaires et BDD Support production

AMAGO IT recherche dans le cadre d'une mission de longue durée chez un client GC basé en IDF 93 : Data Engineer H/F Missions : · Participation aux ateliers de conception technico-fonctionnels · Prise en charge des activités de développement · Remontée d’informations aux équipes de pilotage · Participation aux daily et autres cérémonies agiles · Chiffrage et réestimation du reste à faire au fil des développements · Développement des fonctionnalités en respectant les bonnes pratiques définies · Développement des tests automatisés · Correction des anomalies fonctionnelles et/ou techniques · Participation aux différentes communautés techniques

Dans le cadre de notre développement, nous recherchons pour un client grand compte un développeur Big Data. Les missions seront les suivantes : Mettre en production des modèles statistiques Acheminer et mettre à disposition les données pour les équipes Suivre les projets de développement Développer des jobs Spark pour le traitement des données Gérer l’ingestion de divers formats de données Concevoir et implémenter des scripts pour la collecte, le traitement et le mapping des données Développer des moyens de restitution comme des fichiers, API et tableaux de bord Concevoir des pipelines pour l'ingestion de données en streaming et en batch, ainsi que des jobs Spark pour le prétraitement et le calcul des indicateurs de performance (KPI) Développer des API pour l'ingestion et le traitement des données dans un environnement Hadoop Participer à la conception et à l'administration de solutions Big Data Installer et configurer des clusters Hadoop Développer des services en Spring Boot pour extraire des données de systèmes existants et les envoyer au Datalake via Kafka Normaliser et agréger les données pour produire des rapports de type Business View

Contrainte forte du projetFort enjeux metier Les livrables sont Package pyspark Dictionnaire / catalog de données Model de données tabulaire Compétences techniques PYTHON / PYSPARK / SPARK - Expert - Impératif Databricks/ datafactory/ azure devops - Expert - Impératif Azure Analysis Services - Expert - Impératif Integration GIT - Expert - Important Connaissances linguistiques Français Courant (Impératif) Description détaillée L'equipe Datafinance utilise actuellement une architecture basée sur Databricks, Azure Blob Storage, Azure Data Factory et Azure Analysis Services pour traiter et analyser ses données financières. Nous cherchons à optimiser les processus de traitement de ces données, en particulier le rafraîchissement des données, pour améliorer la performance et la qualité des analyses. Dans ce cadre, nous recherchons un expert en BI et Data pour une mission de 3 mois. L'objectif est d'optimiser le Temps de traitement et de rafraichissement des données. 2. Objectifs de la mission L'expert BI et Data sera chargé de : Optimiser le traitement des données du projet Data finance, en se concentrant principalement sur le processus de rafraîchissement des données entra la zone gold et le cube de données. Optimiser l'utilisation de Azure Analysis Services (modèle Tabulaire) pour les rapports et les analyses. 3. Technologies utilisées L'expert devra maîtriser les technologies suivantes : Databricks (en particulier avec PySpark). Azure Analysis Services (modèle Tabulaire). SQL . Git et Azure DevOps pour la gestion des versions et l'intégration continue. 4. Compétences requises Le candidat idéal doit posséder une expérience avérée dans les domaines suivants : Maîtrise de PySpark : pour le traitement et l'optimisation des données dans Databricks. Expertise en modélisation de données : capacité à concevoir et optimiser des modèles de données pour améliorer la performance et la gestion des données financières. Maîtrise du modèle Tabulaire dans Azure Analysis Services : pour optimiser le rafraîchissement des données et améliorer les performances des cubes. Bonne compétences en SQL 5. Livrables attendus Les livrables de la mission incluent : . Mise en œuvre des optimisations dans Databricks et Azure Analysis Services. Documentation détaillée des modifications apportées et des bonnes pratiques mises en place. Transfert de connaissances aux équipes internes pour garantir une gestion continue des processus optimisés.

Nous recherchons un informaticien scada/supervision expérimenté pour intégrer une équipe projet pour 10 à 12 mois. Sous la directive de notre chef de projet, dans le cadre d’un dossier GTC , la personne aura à réaliser : · l’intégration et le développement sur le logiciel de supervision IGNITION, · la mise au point des programmes lors des recettes plateforme et des essais sur site · la rédaction de spécifications (dossier de conception logiciel, des cahiers de recette plateforme et site)

Notre data engineer intégrera une équipe SCRUM et se concentrera sur un périmètre fonctionnel spécifique. Son rôle consistera à contribuer à des projets data en apportant son expertise sur les tâches suivantes : ● Participer à la réalisation de l’ensemble des projets métiers (usages) ● Prendre en charge les demandes de corrections provenant d’incidents ou d’anomalies ● Participer à l'auto-formation et à la montée en compétences de l’équipe de développement ● Appliquer les bonnes pratiques et les normes de développement ● Mettre en pratique les méthodes « devops » ● Contribuer aux chiffrages des usages et à la constitution des releases ● Contribuer à l’automatisation du delivery ● Développer et documenter son code ● Travailler au sein d’une équipe SCRUM (PO, développeurs, QA, Support)

Nous cherchons un consultant Data Integration Senior pour nous accompagner sur la réalisation du projet de construction du datalake des équipes Group Digital. Le datalake est composé d’un modèle hybride Azure Data Factory + ADLS2 qui vient déverser la donnée dans le datalake Snowflake. 30 sources de données référentiels et données applicatives de l’éco-système Cybersécurité sont à intégrer en 2024, différents protocoles de collecte : API, SFTP, Base de données. Le profil qui nous rejoindra devra piloter et organiser son activité ainsi que celle d’un consultant moins senior afin de maintenir un rythme ainsi qu’une qualité de livraison constants tout en affichant une communication claire sur l’activité.

Nous poursuivons notre développement et recherchons actuellement un.e Data Engineer pour intervenir chez un de nos clients du secteur bancaire. Contexte / Objectifs : Récupérer les données issues de sources externes Utiliser la puissance du Datalake Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. Mise en œuvre de la chaîne : d’ingestion de données, de validation de données, de croisement de données, de déversement dans le datalake des données enrichies Développer dans le respect des règles d’architecture définies Développer et documenter les user stories avec l’assistance du Product Owner. Produire les scripts de déploiement Prioriser les corrections des anomalies Assister les équipes d’exploitation Participer à la mise en œuvre de la chaîne de delivery continue Automatiser les tests fonctionnels

Data Engineer maitrisant(e) pyspark et airflow qui aidera le client à construire de nouveaux indicateurs et à les fiabiliser. L"équipe Forecast a pour mission de mettre à disposition dans le Datalake , les datasets qui concernent les prévisions de ventes. Pour remplir à bien sa mission, le Data Engineer devra : - Comprendre un modèle de données et s'en servir, - Aider l'équipe à faire les meilleurs choix techniques, - Apporter une expertise sur la conception des indicateurs, - Maîtriser les bases de données et les outils de transformation, - Etre capable de transformer une donnée brute en un indicateur

Nous recherchons pour un de nos clients basés à Montpellier un consultant MLOPS, pour une mission freelance (longue visibilité) avec une possibilité de Pré embauche sous 1 an de mission Vos principales responsabilités : Concevoir et développer des solutions logicielles pour l'IA et la gestion des flux de données. Proposer et implémenter des stratégies novatrices pour l'extraction, le traitement et l'analyse de l'information. Assurer le déploiement, le test et la maintenance des solutions MLOps. Vous serez également en charge de : Participer aux rituels de gestion de projet (Agile ou cycle en V). Rédiger de la documentation technique détaillée. Réaliser une veille technologique proactive autour des données et de leur traitement. Votre profil : Formation : Diplôme d'Ingénieur ou équivalent (Bac+5) en sciences ou informatique. Expérience : Expertise avérée sur des projets en data & IA, avec une forte inclinaison pour le développement et une culture solide en data et DevOps. Compétences Techniques : DevOps : Maîtrise de GitHub, Docker, Kubernetes. Outils : MLFlow, Expérience avec Airflow. Plateformes : Connaissance de Spark (Databricks) ou GCP (Vertex AI), AWS, . Langages : Excellente maîtrise de Python et Scala. Qualités Personnelles : Esprit d'équipe, passion pour la data, autonomie et capacité d'adaptation.

METSYS est un intégrateur de solutions Microsoft, Cloud & Cybersécurité. Nous recherchons pour l'un de nos clients grands-comptes dans le secteur industriel un.e Expert.e VDI Horizon et Systèmes (F/H) pour un démarrage imminent à Paris, dans le 8ème arrondissement. En collaboration avec les experts, architectes et responsable produits, vous construisez un Cloud à l'usage des produits digitaux pour un marché d'envergure pour notre Client. A titre non exhaustif, vous serez notamment en charge des missions suivantes : Analyser les nouveaux besoins afin de définir, en collaboration avec les autres métiers de l’équipe, les évolutions à mettre en œuvre sur la plateforme cloud de notre Client ; Participer à l’estimation de ces nouveaux besoins pour assurer la tenue des engagements de notre Client et garantir la satisfaction globale client ; Assurer le déploiement, la configuration et l’optimisation des services d’infrastructures et de l’infrastructure physique de la plateforme ; Gérer le déploiement des environnements et services (Windows, Hyper-V, VMWare) et leurs configurations sécurisées ; Contribuer au MCO/MCS de la plateforme ; Participer à l’amélioration et le suivi du monitoring global de la plateforme ; Participer au support Niveau 2/3 de la plateforme nécessaire à l’analyse des incidents techniques ; Participer à la rédaction documentaire (besoins internes et client extérieur).