Trouvez votre prochaine mission ou futur job IT.

Descriptif de la mission : 1/ Développer des User Story relatifs à la mise en place de solution de chargement et de restitution du SGBD Teradata. 2/ Mettre en œuvre les tests unitaires. 3/ Déployer le produit dans les différents environnements 4/ Garantir et assurer le fonctionnement des produits en production. 5/ Produire la documentation associée à ses développements. 6/ Participer à l’affinage et chiffrage des solutions 7/ Participer aux cérémonies et démarche agile SCRUM de la squad. La mission demande d'être présent sur site à Vannes à hauteur de 3 jours / semaine minimum.

Focus sur ses activités : -Contribue à la conception de outils de traitement BigData (Ingestion / Traitement / Analyse) -Cadrage technique des besoins émis par les consommateurs de la plateforme Data -Est garant de la mise en production des traitements au sein de la plateforme -Optimisation du code et de la capacité des VMs mise en œuvre pour chaque traitement -Garantit la disponibilité et l'outillage pour les équipes métier, ainsi qu'aux utilisateurs de la plateforme (data scientists / data analystes / data engineer) -Est en relation avec les équipes infrastructure afin d'assurer le cadrage et le déploiement des solutions valides -Support aux équipes consommatrices -Analyse d'anomalie et proposition solution court / moyen terme - Developpement sous Databrick (Python / SQL / Spark / Airflow) -Est force de propositions techniques, en capacité de faire un état des lieux sur les normes et process de devt et faire appliquer les recommandations.

Rôle hybride : 2-3 jours sur site En tant qu'expert Apache Flink, vous serez responsable du développement et de la maintenance des applications Flink. À propos de l'optimisation des performances Résolution des problèmes qui peuvent survenir Développement et maintenance des applications Apache Flink Optimiser les performances et assurer l'évolutivité Dépanner et résoudre tous les problèmes De solides compétences en programmation Java ou Scala sont requises Une expérience avec d'autres technologies Big Data telles que Hadoop et Spark est un plus.

Dans le cadre de la croissance de HEXATEAM, nous sommes en quête permanente de nouveaux talents pour renforcer nos équipes. Nous cherchons actuellement deux profils Data Engineer GCP Le Data Engineer sera chargé des activités de Data Engineering, en particulier sur la plateforme Google Cloud Platform (GCP) . Il devra gérer les données brutes de satisfaction stockées dans le datalake (zone Raw) et transformer ces données pour les rendre accessibles dans une zone Gold, utilisée par d'autres projets. Conception : Analyse des données, définition du modèle de données, conception des chaînes d'ingestion et de préparation. Réalisation : Mise en œuvre, indexation, ordonnancement et tests des jobs, avec documentation. Intégration & Déploiement : Optimisation des performances, résolution de problèmes liés aux jobs et aux données. Documents de modélisation et structuration des données. Règles de gestion et synthèses analytiques. Mise en place des chaînes de traitement de la donnée et des dashboards de monitoring. Maîtrise de Spark , Scala . Pratique confirmée des services GCP : BigQuery, CloudStorage, CloudComposer/Airflow, DataFlow, Dataproc, Terraform, GitLabEE. Expérience en modélisation de données et stratégie de tests. Connaissance des notebooks data, GCP DataStudio, ElasticSearch (atout). Méthodologie Agile . Anglais requis pour la documentation et les échanges internationaux.

Nous recherchons un Expert Kubernetes Les livrables sont: Documentation technique - Automatisation des déploiements Dossier d'architecture (infrastructure, applicative, logicielle) Cartographie des compétences et savoir faire nécessaires Compétences techniques: Kubernetes - Expert - Impératif Java 17 - Confirmé - Impératif Spark 3.2.X - Confirmé - Important Maven 3.X.X - Confirmé - Important Description détaillée: L’objectif de cette prestation est de sécuriser un projet important en accompagnant le chef de projet Les attendus de cette prestation sont les suivants : le prestataire ➔ devra remplacer à la demande le chef de projet informatique sur les aspects techniques, notamment dans les réunions du comités technique et du comité stratégique; ➔ prendra en charge l’IAC, l’automatisation des déploiements sur Kubernetes et documenter en vue de faciliter le passage en maintenance à l’automne 2025 ; ➔ sur la base de l’évaluation craft réalisée en juin 2024, prendra en charge le suivi des axes d’améliorations identifiés, éventuellement en proposer de nouveaux, notamment sur l’observabilité ; ➔ documentera l’architecture actuelle via des ADRs et des diagrammes (flux, applicatif, infrastructure) ; ➔ rédigera d’ici fin 2024 une note d’observation critique sur les architectures (infrastructure, applicative, logicielle) mises en œuvre ; ➔ assistera le chef de projet informatique sur les questions de sécurité ; ➔ mettra en place un process efficace de gestion des connaissances, notamment une organisation documentaire. Formera les parties prenantes à son utilisation et sa mise à jour ; ➔ établira une cartographie des compétences et savoir-faire nécessaires pour le MCO-MCS du produit. Les développements sont réalisés en grande partie dans l’écosystème Kubernetes Les versions utilisées sont : - Java : 17 - Maven : 3.X.X - PostgreSQL : 14.X - Spark : 3.2.X - Spring Boot : 3.X.X - Spring Batch : 5.X.X - Hibernate : 6.X.X - Cucumber : 7.X.X La prestation se déroulera dans les locaux d’Orléans. Une organisation du travail en mode hybride est possible après une phase d’intégration : - 3 jours de présence du prestataire - 2 jours de distanciel. Compétences requises - Compétences techniques : Développement java sénior, maîtrise des architectures big data ( spark), applicative ( java et écosystème, postgresql) et infrastructure ( kubernetes et écosystème), gitlab, Notions avancées de sécurité applicative et infrastructure. - compétences humaines : adaptabilité et capacité à collaborer, organisé, capacité à mettre en place un fonctionnement pérenne dans une équipe, esprit critique et argumenté. - connaissances de l’agilité Instances de suivi de la prestation - au sein des cérémonies agile du projet pour les réalisations - point hebdomadaire avec le chef de projet informatique et/ou ses responsables hiérarchique et l’intervenant

Bonjour à tous, Je recherche pour un de mes clients dans le domaine de l'assurance un consultant Data Engineer : Conception et développement de pipelines de données en utilisant Python et Apache Spark pour traiter des volumes importants de données. Déploiement et gestion des workflows sur Databricks , avec une optimisation continue des performances des pipelines. Mise en place de pipelines CI/CD pour l'automatisation des déploiements, utilisant GitHub et des outils d'intégration continue tels que GitHub Actions, Jenkins, ou autres. Collaboration avec les équipes produit, data science et infrastructure pour assurer la cohérence des flux de données, la maintenance des environnements et la résolution des problèmes techniques. Participation aux revues de code et à la gestion des versions sur GitHub pour garantir des pratiques de développement robustes et sécurisées. Databricks : Bonne connaissance de l'écosystème Databricks pour le traitement de données distribuées. Python : Maîtrise avancée du langage, notamment pour la manipulation de données et la création d'outils automatisés. Apache Spark : Expertise dans le traitement de données massives via Spark. GitHub : Expérience dans la gestion de version avec Git, les revues de code et la gestion de workflows d'intégration continue. CI/CD : Solide expérience dans la mise en place et la gestion de pipelines d'intégration et de déploiement continus (CI/CD) avec des outils comme GitHub Actions, Jenkins ou équivalents. Expérience d’au moins 3 à 5 ans dans un rôle similaire. Connaissance des architectures de données distribuées et expérience en ETL et transformation de données. Capacité à résoudre des problèmes complexes et à optimiser les performances des pipelines. Expérience en méthodologies de travail Agile/Scrum.

Contexte Vous intégrerez une équipe dynamique travaillant sur des projets innovants dans un environnement technologique varié et stimulant. Missions principales Automatisation des déploiements (CI/CD) via des outils comme Ansible, Jenkins, GitLab Runner et scripting Bash Résolution d'incidents de niveau 2/3 et assistance à l'équipe d'exploitation Rédaction de documentation technique pour l'équipe de Production Mise en place de tenants dans le cloud (architecture 3 tiers) avec OpenStack et déploiement de containers Docker Configuration de la supervision (CheckMK) et des sauvegardes (BDD/FS) sur le Cloud Déploiements sur les environnements de Qualification/Tests et retour d'expérience aux chefs de projet/développeurs Tâches diverses d'administration BDD et système (migrations, augmentation de FS, etc.)

Dans le cadre de la croissance de HEXATEAM, nous sommes en quête permanente de nouveaux talents pour renforcer nos équipes. Nous cherchons actuellement deux profils Data Engineer AWS. Maîtrise des outils Databricks : Création et gestion de jobs, clusters et notebooks, ainsi que l'utilisation avancée de SQL pour effectuer des requêtes efficaces. Maintien en condition opérationnelle de la plateforme en production : Analyse et correction d'incidents et de défauts. Développement de jobs d'ingestion et de transformation des données : Utilisation de Python avec Spark pour traiter de grands volumes de données. Fourniture d'une vision à long terme : Proposition d'une stratégie opérationnelle et de développement de la plateforme data. Accompagnement et promotion des bonnes pratiques : Garantir la diffusion et l'application des standards de qualité. Participation aux ateliers de conception techniques et fonctionnels : Collaboration avec les équipes pour concevoir des solutions adaptées aux besoins. Rédaction et mise à jour de la documentation technique : Veiller à la documentation et à sa mise à jour continue. Indispensable : Python Spark SQL Databricks AWS (S3, Glue, AirFlow, Cloudwatch, Lambda, IAM) GIT COULD : Big Data CI/CD : Utilisation de GitLab pour l'intégration et le déploiement continus. Outils de gestion de projets : JIRA et Confluence pour le suivi et la documentation. Méthodologie Agile : Travail en mode Scrum. Bon niveau d’anglais

🏭 Secteurs stratégiques : Banque de détail 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Les données transversales sont historiquement hébergées dans 3 entrepôts de données en technologie Teradata ainsi que dans divers datamarts utilisant plusieurs solutions d’accès aux données (Microstrategy, SAS, DataIku). Les data pipelines utilisent majoritairement les solutions DataStage et Informatica. Afin d’optimiser les coûts de run (TCO) et de gagner en productivité, nous envisageons de migrer en mode « lift end shift » les entrepôts de données et la partie data lake vers une solution lake house (Snowflake ou Databricks) avec un enjeu fort sur les délais. Une étude de cadrage détaillée a été lancée cet été et doit se terminer fin 2024 en vue de démarrer la phase d’exécution du projet de migration dès janvier 2025 afin de pouvoir tenir nos jalons. Cette étude vise à : Finaliser le Business case, la formalisation de la valeur métier et l’estimation des coûts (éditeurs, intégrateurs, SG, infrastructure on-premise et public cloud) Préciser l’architecture cible et en particulier la strategy à adopter sur le code ETL/ELT et les couches d’accès à la donnée Identifier avec précision l’ensemble du code/données à migrer en incluant les usages industriels et ceux de type shadow IT Contractualiser un forfait avec l’éditeur avec engagement de résultat sur la migration et potentiellement un second forfait avec un intégrateur pour assurer le déploiement dans l’infra SG du code migré ainsi que les tests d’acceptance permettant de valider les livrables de l’éditeur Définir la stratégie de migration (découpage en lots, périodes de freeze, stratégie de tests, prallel run...) dans un environnement avec une forte complexité applicative (grand nombre d’interdépendances) et organisationnel (plus d’une vingtaine d’équipes à coordonner) Construction de la roadmap de migration, de son suivi, définition des KPIs/critères de succès avec un focus fort sur le suivi contractuel des éditeurs/intégrateurs et la définition de la gouvernance associée Instruire les process SG visant au bon respect de nos règles de sécurité, d’architecture et de nos principes data dans le cadre réglementaire applicable Dans ce cadre la prestation consiste à contribuer à/au(x) : Contribuer au pilotage de l’étude détaillée 2024, Livrables, suivi et gestion dans son ensemble Reporting au senior management

En tant que Consultant(e) Dataiku Senior, vous serez au cœur de nos projets de Data et IA. Vous aurez notamment pour missions : Accompagnement : Réaliser des ateliers de conception et de cadrage des projets Être le point de contact de la plateforme des solutions Dataiku adaptées aux besoins clients Former les équipes internes à l'utilisation de la plateforme Expertise technique: Maîtriser les fonctionnalités avancées de Dataiku (préparation des données, machine learning, déploiement de modèles) Développer des pipelines de données robustes et efficaces Contribuer à l'amélioration continue de nos méthodes et outils Innovation: Être force de proposition sur les dernières tendances en matière de Data Science et d'IA Participer à la conception de nouvelles offres de services

Participer au choix de solution et à l'amélioration continue Elaborer les preuves de concepts, les tests et/ou maquettes à vérifier et réaliser l'étude d'impact sur l'architecture existante ou prévisionnelle pour tout nouveau projet ou toute nouvelle technologie Mettre en place la chaine (CI/CD) Implémenter des outils de configuration et d'automatisation pour industrialiser les processus de déploiement Analyser et résoudre les anomalies liées à la performance et à la scalabilité des systèmes Assurer un support sur les anomalies escaladées de l'équipe Exploitation en proposant des correctifs et/ou des solutions de contournements Rédiger et maintenir à jour les livrables Environnement technique : Jenkins, Ansible, yaml, groovy, GIT, Docker, Kubernetes, Maven, Linux, Apache, Nginx, Grafana

La mission consiste à : - Participer aux rituels agiles - Analyser les besoins des utilisateurs et proposer des solutions innovantes et en phase avec les drivers de l'entreprise - Développer les solutions data - Valider la qualité des développements - Améliorer et optimiser le patrimoine actuel - Maintenir les solutions existantes (RUN) - Contribuer à la construction du nouveau socle et des services - Accompagner les métiers sur les bonnes pratiques de l'exploitation de la Data - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Première expérience en Data Engineering indispensable - Expertise SQL, ETL, CI/CD, GIT, Terraform, Kafka, GCP ... - Connaissances sur Power BI, Looker ... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais un +

Dans ce cadre, nous recherchons un développeur Full Stack, ayant une solide expérience dans le Cloud GCP Récupérer les données issues de sources externes • Utiliser la puissance du Data Lake • Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. Mise en œuvre de la chaîne : o d’ingestion de données, o de validation de données, o de croisement de données, o de déversement dans le data Lake des données enrichies • Développer dans le respect des règles d’architecture définies • Développer et documenter les user stories avec l’assistance du Product Owner. • Produire les scripts de déploiement • Prioriser les corrections des anomalies • Assister les équipes d’exploitation • Participer à la mise en œuvre de la chaîne de delivery continue • Automatiser les tests fonctionnels • Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise • Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent • Acheminement de la donnée • Mise à disposition de la donnée aux équipes utilisatrices • Mise en production de modèles statistiques • Suivi de projet de développement • Développement job spark • Traitement et ingestion de plusieurs formats des données • Développement des scripts • Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données • Développement des moyens de restitution via génération de fichier et ou API & Dashboarding • Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers • Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des Spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) • Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP • Participer à la conception, mise en place et administration de solutions Big Data • Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data Lake via des topics Kafka • Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Poste basé à Lyon avec 50% de télétravail maximum Activité principale : Ses missions tournent autour de 4 axes : o Apporter une expertise en Big Data (Spark) pour faciliter la manipulation des données o Définir les solutions techniques permettant le traitement massif de données o Mettre en place des solutions de stockage de données (SQL, NoSQL, etc.) o Veiller la sécurisation et la clarté des pipelines de données pour faciliter l’analyse et la transformation Il s’appuie si nécessaire sur les référents techniques des diverses briques si ces dernières sortent du cadre de sa mission. Il met en avant ses qualités pour mener à bien ses missions : o Autonomie, rigueur et force de proposition o Capacités d'analyse et de synthèse. o Esprit d’équipe

Le bénéficiaire souhaite mettre en oeuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en terme de Data Analysis. Dans ce cadre la prestation consiste à contribuer à/au(x) : Amélioration des performances du dispositif INTERN sur les périmètres déjà couverts et de couvrir de nouveaux périmètres (nouveaux moyens de paiements, nouvelles entités etc.) Les livrables attendus sont les suivants : • exploration et parsing des données • conception d'algorithme de Machine Learning • développement de programmes de traitements de données (micro-services) en Scala/Spark • développement d'algorithmes Machine Learning • veille technologique d'outils contribuant à l'optimisation de la solution Les expertises attendues pour réaliser cette prestation sont listées ci-après :

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs dans un environnement international : un Developpeur Full Stack JAVA/NUXT/NODE (H/F) – Lille Mission à pourvoir en régie sur Lille Vous possédez plus de cinq ans d'expérience et maîtrisez les compétences suivantes : Développer des interfaces utilisateurs Déployer et maintenir des applications sur une infrastructure cloud (Kubernetes) Organiser le cycle de vie du produit en s'appuyant sur les principes Agile. Assurer la scalabilité, la sécurité, la stabilité et la disponibilité des données. Produire et partager des contenus techniques (GitHub, Confluence, GitBook, etc.) Exploiter des systèmes d'intégration et de déploiement continus Concevoir, intégrer et maintenir des APIs synchrones (REST) et asynchrones (Kafka). Modéliser des processus et rédiger la documentation technique.