Trouvez votre prochaine offre d’emploi ou de mission freelance ETL (Extract-transform-load)

Nous recrutons un(e) Développeur Full Stack Java/J2EE-Angular qui sera rattaché(e) au Responsable de Production et travaillera en collaboration avec les différents Chefs de Projet dédiés au développement d’applications de gestion internes (finance, soutien aux opérations, Ressources Humaines…) et sera entouré(e) d’experts techniques passionnés. Vos missions seront les suivantes : Élaborer les spécifications techniques générales du projet sur la base des spécifications fonctionnelles, en fonction de l’architecture technique et des exigences en termes de sécurité. Étudier les opportunités et la faisabilité technologique de l’application. Assurer le développement et la maintenance corrective et évolutive des applications. Assurer la cohérence, la sécurité, la performance et la pérennité des applications. Documenter les développements ultérieurs et la mise en production. Harmoniser et industrialiser l’ensemble des composants et applications. Contribuer au design des applications en optimisant l’expérience utilisateur. Faire de la veille technologique. Contribuer à l’amélioration de la chaine de développement (DevOps) et participer à des études transverses de la DSI.

Il est garant de l'accès qualitatif aux sources de données. Il s'assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d'en faciliter l'exploitation par les équipes (Data Analysts et Data Scientists). Il contribue également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer. Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT. Il assure la supervision et l'intégration des données de diverse nature qui proviennent de ces sources multiples et vérifie la qualité des données qui entrent dans le Data Lake (il recette de la donnée, supprime les doublons).

Vos missions : Suivre les réalisations et rendre compte de l'avancement des ses applications et services : Respect des engagements sur son périmètre : budget, jalons, valeur produite Valider la mise en intégration et la mise en production des nouvelles versions correctives et/ou évolutives de ses applications et services Organiser le déroulement des tests utilisateurs/métier sur ses applications et services avec mise en place et maintient des environnements de qualification et les outils associés (TC57…) et vérifier la non régression Organiser la formation des utilisateurs pour la maintenance évolutive, et en collaboration avec le Chef de projets le cas échéant. Suivre les demandes métiers et IT, alimenter la backlog dans JIRA Analyser les demandes, proposer un plan d’action, faire arbitrer les sujets et priorités par le RA et le PPO Réaliser en collaboration avec les métiers, les équipes IT et les éditeurs les demandes de la backlog Assurer le maintien en condition opérationnelle de son produit : Assurer le suivi des la qualité du produit fini (VSR), mettre en place les KPI nécessaires au suivi de l’activité. Définir et mettre en œuvre les niveaux de services (SLA) par application avec les parties prenantes (métier, IT, etc.) Garantir le niveau de service de ses applications tel que convenu avec les parties prenantes, notamment par le traitement des tickets de niveau 3 (GI/GD/GP/GC) Proposer, spécifier, et mettre en œuvre le monitoring adapté au respect des engagements de service (bon fonctionnement et utilisation) Proposer des solutions d'amélioration continue ou pour le démantèlement de ses applications et services si ceux-ci ne sont plus utilisés (MEV) Backuper le RA pour couvrir les périodes d’absence Documenter les procédures, et former les équipes supports et exploitation (N1/N2) à la résolution des tickets liés à son périmètre applicatif Le produit est full Saas chez l’éditeur KBRW L’application peut être utilisée sur Ecran (UI) ou sur Device (TC57) et les transferts se font par API Un vernis technique autour Json, file transfer, API, GCP, SQL et Device sont donc nécessaires. Activité de RUN sur les périmètres Caisses, Marketing, Monétique de type N2 pour plus de 500 magasins en France et Luxembourg, les Drives et stations essences. Réaliser les mises en production sur les différents serveurs applicatifs, caisses liés à l'encaissement et le marketing Travailler avec notre support N1 et le pilotage situé au Maroc en leur rédigeant des procédures pour leur permettre de réaliser le Run de premier niveau Dans l'équipe Produit Moyen d'accès, il ou elle sera en charge de : La résolution d'incident et de demande de service sur les composants ci dessus, le maintien en condition opérationnelle des PDT, Terminaux Durcis, MDM Gérer et suivre les déploiements d'applications sur les postes de travail et les terminaux durcis

Prendre part à la réalisation du workplan, réaliser les user stories définies dans le backlog. Participer, avec les autres membres de l’équipe à la gestion du RUN, aux activités de support et aux travaux de Build. Livraison des artefacts et suivi des mises en prod Automatiser et améliorer les activités de RUN (et SRE), suggérer des optimisations (process, ou consommation Finops par exemple) Maintenir les documentations des produits “User Centric” : sera à l’écoute de ses utilisateurs et recherchera leur feedback pour construire et améliorer la solution (UX) Force de proposition sur les meilleures pratiques "shift left" pour les contrôles sur le code sur la sécurité, qualité, résilience, FinOps Force de proposition sur les bonnes pratiques d’observabilité, de monitoring et le SRE (stack actuelle: Azure App Insights, Grafana)

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : Consultant Décisionnel BI (H/F) - LYON Vos principales missions : Développement d'ETL, gestion des flux d’acquisition de données, création de scripts SQL, gestion des data areas et des dashboards. Lien avec les utilisateurs pour les phases de recette. Intégration des livraisons mensuelles jusqu’en production. Maintenance corrective : analyse et correction d’anomalies. Participation aux cérémonies agiles : PI Planning, Daily, Rétro, Revue de backlog.

En partenariat avec un client financier établi de GloComms, nous recherchons un responsable senior de la plateforme de données pour aider à diriger le développement et la gestion de la plateforme de données existante. Role: Responsable de Plateforme Data Lieu: Paris Hybride Teletravail Debut: Novembre/Decembre Role: Superviser la création et l'entretien d'une infrastructure et d'une plateforme de données sûres, évolutives et performantes. Travailler avec les équipes de Data Science, Data Engineering et Quant pour s'assurer que les pipelines de données et les procédures s'intègrent de manière transparente. Superviser le développement de services et de parties communes utilisés par les équipes Data et Quant. Réduire le temps de mise en production en rationalisant les opérations de développement à l'aide de l'automatisation et de modèles réutilisables. Superviser un groupe multidisciplinaire d'ingénieurs en logiciels, en fiabilité des sites et en DevOps. Établir, mettre en pratique et garder un œil sur les KPI qui sont liés à la valeur de l'entreprise et à l'expérience de l'utilisateur.

En tant que tel, vos missions principales seront les suivantes : Concevoir, développer et optimiser : Les flux d’acquisition de données Les scripts SQL Les cubes de données Les dashboards Accompagner la recette utilisateur en participant aux tests et validations. Déployer les développements en production et assurer leur suivi. Contribuer à l'analyse des correctifs et au maintien des systèmes. Participer aux activités Agile et aux cérémonies de l’équipe de développement.

Dans le cadre du projet de mise en place d’un nouveau Système d’Information Collectif pour notre client dans le secteur de la santé, l’équipe Data Factory recherche un Développeur Oracle Data Integrator (ODI) . Vous rejoindrez une équipe dynamique et participerez activement à l'intégration des données nécessaires pour alimenter l’infocentre ASP. En tant que Développeur ODI, vous serez chargé(e) de : Développement et intégration de flux de données : Concevoir, développer et déployer des flux ETL avec Oracle Data Integrator (ODI) . Intervenir ponctuellement sur des flux développés avec Talend . Garantir la qualité, la robustesse et l’optimisation des flux créés. Maintenance et correction des flux existants : Assurer le support et la correction des flux pour répondre aux besoins des utilisateurs. Réagir rapidement en cas d’anomalies détectées pour garantir une continuité de service. Participation à l’alimentation de l’infocentre ASP : Alimenter l’infocentre ASP à partir du nouveau système d’information collectif. Veiller à l’exactitude et à la cohérence des données transformées et intégrées. Collaboration avec les équipes : Travailler en étroite collaboration avec les équipes techniques (DBA, DevOps, etc.) et fonctionnelles. Participer aux ateliers pour comprendre les besoins métiers et adapter les solutions techniques.

Nous recherchons un Expert DigDash H/ F pour une mission de 30 jours, afin d’intégrer notre partenaire situé Biot (06). Vos missions : Le client a besoin d’un accompagnement sur la solution digdash (tableaux de bord analytiques). - Développer le support de manière plus personnalisée - Accompagnement sur les dashboard - Développement de modèle de données Avantages : Télétravail - Mutuelle entreprise – Prévoyance - carte restaurants - Prime de vacances – Abonnement transport. Votre profil : Vous êtes titulaire d’un Bac+5 en informatique ou Ingénieur spécialisé dans le décisionnel/BI, vous témoignez d’une expérience significative de minimum 5 ans. Vous maîtrisez les ETL Semarchy et les outils de data virtualisation tels que Power BI et le reporting DigDash. Vous avez également une expérience sur Talend, envoyez-nous votre CV.

Notre client dans le secteur Infrastructure, BTP et matériaux de construction recherche un data engineer expert de minimum 8 ans d'experience H/F Descriptif de la mission: Le client est un acteur majeur dans le secteur de la construction, vous rejoindrez une équipe de data engineering. Compétences recherchées : - Excellent niveau SQL - Missions précédentes ou certification Snowflake et sont en capacité de développer des procédures snowflake mais également de travailler sur des sujets de modélisations de données (Datamanagement, Datawarehouse). - Des connaissances en Talend sont aussi nécessaires, mais la priorité repose sur de fortes compétences en modélisation et SQL. -Connaissance d'ETL (en particulier Talend) Les Data Engineers vont être amenés à : Réaliser le cadrage technique Créer l’ensemble de la chaine d’ingestion de la donnée, aussi bien sur des sources tabulaires que sur du JSON provenant d’API d’IOT. Travailler à l’amélioration de notre processus de QOS / QOD mais également notre chaine CI/CD Il est important que le consultant soit dynamique et en capacité d’échanger avec des équipes métiers (dimension fonctionnelle de leurs travaux)

Je suis à la recherche pour un de nos clients d'un Référent technique Socles IT (Datalab, CI/CD, APIs).  Apporter le support nécessaire aux entités dans leur utilisation accompagnement sur Talend/Java et sur l'amélioration de la performance de leur JOB ainsi que sur les bases de données (VERTICA/Oracle). Impliquant le suivi de migrations, l’amélioration des processus, l’administration de la TMC et l’entretien du lien avec l’éditeur et le support.  Développer les nouveaux composants (Talend / Java / Shell / Oracle / Vertica / Snowflake / Jupyter / Python) afin d'alléger le travail des entités dans la Data Factory et permettre aux entités de se focaliser sur leur business.  Assurer le RUN (niveau 3) de l'infrastructure en utilisant les composants CA-GIP pour debugger les applicatifs et pour apporter des solutions efficientes (ElasticSearch/Logstash/Kibana/Grafana).  Evaluer et valider les estimations de l’infogérant et des sous-traitants.  Accompagner et superviser les missions confiées aux sous-traitants.  Analyse, conception et mise en place d’un monitoring centralisé des flux Datawarehouse. • Connaissances techniques : - Expérimenté(e) sur la mise en place des flux d’ingestion des données (ETL Talend…) - Maitrise des outils de DevOps et des langages de programmation (java, spark, elk, kubernetes, gitlab, jenkins, spring Framework, unix, shell) - Connaissance Hadoop, Bases de données relationnelles et non relationnelles (Oracle, Snowflake, Vertica) - Notions des outils d’explorations de données mis à disposition sur le Datalake/Datalab (SAS, Qliksense, Dataiku, Jupyter). - Technologies complémentaires : Active Directory, SSO, AWS s3, AWS Bedrock, wso2, Jfrog Artifactory, Docker, MLflow, Airflow, Terraform.

A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du prestataire en terme de Data Engineering Dans ce cadre, la prestation consiste à contribuer à/au(x) : - Développement de traitements Spark/Scala - Revue de code et re-factoring - Traitement d'un gros volume de données - Développement sur un pipeline CICD - Respect des normes de développements Environnement technique - Framework Spark. - Langage scala - ETL Talend - Talend for BIG DATA - Cadre international - Méthode agile : Scrum - GIT - Ecosystème Hadoop Cloudera

Bonjour, Pour le compte de notre client, nous sommes à la recherche d'un ingénieur devops flux. Rattaché aux équipes de production/exploitation du Centre d’expertise IT et en collaboration avec les membres de l’équipe data, son rôle sera d’accompagner les projets et les CDS dans le delivery des flux de données. Il doit également assurer leur maintien en conditions opérationnelles, leur mise en supervision ainsi que la prise en charge des incidents jusqu’à résolution. Livrable N°1 : Gérer toutes les phases de la mise en production des flux + Récolter le besoin auprès des projets et les conseiller, puis les aider à le formaliser + S’assurer de la conformité technique / sécurité de la demande + Produire le flux dans les standards en place + Etablir les documents techniques (contribution au DAT / DEX) + Appliquer si nécessaire des transformations techniques sur la donnée avant de la distribuer (DQM) + Déployer les flux applicatifs dans les différents environnements Livrable N°2 : assurer le support et l’évolution des flux mis en production + Garantir le bon fonctionnement des flux en production et leurs évolutions + Ecrire et mettre en œuvre les procédures d’exploitation des flux Interne + Superviser les flux avec l’outil de monitoring groupe DATADOG (assurer l’analyse et la résolution des incidents, établir les rapports d’incidents) ; Livrable N°3 : contributions au socle d’ingestion + Gérer la disponibilité, la sécurité et l’évolution du socle technique d’ingestion + Aider à l’amélioration de l’automatisation / industrialisation des flux et plateformes d’ingestion Compétences avancées sur des outils d’ETL comme talend ou nifi (Nifi est un gros plus) est un prérequis. + Connaissances et usage de la conteneirisation (docker, Kubernetes) est un plus + Bonnes connaissances unix (cli, shell, bash…) souhaitées + Connaissances dans le dommaine du cloud (aws/azure) (iaas, storage, sqs, event hub…) est un gros plus. + Connaissance et Usage des outils Jira (planner et tickets) et Confluence (docu) + Connaissance dans l’un de ces langages suivants : Python / Groovy / JAVA (servlet) est un plus ; + Connaissance des fondamentaux liés aux bases de données relationnelles et NOSQL (est un plus) ; + Connaissances de l’administration des serveurs IaaS : Ubuntu, CentOs est un plus ; + Connaissance du fonctionnement des réseaux (VPN/NAT/Table de Routage) est un plus; + Connaissances autour de diverses technologies de flux (API, FTP, OAuth2, JMS, …) est un plus.

Nous recherchons pour le compte de l'un de nos clients un développeur intégration Snowflake (H/F) dans le cadre d'un remplacement. Les missions : Conception et Développement des Pipelines de Données : Créer, optimiser et maintenir des workflows ETL dans Matillion pour ingérer, transformer et stocker les données dans Snowflake, en respectant les exigences de performance et de sécurité. Intégration de Sources de Données Multiples : Configurer les connexions et intégrer diverses sources de données (API, bases de données, fichiers CSV, etc.) dans Snowflake via Matillion, tout en assurant la qualité et la cohérence des données. Optimisation de la Performance : Améliorer l’efficacité des pipelines et des traitements SQL dans Snowflake pour réduire les coûts de stockage et de calcul, en analysant les logs et en ajustant les configurations Matillion et Snowflake. Surveillance et Débogage : Mettre en place des systèmes de monitoring pour identifier rapidement les erreurs et anomalies dans les processus ETL, assurer la continuité des flux de données et maintenir la qualité des données en production.

Almatek recherche pour l'un de ses clients, un Architecte Datastage sur La Défense. En tant que System Architect ETL Datastage, vous serez principalement responsable de la gestion et de l'optimisation de la plateforme IBM InfoSphere DataStage. Vous jouerez un rôle crucial dans la supervision de l'architecture globale de la plateforme, tout en participant au développement et à l'implémentation des solutions ETL. - Gestion de la Plateforme : Assurer la gestion et la maintenance de la plateforme IBM InfoSphere DataStage, y compris les mises à jour, les patchs et la surveillance des performances. - Conception et Architecture : Concevoir des architectures ETL robustes et évolutives, et définir les standards d'intégration des données. - Optimisation des Performances : Surveiller et optimiser les performances de la plateforme ETL, résoudre les problèmes de performance et assurer la disponibilité et la fiabilité des systèmes. - Support Technique : Fournir un support technique avancé pour la plateforme DataStage, résoudre les incidents et assurer la continuité des opérations. - Développement et Implémentation : Participer au développement et à l’implémentation des flux ETL, dans le cadre d'amélioration de l'existant. - Analyse des Besoins : Collaborer avec les équipes métiers et techniques pour comprendre et analyser les besoins en données. - Documentation : Produire et maintenir une documentation technique détaillée des solutions ETL et des configurations de la plateforme. Qualifications et Compétences : - Expérience : Minimum de 5 ans d'expérience en développement ETL, avec une expertise approfondie d’IBM InfoSphere DataStage et une forte expérience en gestion de plateforme. - Compétences Techniques : o Maîtrise de DataStage (Server et PX, version 11) et des outils associés. o Expérience significative en gestion et maintenance de plateformes ETL. o Bonne connaissance des bases de données relationnelles (SQL Server, DB2, as400, etc.). o Compétences en scripting et automatisation des processus ETL. - Compétences Analytiques : Excellente capacité d’analyse et de résolution de problèmes complexes. - Gestion de Projet : Expérience avérée dans la gestion de projets ETL et la coordination avec des équipes pluridisciplinaires. - Soft Skills : Capacité à travailler en équipe, compétences en communication, leadership et gestion du temps. - Langues : Maîtrise du français et bon niveau d’anglais (écrit et oral).

Ton quotidien chez Komeet sera rythmé par : - Animation des ateliers afin d’étudier et cadrer les besoins clients en collaboration avec le Data Platform Architect - Analyser, conseiller, et faire des recommandations de façon à améliorer l’efficience et l’efficacité de la solution Databricks chez ton client. - Préconisation, conception et mise en œuvre du LakeHouse Databricks - Rédaction de dossiers d’architecture et spécifications techniques - Mise en œuvre des stratégies d’exploitation de la plateforme Databricks - Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. - Tests, validation et documentation des développements - Réalisation d’audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP