Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

En tant que Data Engineer, vous intégrerez une feature team pour participer aux différents projets de développement. Pour cela vous aurez en charge : · Compréhension des besoins métiers · Intégration des modèles d’IA · Développement de processus automatisés en utilisant la technologie Airflow en relation étroite avec les métiers · Conception des solutions nécessitant l’utilisation de technologies data pour répondre aux besoins métier · Déploiement, optimisation et industrialisation au quotidien des pipelines de données · Travaille avec différents profils data du groupe (Data Scientist, Data Engineer, Data Architect, Data Analyst) · Assurer le monitoring des modèles en production · Contribuer au développement et à l’amélioration continue des outils data interne

Cherry Pick est à la recherche d'un "Lead Dev BI (Airflow)" pour un client dans le secteur du conseil juridique. Consultant Migration Talend vers Airflow & BigQuery (GCP) Contexte de la mission : Dans le cadre d’une refonte de notre infrastructure ETL, nous recherchons un consultant pour accompagner la migration des jobs existants de Talend vers Airflow, en exploitant la puissance de BigQuery sur GCP. L’objectif est d’assurer la transition technique tout en renforçant la communication avec les métiers pour garantir une adoption optimale des nouvelles solutions. Cette mission nécessite une forte implication opérationnelle, de l’autonomie, et des compétences en architecture technique. Migration technique : Réaliser la migration des workflows existants de Talend vers Airflow. Optimiser les pipelines pour exploiter pleinement BigQuery sur GCP. Développer, tester et documenter les nouveaux jobs Airflow. Communication et collaboration : Travailler en collaboration étroite avec les équipes métiers pour comprendre leurs besoins. Vulgariser les concepts techniques et proposer des solutions adaptées. Assurer un transfert de connaissances aux équipes internes. Support opérationnel : Intervenir directement sur les jobs existants pour répondre aux besoins immédiats. Architecture technique : Participer à la réflexion architecturale pour structurer les workflows dans Airflow Documenter les bonnes pratiques et définir les standards techniques.

Fiche de Poste – Tech Lead / Développeur Contexte de la mission : Notre client recherche des profils expérimentés pour intervenir sur un projet stratégique. L’équipe sera responsable de la conception et du développement des plateformes permettant le calcul des indicateurs de performance. Ces plateformes utilisent des technologies avancées telles qu’AWS, Airflow et Snowflake. Missions principales : Tech Lead : Superviser et accompagner les équipes de développement dans la mise en œuvre des solutions techniques. Garantir la qualité des livrables et la bonne gestion des projets techniques. Développeur : Participer au développement des plateformes, en particulier dans la conception des solutions techniques pour le calcul des indicateurs et des rapports. Assurer la mise en place et l'optimisation des processus de calcul des indicateurs sur des environnements de données complexes. Développer des solutions évolutives et robustes sur les plateformes cloud, principalement AWS, et participer à l'intégration des différents outils et systèmes. Technologies et outils utilisés : AWS : Mise en place et gestion des ressources cloud (EC2, S3, Lambda, etc.) Airflow : Orchestration des workflows de données. Snowflake : Data warehouse pour la gestion des données et l’analyse. Profils recherchés : Tech Lead : Expérience significative en gestion d’équipes techniques et en développement sur des plateformes cloud. Compétences en gestion de projets et maîtrise des outils mentionnés ci-dessus. Développeur : Forte expérience en développement, notamment sur des environnements cloud. Bonne maîtrise de Python, SQL, ainsi que des outils comme Snowflake et Airflow. Compétences clés : Expertise en AWS, Airflow, et Snowflake. Conception et développement de solutions techniques. Maîtrise des processus de gestion de données et des calculs d’indicateurs. Capacité à travailler en équipe et à coordonner des projets techniques. Esprit d’analyse et compétences en résolution de problèmes complexes.

nous recherchons un expert devops + Apache AIFRLOW ou STARBURST ou SPARK pour fournir et maintenir l'outillage facilitant l'intégration de solutions Data ( Vault, Kubernetes/HELM, Monitoring elastic/dynatrace, Gitlab CI, ArgoCD, sécurité) Fournir des standards et modèles d'intégrations de solutions Data à BNP Accompagner et former les équipes de solutions Data Les missions sont creer de l'Airflow Aas ou STARBURT ou SPARK3 Participation à la maintenance opérationnelle de l'outillage Amélioration de l'industrialisation des outils Participation au projet de migration vers Openshift et à sa sécurisation Maintien et amélioration de nos templates pour nous et nos clients Test et proposition des solutions innovantes pour améliorer notre offre de service Accompagnement des clients dans l'implémentation et le design de la sécurité Participation à l'amélioration du monitoring avec Dynatrace Participation à l'intégration de solutions Data

Data Driven , powerBI/Loocker, Compétences techniques Python,Shell, CI/CD, Airflow, Dataflow - Expert - Expert - Impératif AppEngine, FastAPI - Expert - Expert - Impératif Connaissances linguistiques Anglais Professionnel (Impératif) Stack technique: GIT, GitHub, bigQuery, Finder, PowerBI/loocker Télétravail 2 jours par semaine - 3 jours en présentiel Le projet ne nécessite pas d'astreintes Mission de 1 an Il est donc préférable que le consultant habite dans la métropole lilloise. Utilisation de la Méthode Scrum, Kanban

Mission Développer et automatiser des produits et algorithmes Data (IA/Machine Learning) pour améliorer les décisions stratégiques au sein du périmètre marketing client. Créer des pipelines de données robustes et garantir la qualité via des sondes et une cartographie détaillée des données (structurées et non structurées). Mettre en œuvre des solutions de DataViz (PowerBI/Looker) pour fournir des insights exploitables et accompagner la stratégie Data du business. Compétences techniques Expertise en Python, Shell, CI/CD, Airflow, Dataflow, AppEngine, et FastAPI. Maîtrise des outils GCP (BigQuery), Git/GitHub, et des solutions de visualisation (PowerBI/Looker). Connaissance des méthodologies agiles (Scrum, Kanban) et des bonnes pratiques de gestion de données. Expérience avérée dans l’industrialisation de modèles ML/IA à grande échelle et la mise en production de pipelines complexes.

TJM A RESPECTER PROFIL 5-10 ans : 450€ +10 ANS : 500€ Contrainte forte du projet Data Driven , powwerBI/Loocker, contexte projet Compétences techniques Python,Shell, CI/CD, Airflow, Dataflow - Expert - Expert - Impératif AppEngine, FastAPI - Expert - Expert - Impératif Connaissances linguistiques Anglais Professionnel (Impératif) Description détaillée Nous recherchons un Data Engineer /Scientiste avec la capacité de mettre en place du dataViz (PowerBI/ loocker) Pour mettre en place des produits/Alghoritmes Data avec de l'IA /machine learning au sein du périmètre marketing client Automatiser des process et aider le business à prendre des décisions stratégiques en se basant sur la Data Cartographie des données Datamesh approprié et partagé et son dimensionnement Datamesh avec les sondes qui garantit la qualité de la donnée Qualification et Gestion des données: - Capte les données (structurées et non structurées) produites dans les différentes applications ou à l'extérieur de l'entité - Intègre les éléments - Structure la donnée (sémantique, etc.) - Cartographie les éléments à disposition - Nettoie la donnée (élimination des doublons, ) Stack technique: Python,Shell, CI/CD, Airflow, Dataflow - Expert AppEngine, FastAPI - Expert GIT, GitHub, bigQuery, Finder, PowerBI/loocker Méthode Scrum, Kanban

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Gestionnaire d'application Data (H/F) à Hauts-de-France, France. Les missions attendues par le Gestionnaire d'application Data (H/F) : Être garant de l'intégralité des données de ventes et achat dans notre base de données. Être en capacité de remonter les alertes sur les ventes/achats manquants. Vous animerez les tickets des utilisateurs des données de la plateforme DATA Internationale : de leur prise en charge, à l’analyse et à la proposition d’une solution technique Vous pourrez être amené à développer/modifier des DAG sous GCP. Vous participerez aux phases de qualification des fixs mis en place. Vous évoluerez dans un environnement GCP (Big Query, Airflow). Compétences techniques Maîtrise du SQL - Expert - Impératif GCP Big Query - Confirmé - Impératif Airflow / Google Cloud Composer - Confirmé - Impératif

Nous recherchons un Data Engineer /Scientiste avec la capacité de mettre en place du dataViz (PowerBI/ loocker) Pour mettre en place des produits/Alghoritmes Data avec de l'IA /machine learning au sein du périmètre marketing client Automatiser des process et aider le business à prendre des décisions stratégiques en se basant sur la Data Cartographie des données Datamesh approprié et partagé et son dimensionnement Datamesh avec les sondes qui garantit la qualité de la donnée Qualification et Gestion des données: - Capte les données (structurées et non structurées) produites dans les différentes applications ou à l'extérieur de l'entité - Intègre les éléments - Structure la donnée (sémantique, etc.) - Cartographie les éléments à disposition - Nettoie la donnée (élimination des doublons, ) Stack technique: Python,Shell, CI/CD, Airflow, Dataflow - Expert AppEngine, FastAPI - Expert GIT, GitHub, bigQuery, Finder, PowerBI/loocker Méthode Scrum, Kanban

Nous recherchons, pour le compte de notre client, une entreprise de premier plan dans son secteur, un Data Engineer expérimenté avec une expertise confirmée sur la plateforme Google Cloud Platform (GCP) . Ce poste clé offre une opportunité unique de contribuer à des projets ambitieux et stratégiques dans un environnement technique avancé et collaboratif. En tant que Data Engineer, vous serez responsable de la conception, du développement et de l'optimisation des pipelines de données pour répondre aux besoins métiers et techniques du client. Vous jouerez un rôle essentiel dans la gestion des flux de données, l’automatisation des processus et l’exploitation des données dans un environnement cloud moderne. Vous serez amené(e) à : Concevoir et implémenter des pipelines de données robustes et scalables. Collaborer avec les équipes Data, IT et métier pour comprendre les besoins et définir les solutions adaptées. Optimiser les performances des systèmes de données pour garantir rapidité et fiabilité. Assurer la qualité et la gouvernance des données en suivant les meilleures pratiques. Automatiser et orchestrer les flux de données avec des outils tels qu’Apache Airflow. Contribuer à l’amélioration continue de l’infrastructure Data, notamment via Terraform. Pour réussir dans ce rôle, vous devrez démontrer une expertise sur les technologies et outils suivants : Langages et Frameworks : Maîtrise de Java et du framework Spring Boot . Utilisation avancée de Maven pour la gestion des dépendances et la construction des projets. Big Data & Cloud : Expertise dans l’utilisation de BigQuery pour l’analyse et la gestion des données à grande échelle. Solide expérience avec Dataflow pour le traitement des données en temps réel ou par lots. Familiarité avec Cloud Run pour déployer et exécuter des conteneurs applicatifs. Orchestration et automatisation : Expérience significative avec Apache Airflow pour la gestion et l’aut

Conception et développement de pipelines de données : Concevoir et développer des pipelines de données robustes et évolutifs utilisant Apache Spark et d’autres outils Big Data. Intégrer et transformer des données en temps réel ou en batch à partir de sources variées (bases de données, APIs, fichiers plats, etc.). Implémenter des solutions de traitement de données massives, principalement avec Spark (Scala et Python). Optimisation et maintenance : Assurer l'optimisation des performances des pipelines de données (gestion des ressources Spark, optimisation des requêtes, réduction des latences, etc.). Maintenir et améliorer la fiabilité des processus de traitement de données et des infrastructures associées. Automatisation des processus : Mettre en place et gérer des workflows d’automatisation des tâches avec Apache Airflow . Automatiser le déploiement et l'exécution des pipelines de données à l'aide de Jenkins . Collaboration avec les équipes de data science et d’infrastructure : Collaborer avec les data scientists pour comprendre les besoins en données et optimiser leur accès. Travailler étroitement avec les équipes d’infrastructure pour assurer la stabilité et la scalabilité des pipelines de données. Veille technologique : Se tenir informé des évolutions des technologies Big Data et des bonnes pratiques pour intégrer de nouvelles fonctionnalités dans les pipelines. Langages de programmation : Scala et Python : Expérience confirmée dans la programmation de pipelines de données en Scala (pour Spark) et en Python. Technologies Big Data : Apache Spark : Maîtrise de Spark pour le traitement de données massives, avec une compréhension approfondie de ses API en Scala et Python. Apache Airflow : Expérience avec la gestion et l'orchestration de workflows de données dans un environnement de production. Outils de CI/CD : Jenkins : Expérience avec Jenkins pour l’automatisation des déploiements et des tests des pipelines de données. Bases de données et gestion des données : Connaissances solides des bases de données relationnelles (SQL, PostgreSQL, etc.) et NoSQL (Cassandra, MongoDB, etc.).

Notre client recherche un Architecte pour travailler sur une refonte du SI niveau groupe. L'objectif est d'intégrer les équipes IaaS et de travailler sur plusieurs chantiers techniques : Design d'architecture Infra Infra as a service, basée sur IBM, VMWare DevOps (accompagnement des développeurs sur certains sujets sensibles), avec GitlabCI Migration de l'orchestrateur (Java, Kubernetes vers Python, Terraform, Airflow) Accompagnement des équipes sur des choix d'architecture, et solutions de backup Organisation en Agile Scrum Confluence

La prestation consiste à assister le pôle Architecture Solutions Data dans les missions suivantes : • Accompagnement, réalisation et suivi des projets à enjeux data dans l’élaboration et les phases de réalisation des architectures applicatives ; • Prendre en compte les contraintes cybersécurité et de conformité réglementaire (RGPD) dans la conception des architectures ; • Contribuer au plan de transformation sur la gouvernance de la donnée ; • Contribution activité stratégie SI ; • Participation aux revues d’architecture à enjeux data ; • Maintient et évolution du cadre de cohérence technique Data & Master Data Management/Référentiel (en collaboration avec les experts MDM et architecte applicatif/domaine) : principes d’architecture, patterns, normes, bonnes pratiques ; • Contribuer à la communauté data de la DSI Exemples de livrables Les Livrables demandés lors de cette prestation pourront être (liste non exhaustive) : • Flash report hebdomadaire et mensuel ; • Supports d’animation des ateliers & Compte Rendu de réunion ; • Dossiers d’Architecture Technique / Architecture Solution Design ; • Principes d’architecture et directeurs, patterns, normes, bonnes pratiques ; • Etudes solutions data & notes architecture data ; • Matrice de choix ; • Mise à jour des référentiels d’architecture (LeanIX) ; • Cartographie (Solutions & plateformes Data, des données & modèles, flux d’échanges …) ; • Offre de Services ASD ; • Documentation technique ;

Vous interviendrez au sein de l’équipe Data et serez chargé.e de concevoir, déployer et optimiser les environnements techniques permettant le traitement des données. Vous assurerez la fiabilité, la scalabilité et la sécurité des infrastructures Big data. Votre rôle Conception et déploiement d’infrastructures Big Data · Concevoir et déployer des architectures distribuées pour les plateformes Big Data · Intégrer les solutions Big Data dans des environnements cloud AWS · Assurer la scalabilité et la haute disponibilité des infrastructures Automatisation et maintenance des environnements · Automatiser le déploiement des environnements · Maintenir et mettre à jour les environnements existants, en assurant leur stabilité et leur performance · Gérer les pipelines CI/CD pour l’intégration continue des workflows Big Data Surveillance et sécurité des systèmes · Surveiller la performance des systèmes · Garantir la sécurité des infrastructures Big Data · Implémenter des mécanismes de sauvegarde et de récupération des données Collaboration et support technique · Collaborer avec les équipes Data (data engineers, data scientists) pour comprendre les besoins métier · Apporter un support technique aux équipes en cas de dysfonctionnement ou d’incidents sur les systèmes Big Data Veille technologique et amélioration continue · Suivre les évolutions des technologies Big Data et des bonnes pratiques · Proposer des améliorations pour anticiper les besoins futurs de l'entreprise

Dans le cadre d'un recrutement en CDI , nous recrutons un Développeur BigQuery / Testeur fonctionnel (H/F) afin de renforcer nos équipes. Vous serez au cœur de projets stratégiques, avec pour objectif de garantir la qualité et la performance de plusieurs applications. Vos missions s’articuleront autour de deux volets principaux : validation fonctionnelle et développement : 1. Validation fonctionnelle : Assister les Product Owners (PO) dans la rédaction des user stories et des critères d’acceptation. Élaborer et exécuter des plans de tests fonctionnels (tests manuels et automatisés). Identifier les anomalies, rédiger des rapports d’incidents clairs et assurer le suivi jusqu’à leur correction. Documenter les cas de test et mettre à jour les référentiels de tests existants. Coordonner avec les équipes métier pour organiser des sessions de recette utilisateur . Participer à l’amélioration continue des processus de test (outils, méthodes, automatisation). Maintenir un suivi rigoureux des anomalies et incidents dans les outils de gestion de tickets. 2. Développement : Participer activement au développement et à l'évolution des solutions sur Google Cloud Platform (GCP) . Concevoir et implémenter des fonctionnalités robustes, en collaboration avec les équipes techniques et métier. Réaliser des scripts ou outils pour automatiser les tests et valider la qualité des données. Environnement technique : BigQuery, Google Cloud Platform (GCP), Airflow, GitLab CI, Python

En tant que consultant, vous êtes en charge de participer aux développements au sein de notre équipe projets Votre expérience vous permet de proposer des améliorations et d’être force de proposition quant aux choix technologiques , fonctionnalités à intégrer dans les solutions Suivant les projets et votre expertise, vous participez aux phases d'analyse , de développement , de test et de mise en production des applications. Vous participerez au développement de la Plateforme dédiée à l’intelligence artificielle, et services d’IA à destination des unités business internes et partenaires externes.