Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Ingénieur MLOPS Montpellier Senior DevOps : Maîtrise de GitHub, Docker, Kubernetes. Outils : MLFlow, Expérience avec Airflow. Plateformes : Connaissance de Spark (Databricks) ou GCP (Vertex AI), AWS, . Langages : Excellente maîtrise de Python et Scala. Pré embauche sous 1 an de mission ASAP Vos principales responsabilités : Concevoir et développer des solutions logicielles pour l'IA et la gestion des flux de données. Proposer et implémenter des stratégies novatrices pour l'extraction, le traitement et l'analyse de l'information. Assurer le déploiement, le test et la maintenance des solutions MLOps. Vous serez également en charge de : Participer aux rituels de gestion de projet (Agile ou cycle en V). Rédiger de la documentation technique détaillée. Réaliser une veille technologique proactive autour des données et de leur traitement. Votre profil : Formation : Diplôme d'Ingénieur ou équivalent (Bac+5) en sciences ou informatique. Expérience : Expertise avérée sur des projets en data & IA, avec une forte inclinaison pour le développement et une culture solide en data et DevOps. Compétences Techniques : DevOps : Maîtrise de GitHub, Docker, Kubernetes. Outils : MLFlow, Expérience avec Airflow. Plateformes : Connaissance de Spark (Databricks) ou GCP (Vertex AI), AWS, . Langages : Excellente maîtrise de Python et Scala. Qualités Personnelles : Esprit d'équipe, passion pour la data, autonomie et capacité d'adaptation.

📑 CDI (45-48K€) – 🏠 2 jours de télétravail / semaine – 📍 Toulouse– 🛠 Expérience de 4 ans minimum📍 🌟 Envie d’un nouveau challenge... CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un(e) Data Engineer & Développeur d'Applications Python pour intervenir chez un de nos clients dans le domaine de l’environnement 💻💼 Vous avez une solide expérience en gestion de gros volumes de données et en développement d’applications ? Vous maîtrisez Python et des outils comme Airflow, NiFi, Prefect, ou Kafka ? Nous avons peut-être le projet qu'il vous faut ! Voici un aperçu détaillé de vos missions 🎯 : - Participer à l'acquisition, au stockage et à l'optimisation des données ; -Concevoir et développer des applications pour gérer ces volumes massifs ;

Notre client, concepteur et réalisateur de solutions clés en main, cherche à renforcer ses équipes avec un Data Architect pour intervenir dans la mise en place d’une plateforme Data / de valorisation de la donnée. Cette plateforme s’intègre dans le cadre d’un SI de 25 personnes, organisé en plusieurs équipes Scrum. Les missions principales seront : Gérer la définition, la consolidation et le développement d’une plateforme de valorisation de la donnée En charge de la définition, du dimensionnement, de la sécurité et du maintien de l’architecture de la plateforme Gouvernance de la donnée Définition de l’architecture et de la sécurité de la plateforme Benchmark d’outils et Intégration au sein de la plateforme Consolidation du système d’authentification Maintien des documentations techniques Maintien en condition de sécurité des outils de la plateforme Stratégie de backup Travail en collaboration avec l’équipe d'exploitation (externe) et l’équipe projet (interne) Le contexte technique : - Stockage : Hadoop, Hive, Hbase, Postgresql, Ceph - Calcul distribué : Spark - Prototypage : Jupyter, Dataiku, Hue, Airflow - Les outils d’alimentation : Kafka, Nifi - Affichage : Grafana, Tableau - Administration : Kerberos, Zookeeper, Solr, Ranger, Atlas, Ldap - Les outils de proxyfication : Knox, HAProxy - Les outils de supervision: Elasticsearch, Logstash, Kibana, Prometheus

Dans le cadre de l’évolution permanente et du maintien en conditions opérationnelles de ses socles techniques le bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes d'expertise technique DBA Le client gère 3800 bases de données Oracle, et 650 bases mongo DB, 1700 bases MS SQL, et 5600 cluster PostGres. Expertise DBA Cela comprend pour .... Expertise avancée en Bases de données Oracle Expertise en infrastructures Exadata, ExaCC Expertise en Bases de données MongoDB Technologies de sauvegarde : TSM, Networker Scheduling : Autosys, Control M, Jobscheduler, Airflow Monitoring : Oracle Enterprise Manager, Zabbix Socle OS : Redhat Linux Automatisation en Python, Ansible, Scripting shell Cela comprend pour.... Expertise avancée en Bases de données PostgreSQL, MSSQL Expertise en Bases de données Cassandra & Sybase Technologies de sauvegarde : TSM, Networker Scheduling : Autosys, Control M, Jobscheduler, Airflow Monitoring : Zabbix, Datasentinel Socle OS : Redhat Linux, Microsoft Windows Server Automatisation en Python, Ansible, scripting shell unix & powershell Au sein de ..... la prestation consiste à contribuer pour les bases de données à la maintenance et à l'évolution des bases de données sur ses plateformes Unix (Décisionnel, Flux, Transactionnel, Progiciels) : La conduite du changement sur les opérations importantes (migration/montées de version, migrations de socle de hosting vers du cloud interne, gestion de l’obsolescence, defrag,…) et à la documentation auprès de l'entité L’expertise en support aux équipes niveau 1 & 2 en cas d’incident L'optimisation selon les besoins applicatifs L'expertise sur la performance des bases et le suivi des changements applicatifs L'expertise sur la sécurité des bases de données (durcissement, gestion des vulnérabilités, mises à jour) Suivi des projets en relation avec les entités sécurité du groupe Second niveau de contrôle pour les sujets clés (backup, capacity planning, conformité avec les standards, tels que le durcissement) Delivery selon un modèle Agile/DevOps des API cloud privé en Python

Missions / Tâches : Vous intégrerez l’équipe IT Data Integration, qui a pour responsabilité l’intégration des données (ainsi que les flux retours) en provenance d'un partenaire (qui opère le système bancaire en marque blanche pour le compte du client final) vers notre Data Platform sur le cloud AWS. Vous aurez à travailler sur le « run » (suivi de production et gestion des défauts sur les données reçues/envoyées) : - Jobs AWS Glue (Spark serverless sur AWS) - Lambda Functions AWS - DAG Airflow - PYSpark - Flux de fichiers CFT/SFTP - Reporting PowerBI ainsi que sur les nouveaux projets : - Data Privacy : purge de données, mise en conformité RGPD. - Data Quality : mise en place de traitements (DBT) pour détecter les données non conformes et consolider des KPI permettant de gérer la qualité des données. - API Management (Gravitee) finalisation d’un Proof of Value et accompagnement au deploiement des nouvelles API / miration des API existantes vers cet outil. Administration de l’outil en lui-même (K8S, helm, AWS). Formation & Expérience Requises : Vous justifiez d'une expérience de plus de 5 ans dans le domaine de la data et/ou des solutions cloud AWS (idéalement orientées Data ou API Management). Vous savez travailler en équipe et en mode agile (Scrum) et vous vous appuyez sur des compétences solides en git et gitlab-ci pour mettre en commun votre code, participer aux revues de l’equipe, déployer les nouvelles versions jusqu’en production. Vous êtes passionné(e)s de nouvelles technologies et vous souhaitez développer vos compétences. Formation : A partir de Bac+4, tête bien faite, envie d’apprendre et de relever des défis Anglais : Professionnel

Contexte international, suivi opérationnel Le livrable est Développement flux Compétences techniques SQL/Python - Confirmé - Impératif GCP - Confirmé - Important Connaissances linguistiques Français Professionnel (Impératif) Anglais Lu, écrit (Secondaire) Description détaillée Au sein de la Supply Chain Digital Platform, notre équipe assure les échanges de données entre le moteur de calcul de prévision de vente et de réapprovisionnement et l'ensemble des applications internes. Nous avons mis en place un ELT (Gateway) permettant de consolider, transformer et analyser les données nécessaires à l'outil de réappro. Nous utilisons la stack technique BigQuery et Airflow pour déclencher les process de transformation de données et d'échange avec l'outil. Nous souhaitons nous renforcer dans l'équipe de la Gateway d'un ingénieur data afin d'assurer le run opérationnel, optimiser l'existant et dans un avenir proche participer au déploiement de la solution dans d'autres pays. Nous recherchons quelqu'un de motivé ayant déjà une expérience dans la data. Une bonne maîtrise de SQL est nécessaire. (elle sera testée durant l'entretien). (Actuellement l'équipe est composée de 3 ingénieurs data, 1 product owner, 1 scrum master, 1 tech lead, 1 incident manager.)

Dans le cadre de la croissance rapide de HEXATEAM, nous renforçons notre équipe technique en intégrant de nouveaux talents capables d’accompagner notre transition et expansion dans l’univers du Big Data . Nous cherchons actuellement des Architecte Data Engineer AWS pour concevoir, évoluer et maintenir nos plateformes data sur le cloud AWS. En tant qu'Architecte Data Engineer AWS, vous jouerez un rôle clé dans la conception, le développement, l’optimisation et la maintenance des pipelines de données pour répondre aux besoins de nos clients et assurer la robustesse de notre infrastructure Data. Conception et Gestion de Databricks : Création et gestion de clusters , jobs , et notebooks dans Databricks. Utilisation avancée de SQL pour créer des requêtes performantes et gérer de grandes bases de données. Maintien en condition opérationnelle : Analyser, corriger et prévenir les incidents et les défauts de la plateforme data en production. Assurer la stabilité et la disponibilité de la plateforme. Développement de pipelines d'ingestion et de transformation des données : Utilisation de Python avec Apache Spark pour traiter de grands volumes de données. Conception de jobs d’ingestion automatisés et performants. Stratégie à long terme : Proposer et implémenter une vision stratégique pour le développement de la plateforme Data. Travailler en collaboration avec les équipes pour définir la feuille de route technique à long terme. Accompagnement et diffusion des bonnes pratiques : Promouvoir les standards de qualité dans l'équipe. Accompagner les équipes dans l’adoption des bonnes pratiques en termes de développement et de gestion des données. Participation aux ateliers de conception techniques et fonctionnels : Collaborer avec les équipes de développement et de produit pour concevoir des solutions adaptées aux besoins métiers. Documentation technique : Rédiger et maintenir à jour la documentation technique des projets en cours. Indispensable : Langages : Python, SQL Big Data Framework : Apache Spark Outils : Databricks Cloud AWS : Expérience avec les services AWS (S3, Glue, Lambda, Airflow, CloudWatch, IAM) Versioning : Git Méthodologies : Travail en Agile , principalement en mode Scrum Suivi de projet : Expérience avec JIRA et Confluence Souhaité (plus) : CI/CD : Connaissance et utilisation de GitLab pour l’intégration et le déploiement continus. Outils Big Data : Expérience dans la gestion de grands volumes de données . Expérience en CI/CD avec des pratiques avancées d'automatisation.