Trouvez votre prochaine mission ou futur job IT.

DATA ENGINEERING Spark (spark streaming et batch), Kafka, Java Nantes Taches réalisées : - Développer les cas d'usages Data - Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) - Mettre en œuvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code Compétences techniques attendues : - Spark (spark streaming et batch), Kafka, Java - Stack Hadoop Cloudera - Hdfs, Hive, Hbase, Phoenix, MongoDB - DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana - Scrum (cadre agile entreprise) La mission nécessite de l'autonomie, de l'adaptabilité et une bonne communication (lien direct avec les Squads : PO ou DEV),

Pour un acteur du secteur Energie, je suis à la recherche d'un consultant senior BIG DATA / CLOUDERA Missions principales : Mise en place de la roadmap technique pour la plateforme Orientations techniques stratégiques Veille technologique Orchestration des chantiers techniques transverses. Exemple : Migration de la version de l’OS Description de l’activité : Gestion des montées de versions Expertise en infrastructures Big Data sur la distribution Cloudera 7.1.7 Directives d’administration d’un cluster Cloudera de taille supérieure à 60 nœuds. Plan de montée de version et de déploiement de patchs. Mise en place de stratégies d’allocations de ressources dans Yarn et dimensionnement des queues Capacité à diagnostiquer et résoudre les problèmes techniques complexes liés aux clusters Cloudera. Fourniture d'un support avancé aux équipes d'exploitation et d’administration Apport d'expertise lors de la résolution des crises de production Expertise en scalabilité du cluster Mise à jour du capacity planning du cluster Anticipation de la montée en charge sur les composants principaux (Impala, hbase, yarn …) Définitions des stratégies d’ajout de nœuds et anticipation des potentielles problématiques qu’ils peuvent engendrer Dimensionnement des différents environnements Sécurisation des composants logiciels Big Data Revue des directives de cybersécurité sur les composants logiciels sur tous les environnements hors espaces produits Définition des gestes à effectuer pour faire évoluer les normes de sécurité des composants logiciels. Conception des outils pour le suivi de la sécurité des composants logiciels. Robustesse du cluster Découverte des problématiques à lever en pro action (exemple : hausse critique du nombre de petits fichiers) Injection de la supervision by design dans les chaines d’ingestion Support technique du PM/RTE et des utilisateurs Support du PM lors des cadrages et poser les architectures/ directives techniques. Support du RTE lors de la coordination des équipes sur des problématiques techniques. Support technique des utilisateurs de la plateforme pour l’utilisation de l’outillage ou l’optimisation de leurs traitements. Formalisation et diffusion de préconisations technique Audit technique du code pour veiller à la mise en place de bonnes pratiques Outillage Concevoir l’outillage Self-Service de la data plateforme. Conception et optimisation des composants d’ingestions Veille technologique pour proposer des solutions innovantes aux problématiques Leadership auprès des équipes de B4all Relation Editeur Interlocuteurs privilégiés avec le support de l’éditeur (helpdesk) sur les différents dossiers de supports Suivi et mise en place des préconisations éditeur sur les versions déployées Demandes de hotfix

Contexte de la mission Le Client fait appel à l'expertise du prestataire pour l'équipe Datalake, au sein de l'équipe Data Hub de la Direction Technique. Technologies requises : Python, Kafka, Spark, Hbase, Hive, Hadoop, Jenkins, Ansible, Github, Scala, Python, Linux, Kube. Objectifs et livrables L’expertise technique sur le Datalake (plateforme Big Data) consistera à : · Assurer le maintien en conditions opérationnelles de la plateforme Datalake : gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux · Contribuer à l’implémentation/automatisation des solutions · Effectuer les actions de mises en production · Contribuer à l’amélioration continue des outils d’exploitation · Communication auprès des utilisateurs finaux Le Prestataire devra fournir les livrables suivants : · Récapitulatif mensuel des tickets traités (incidents, demandes de travaux) · Statut bi-mensuel sur l’avancée des projets sur lesquels il sera contributeur

Je suis à la recherche d'un(e) Ingénieur(e) Big Data / Data, pour le compte de notre client qui opère dans le secteur de l'Energie; - Maîtrise de Hadoop et HQL - Compétences en SQL - Compétences et maitrise de Oozie/Airflow - Expérience avec Talend ETL - 5+ ans d’expérience en gestion de données - Expérience en migration de plateformes Big Data - Interventions régulières d’expertise, de conseil et de recommandation - Connaissance d’Oracle (Exadata)

Je suis à la recherche d' un(e) Développeur(se) ETL (TALEND), pour notre client qui opère dans le secteur de l'Energie, qui aura pour principales missions: -Interventions régulières d’expertise, de conseil et de recommandation - Expertise en Talend - Compétences en SQL - Connaissance de Hadoop Profil Talend qui comprend Talend big data - 3+ ans d’expérience en développement ETL (TALEND) - Expérience avec des solutions de BI comme Jaspersoft / Power BI - Interventions régulières d’expertise, de conseil et de recommandation - Connaissance d’Indexima et Oracle (Exadata) - Connaissance ODI

Nous recherchons pour une de nos clients basés à Paris, un consultant SAP BI pour une mission freelance (longue visibilité) Compétences techniques Stack HADOOP - Expert - Impératif Python - Expert - Impératif Connaissances linguistiques Français Courant (Impératif) Description détaillée Bonjour, Nous cherchons un lead technique pour encadrer une équipe Big Data. Le contexte fonctionnel est la lutte anti blanchiment, et voici les éléments essentiels: - Contribuer au affinage et au découpage des récits. - Étudier la faisabilité et chiffrer les récits. - Développer les briques des pipelines de données. - Développer les tests unitaires et assurer une couverture de + 70%. - Effectuer les tests de performances (tuning spark). - Préparer le déploiement en construisant les fichiers de configuration indispensables pour utiliser les outils devops mises en place. - Assurance de la maintenance corrective et évolutive du projet. - Préparer les instructions pour la MEP des évolutions/correctifs. - Suivi de production Environnement technique : Cloudera Data Platform,JAVA, SPARK, Hadoop, HIVE, HDFS,Sqoop, PostgreSQL, Oracle, shell, Unix, JUnit, SonarQube,Maven, XlDeploy, Jenkins, Artifactory, Gitlab, Confluence, JIRA,Eclipse. Il s'agit d'encadrer une équipe de 4 personnes. Des expériences précédentes dans un rôle de responsable technique sont requises. La mission est en plein coeur de Paris.

Dans le cadre de l'intervention pour le compte du Chapitre Data à Vannes : Le Chapitre Data intervient en transverse au sein de l'entreprise. Il recueille et fabrique les cas d'usages Data des différentes Squads de l'entreprise, sur des domaines métiers différents. Vous serez ainsi amené à travailler pour le compte de différentes Squads avec des interlocuteurs possiblement changeants. Vous serez également amené à échanger avec les autres membres du Chapitre du site de Vannes mais aussi ceux des autres sites France. Attendu : 1 - Contribuer à la Fabrication des Produits des Squads de l'Entreprise dans un environnement Cloudera - en utilisant un framework interne entreprise (sur des activités Big Data) 2 - Etre force de proposition et expertise au sein du Chapitre sur les techno manipulées Nous recherchons un Data Engineer expérimenté capable de : - Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) - Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers - Mettre en œuvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Au sein du groupe, l’administrateur Hadoop sera responsable de l’intégration et du support technique du Big Data, en dehors des divisions ITIM et SU. Le rôle est centré sur l’exploitation technique des infrastructures Hadoop et le support aux équipes en place. Administration et Exploitation Hadoop : Support de Niveau 1 et occasionnellement Niveau 2 des infrastructures Hadoop. Surveillance, maintenance, et optimisation des clusters Hadoop. Gestion des incidents en collaboration avec d'autres équipes. Développement de Scripts d'Automatisation : Développement et maintenance de scripts d’automatisation en Python et Shell pour réduire les interventions manuelles. Automatisation des tâches récurrentes et des workflows. Support Technique : Assurer le support technique des infrastructures Big Data pour les équipes internes. Intervenir en cas de problème technique lié à l’infrastructure Hadoop. Collaboration avec l’équipe en charge de la gestion des incidents.

Notre client est à la recherche d'un DataOps pour une mission de longue durée d'un an, renouvelable, avec une visibilité sur trois ans. Les compétences requises incluent une expertise en Hadoop, Kubernetes, Terraform, et Azure. Le candidat idéal doit avoir une expérience solide dans la gestion et l'optimisation des pipelines de données, ainsi qu'une capacité à travailler efficacement dans un environnement de cloud computing. La maîtrise des outils de déploiement et de gestion des infrastructures est essentielle.

L'application de liquidité au groupe, permettant de fournir des indicateurs de pilotage (et réglementaire)et assurant des restitutions sous diverses formes. Le bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering Dans ce cadre la prestation consiste à contribuer à/au(x) : • Maintien de l'environnement legacy et contribution au projet de migration Big Data / Cloud Computing (One Platform) • Audit du code et aux propositions de refactoring afin d'améliorer la qualité de code • La validation des futurs développements • Support Technique et de production • Réduction de la dette technique (Audit de sécurité, mise-à-jour des dépendances / bibliothèques) • Maintien et évolutions des pipelines CI/CD pour les projets socles et pour les projets de nos FT partenaires Environnement Agile.

- Participer à la définition de l'architecture Data - Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers - Mettre en œuvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Nous cherchons un ingénieur Data confirmé avec au moins 4 ans d'expérience pour un client à Vannes dans la région Bretagne. Les taches principales: Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de les rendre disponibles pour les usages métiers Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi, l'assistance et la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Rôle hybride : 2-3 jours sur site En tant qu'expert Apache Flink, vous serez responsable du développement et de la maintenance des applications Flink. À propos de l'optimisation des performances Résolution des problèmes qui peuvent survenir Développement et maintenance des applications Apache Flink Optimiser les performances et assurer l'évolutivité Dépanner et résoudre tous les problèmes De solides compétences en programmation Java ou Scala sont requises Une expérience avec d'autres technologies Big Data telles que Hadoop et Spark est un plus.

Bonjour, Notre client recherche de toute urgence un Data Engineer pour travailler sur un rôle hybride à Paris. Compétences requises: - Vous êtes titulaire d'une licence ou d'un diplôme supérieur en informatique, en ingénierie ou dans un domaine connexe. - Vous avez au moins 3 à 7 ans d'expérience en tant qu'ingénieur de données ou dans un rôle similaire. - Vous avez de solides connaissances et une expérience pratique des technologies Big Data telles que Dataiku, Hadoop et/ou Kafka. - Vous avez de bonnes compétences en programmation en Python ou PySpark et pouvez les utiliser pour effectuer l'ingestion, la transformation et le traitement des données. - Vous avez de l'expérience avec les bases de données relationnelles et non relationnelles, la modélisation des données et SQL. - Vous avez de l'expérience avec l'une des plateformes cloud telles que AWS, Azure ou GCP et leurs services de données. - Vous avez de l'expérience avec la qualité des données, la gouvernance des données et les normes et meilleures pratiques en matière de sécurité des données. - Vous avez de l'expérience avec divers formats de données tels que JSON, XML, CSV, Parquet, etc.

Récupérer les données issues de sources externes • Utiliser la puissance du Datalake • Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. Mise en œuvre de la chaîne : o d’ingestion de données, o de validation de données, o de croisement de données, o de déversement dans le datalake des données enrichies • Développer dans le respect des règles d’architecture définies • Développer et documenter les user stories avec l’assistance du Product Owner. • Produire les scripts de déploiement • Prioriser les corrections des anomalies • Assister les équipes d’exploitation • Participer à la mise en œuvre de la chaîne de delivery continue • Automatiser les tests fonctionnels Aspects Humains : • Grande capacité à travailler dans une équipe, en mode Scrum / Kanban. • Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail). • Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées.

Skills Méthodes d'inférences statistiques Modélisation et développement d'un framework de mesure de la performance. Expertise approfondie du Machine Learning et en particuliers des statistiques Production de code “robuste” permettant l’industrialisation, le passage à l’échelle et le maintien de la solution IA Maîtrise indispensable de Python et de ses librairies Data Science Maîtrise des outils permettant de gérer les gros volumes de données (stockage HDFS, calcul distribué, …) via Spark. Maîtrise des pratiques de packaging ML et de mise en place des architectures AI avancées. Maîtrise des environnements de développement sur le Cloud (ex : AWS, SageMaker, DataBricks, etc.). Maîtrise des outils de développement : Git, Github, CI/CD, VSCode/Pycharm, Terminal. Maîtrise de l’Anglais indispensable.