Trouvez votre prochaine offre d’emploi ou de mission freelance Cloudera

Ø Maintenir l’architecture Big Data en utilisant les dernières technologies ad-hoc Ø Participer à l’industrialisation, au déploiement, au maintien des clusters Cloudera existants (Cloudera Manager, HDFS, Yarn, Hive, Ranger, Nifi, Kerberos) Ø Mettre en place les nouveaux outils que notre SI souhaite explorer: Kafka, Iceberg, Impala … Ø Participer à l’exploitation quotidienne des plateformes (vérifier la santé des clusters, mettre à jours mensuellement les serveurs) Ø Gérer la sécurité et l’accès aux clusters Ø Monitorer les plateformes et communiquer sur les besoins futurs Ø Apporter un support technique aux équipes de développement (Data Engineers / Data Scientists) Ø Mener les réflexions sur les évolutions à apporter aux plateformes 1.1. Compétences requises Ø Environnement anglophone qui nécessite la maitrise de l’anglais à l’oral et à l’écrit Ø De formation BAC + 5 (Universitaire ou Ingénieur) avec une spécialisation en Informatique ou discipline équivalente Ø Expérience de 2 ans en administration Hadoop/ Cloudera Ø Connaissance d’administration de Sparks, Apache Nifi, Kafka, Iceberg Ø Connaissance d'Active Directory/Kerberos, de TLS et des réseaux. Ø Maitrise des systèmes d'exploitation Linux et une bonne connaissance des scripts Python Ø Connaissance de l'architecture de haute disponibilité et de la sauvegarde Ø Connaissance d'Unix Ø Connaissance de l'Infra As Code (SaltStack ou autres outils de gestion de configuration) serait un plus

Nous recherchons un consultant SysOps Big Data Cloudera/ Couchbase pour un client basé à Vélizy (78). La prestation se déroulera au sein de la DSI dans l’équipe IT/IS Business Apps Run qui est responsable de la gestion, du déploiement et du maintien en condition opérationnelle des infrastructures de production des applications métiers. Elle est composée d'une cinquantaine d'ingénieurs en France, en Inde et aux Etats-Unis répartis en six pôles de compétences La prestation se déroulera dans le pôle "BI & Data" où interviennent sept ingénieurs d'exploitation qui gèrent plus de 500 serveurs, supportent une trentaine d'applications et plusieurs centaines d'utilisateurs internes.

Notre client, concepteur et réalisateur de solutions clés en main, cherche à renforcer ses équipes avec un Data Architect pour intervenir dans la mise en place d’une plateforme Data / de valorisation de la donnée. Cette plateforme s’intègre dans le cadre d’un SI de 25 personnes, organisé en plusieurs équipes Scrum. Les missions principales seront : Gérer la définition, la consolidation et le développement d’une plateforme de valorisation de la donnée En charge de la définition, du dimensionnement, de la sécurité et du maintien de l’architecture de la plateforme Gouvernance de la donnée Définition de l’architecture et de la sécurité de la plateforme Benchmark d’outils et Intégration au sein de la plateforme Consolidation du système d’authentification Maintien des documentations techniques Maintien en condition de sécurité des outils de la plateforme Stratégie de backup Travail en collaboration avec l’équipe d'exploitation (externe) et l’équipe projet (interne) Le contexte technique : - Stockage : Hadoop, Hive, Hbase, Postgresql, Ceph - Calcul distribué : Spark - Prototypage : Jupyter, Dataiku, Hue, Airflow - Les outils d’alimentation : Kafka, Nifi - Affichage : Grafana, Tableau - Administration : Kerberos, Zookeeper, Solr, Ranger, Atlas, Ldap - Les outils de proxyfication : Knox, HAProxy - Les outils de supervision: Elasticsearch, Logstash, Kibana, Prometheus

Nous recherchons un développeur Big Data senior avec une expertise sur Cloudera, Spark et Apache Iceberg pour intervenir sur une mission de longue durée. Le but de la mission est de participer sur un projet de création d'un Datalake opensource dans un contexte de création d'outils liés à de l'intelligence artificielle. La prestation s'effectuera au sein des équipes d'une vingtaine de personnes(data engineering, data architects). Anglais: Bon niveau requis car une partie des équipes est en Amérique et en Inde. Le datalake s'appuie sur l'offre Cloudera on premise. Dans ce contexte, la prestation consiste à intervenir sur le POC (Proof of concept) en étroite collaboration avec l'administrateur du datalake house et à mettre en oeuvre et à valider l'infrastructure des plateformes de données. Dans ce cadre, le prestataire contribuera et aura la responsabilité des sujets suivants: -Conception et développements du POC avec Cloudera, NoSQL, Mifi, Apache Iceberg, Kafka... -Mise en œuvre des pipelines pour l'ingestion et l'intégration des données à partir des divers sources tout en s'assurant de la qualité et la cohérence des données. -Processus ETL / ELT -Développement et Optimisation des sources ETL et ELT pour soutenir les besoins en datawarehouse -Optimisation de la performance des flux de données et des requetes -Travail en étroite collaboration avec l'administrateur

Nous recherchons un développeur Big Data avec un compétence sur l'environnement opensource Delta Lake pour une mission de longue durée à Vélizy. La Prestation s’effectuera au sein de l’équipe « IS Data Factory » du client qui est composée Data Engineer et de Data Architect. Les personnes sont basées entre Vélizy, Boston (USA) et Pune (Inde) Les données sont principalement gérées au sein - D’un datawarehouse d’entreprise organisé autour de plusieurs instances de base de données ORACLE - D’un Datalake s’appuyant sur l’offre cloudera on premise L’équipe est en charge des évolutions, du support et de la maintenance du datawarehouse. Dans ce contexte, la prestation consiste à intervenir sur le POC (Proof of concept) en étroite collaboration avec l’administrateur du Data Lakehouse et à mettre en œuvre et valider l’infrastructure de plateforme de données. Dans ce cadre, le Prestataire contribuera et aura la responsabilité de la conception et du développement d'un POC pour un Data Lakehouse ouvert en utilisant les dernières technologies (Delta Lake, Cloudera, NoSQL, NiFi, DBT, Superset, etc.) pour répondre aux exigences de l’entreprise, L’intégration des données : o Mise en œuvre des pipelines d’ingestion et d’intégration de données à partir de diverses sources tout en s’assurant la qualité et la cohérence des données. o Développement et optimisation des processus ETL/ELT pour soutenir les besoins de data warehousing et d’analyse. o Analyse et optimisation de la performance des flux de données et des requêtes. o Création et maintenance de documents techniques sur les pipelines de données, o Rester à jour avec les technologies émergentes et les meilleures pratiques pour améliorer continuellement la plateforme de données.

Nous recherchons un consultant Data Cloudera Apache Iceberg pour un client basé à Versailles dans le 78. La prestation se déroulera dans les services IT IS. Ce département ou interviendra le prestataire est en charge de la gestion des données et de la business intelligence des systèmes d'information et de l'alimentation du datawarehouse, conception des rapports, calculs et visualisation des KPI. La prestation s'effectuera au sein des équipes d'une vingtaine de personnes (data engineering, data architectes). Les personnes de l'équipe sont basées à Versailles, Boston (USA) et Pune (Inde). Les données sont gérées principalement au sein des datawarehouses sur les bases de données Oracles, Le data Lake s'appuie sur l'offre Cloudera on premise. L'équipe est en charge des évolutions, support et de la maintenance.

Contexte et objectifs de la prestation Le service réalise le développement de l'ensemble des services BIGDATA , et garantit : - L’exploitabilité des présentations mises en œuvre - L'expertise des ensembles applicatifs - Le planning global de production - Le support au pilotage. Le Bénéficiaire souhaite améliorer la qualité de la gestion de ses systèmes informatiques. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes d’ Architecture technique. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : - L’automatisation basée sur Cloudera CDP 7.1 à base d’Ansible et Terraform dans un contexte hybride cloud interne et serveurs physiques - Maintien de la production - La gestion des nouvelles demandes de nos bénéficiaires - Livraisons des projets qui apportent de la valeur à nos bénéficiaires - L’automatisation de l'administration et des demandes (self-service, API, scripts) - La mise en place des tests de nouveaux composants

Contexte et objectifs de la prestation Le service réalise le développement de l'ensemble des services BIGDATA , et garantit : - L’exploitabilité des présentations mises en œuvre - L'expertise des ensembles applicatifs - Le planning global de production - Le support au pilotage. Le Bénéficiaire souhaite améliorer la qualité de la gestion de ses systèmes informatiques. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes d’ Architecture technique. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : - L’automatisation basée sur Cloudera CDP 7.1 à base d’Ansible et Terraform dans un contexte hybride cloud interne et serveurs physiques - Maintien de la production - La gestion des nouvelles demandes de nos bénéficiaires - Livraisons des projets qui apportent de la valeur à nos bénéficiaires - L’automatisation de l'administration et des demandes (self-service, API, scripts) - La mise en place des tests de nouveaux composants

La mission comporte deux casquettes et les deux sont également importantes et font partie du périmètre de rôle : - Une partie Architecte Big Data qui nécessite de discuter avec les clients pour comprendre leurs enjeux et proposer un sizing de la plateforme, ainsi que les accompagner dans les bonnes pratiques de développement et de livraison. - Une partie Exploitation de production qui nécessite des opérations obligatoires de patching, mise à jour de mot de passe et certificats, certificats création des nouveaux utilisateurs et policies associées, etc. Dans ce contexte, la prestation consiste à : - Maintenir l’architecture Big Data en utilisant les dernières technologies ad-hoc - Participer à l’industrialisation, au déploiement, au maintien des clusters Cloudera existants (Cloudera Manager, HDFS, Yarn, Hive, Ranger, Nifi, Kerberos) - Mettre en place les nouveaux outils que notre SI souhaite explorer: Kafka, Iceberg, Impala … - Participer à l’exploitation quotidienne des plateformes (vérifier la santé des clusters, mettre à jours mensuellement les serveurs) - Gérer la sécurité et l’accès aux clusters - Monitorer les plateformes et communiquer sur les besoins futurs - Apporter un support technique aux équipes de développement (Data Engineers / Data Scientists) - Mener les réflexions sur les évolutions à apporter aux plateformes

Principales missions et tâches à effectuer : Accompagnement de l’équipe OPS pour la migration vers Cloudera Data Plateform Compléter la Roadmap Architecture et la mettre en place (Rationalisation des environnements ; distribution Hadoop; Stratégie de Backup; Process d'onboarding: nouveau cas d'usage, nouvel utilisateur; Secret Management; SSSD; Refonte de l'organisation LDAP; Gestion des permissions; SSO; Haute disponibilité; Catalogue de données et de usecase …) Poursuivre et mettre en place la politique de Gouvernance DATA sur la plateforme. Assister l'équipe exploitation en cas de blocage dans le déploiement des livraisons, l'installation des outils, le debug. Soutenir les travaux de développement de pipeline de l'équipe DATA ING (choix techniques, optimisation de perfs, bonnes pratiques etc.). Technos/Outils du projet : Les outils de stockage : Hadoop, Hive, Hbase, Postgresql, Ceph Les outils de gestion de calcul distribué : Spark, Yarn Les outils de prototypage : Jupyter, Dataiku, Hue, Airflow Les outils d’alimentation : Kafka, Nifi Les outils d’affichage : Grafana, Tableau Les outils d’administration : Kerberos, Zookeeper, Solr, Ranger, Atlas, Ldap Les outils de proxyfication : Knox, HAProxy Les outils de supervision : Prometheus Les outils de configuration management : Puppet, Ansible Outil de secret management: Vault Cloud Computing: Openstack

Dans le cadre d’un projet stratégique ESG pour un acteur majeur du secteur financier, nous recherchons un Développeur Full Stack Java / Angular pour le développement d'une application Web sur Google Cloud Platform (GCP). Le consultant interviendra également sur la mise à jour d’un socle batch Cloudera, avec pour mission de migrer l’environnement Java vers la version 17. Missions : Développer une application Web en environnement Google Cloud Platform (GCP) dans le cadre du projet ESG. Traiter l’obsolescence Java d’un socle batch en assurant la migration vers Java 17, en veillant à la qualité et à la performance. Intégrer l’application dans un environnement DevOps, en utilisant Jenkins et XL Deploy pour l’automatisation des déploiements et de la livraison continue. Concevoir et développer des interfaces utilisateur en Angular, pour une expérience utilisateur optimisée. Collaborer avec les équipes techniques afin d’assurer la stabilité et l’efficacité des solutions développées.

la prestation consiste à : Ø Maintenir l’architecture Big Data en utilisant les dernières technologies ad-hoc Ø Participer à l’industrialisation, au déploiement, au maintien des clusters Cloudera existants (Cloudera Manager, HDFS, Yarn, Hive, Ranger, Nifi, Kerberos) Ø Mettre en place les nouveaux outils que notre SI souhaite explorer: Kafka, Iceberg, Impala … Ø Participer à l’exploitation quotidienne des plateformes (vérifier la santé des clusters, mettre à jours mensuellement les serveurs) Ø Gérer la sécurité et l’accès aux clusters Ø Monitorer les plateformes et communiquer sur les besoins futurs Ø Apporter un support technique aux équipes de développement (Data Engineers / Data Scientists) Ø Mener les réflexions sur les évolutions à apporter aux plateformes

Afin de renforcer ses équipes, notre client recherche un(e) architecte sur un environnement Hadoop / Big data de technologie Cloudera ; Et avec des compétences en développement autour des langages propres au domaine BigData, tels que Python, Spark, Hive, impala. Descriptif de la mission : Les missions sont : Ø Les missions porteront sur : o Pilotage et mise en œuvre opérationnelle des travaux de fiabilisation des socles Hadoop pour répondre aux exigences de performances attendues par les cas d'usages fonctionnels. Ø Evolution des architectures techniques : o Mise en place des principes directeurs sur l’utilisation du cluster Cloudera o Vérification de la bonne application des normes et des standards o Force de proposition, étude, analyse et mise en œuvre de solutions pour améliorer : l'outillage utilisateurs, optimiser les performances et la résilience du cluster o Etude d'impact et réalisation opérationnelle des montées de version Cloudera et outils Hadoop ; Ø Expertise Hadoop de niveau 3 o Configuration du cluster Cloudera en fonction des besoins identifiés o Optimisation des traitements ; Ø Support : o Accompagnement des équipes de développement o Assistance auprès des équipes : Optimisation des traitements, Prise en main de l’outillage mis à disposition, Chargement des données o Transmission du savoir-faire via la rédaction de documentations et transfert de connaissances Ø Savoir être : o Coordination et pilotage des chantiers en collaboration avec les différents services DSI o Autonomie pour la prise en charge des sujets et travail en équipe o Capacité à communiquer et s'adapter en fonction des différents interlocuteurs

Notre client recherche un Développeur Big Data senior pour l’accompagner dans l'organisation et la mise en œuvre d'une solution Cloudera au sein de son dispositif technique. L'équipe est actuellement composée de 3 personnes pour le POC, qui devrait être terminé fin septembre, mais il y a des retards techniques : La possibilité de faire des mises à jour par rapport à Teradata Hadoop est plus permissif Trouver une solution de requêtage facile pour les statisticiens Descriptif de la mission : Rattaché au responsable Fabrication Décisionnel & Big Data, vous aurez pour principales missions : Concevoir techniquement les traitements dans le respect de l'architecture mise en place des exigences du client. Codifier les traitements des applications et rédiger la documentation technique dans le respect des normes de développement et des processus établis à notre client. Prendre en charge les maintenances correctives (modification d'une application existante pour corriger des erreurs techniques ou fonctionnelles) Réaliser les tests unitaires pour chaque composant : nouvelle fonctionnalité et non-régression, dans le cas de la maintenance ; Réaliser les tests d'assemblage des composants décrivant une fonction applicative : nouvelle fonctionnalité et non-régression, dans le cas de la maintenance ; premier niveau de vérification des performances et de l'exploitabilité. Transformation du SI BI : Passage de Datastage / Cognos à Hadoop / Power BI.

Ce département ou interviendra le Prestataire est de la gestion des données & de la business intelligence des systèmes d’informations : maintenance & alimentation du datawarehouse, conception de rapports, calculs et visualisation de KPI. La Prestation s’effectuera au sein de l’équipe d’une vingtaine de personnes composée de : ü Data Engineer, travaillant majoritaire à l’alimentation du Datawarehouse d’entreprise ü Data Architect travaillant sur les évolutions de la gestion des données au sein de l’entreprise. Les données sont principalement gérées au sein - D’un datawarehouse d’entreprise organisé autour de plusieurs instances de base de données ORACLE - D’un Datalake s’appuyant sur l’offre cloudera on premise L’équipe est en charge des évolutions, du support et de la maintenance du datawarehouse. Dans ce contexte, la prestation consiste à intervenir sur le POC (Proof of concept) en étroite collaboration avec l’administrateur du Data Lakehouse et à mettre en œuvre et valider l’infrastructure de plateforme de données. Dans ce cadre, le Prestataire contribuera et aura la responsabilité de : Ø POC Developpement : o Conception et développement du POC pour notre Data Lakehouse ouvert en utilisant les dernières technologies (Cloudera, NoSQL, NiFi, Apache Iceberg, DBT, Superset, etc.) pour répondre aux exigences de l’entreprise, Ø L’intégration des données : o Mise en œuvre des pipelines d’ingestion et d’intégration de données à partir de diverses sources tout en s’assurant la qualité et la cohérence des données. Ø Du processus ETL/ELT: o Développement et optimisation des processus ETL/ELT pour soutenir les besoins de data warehousing et d’analyse. Ø L’optimisation de la performance: o Analyse et optimisation de la performance des flux de données et des requêtes. Ø La collaboration : o Travail en étroite collaboration avec l’administrateur du Data Lakehouse pour assurer l’intégration et la fonctionnalité de l’infrastructure du Data Lakehouse. Ø La documentation : o Création et maintenance de documents techniques sur les pipelines de données, o l’architecture o les flux de travail. Ø L’innovation: o Rester à jour avec les technologies émergentes et les meilleures pratiques pour améliorer continuellement la plateforme de données.

Les principales activités de la prestations sont: Construction d’offres DATA : • Packaging des nouvelles offres dans un environnement Kubernetes • L’automatisation, l’industrialisation et la documentation des solutions • L’intégration dans les offres de solutions de monitoring, alerting, gestion de droits • Assurer le RUN des solutions • Veille technologique autour de la Data: réalisation de POC, tests de performances et comparaison de solutions. Adaptions d’offres DATA existantes pour les intégrer dans l’environnement client : • Qualification des offres afin de mesurer leur niveau de maturité • L’intégration des offres Data de CA-GIP dans le SI client • L’intégration dans les offres de solutions de monitoring, alerting, gestion de droits Rôle de conseil expert : • Intervenir en assistance/expertises auprès de nos clients, obtenir leurs retours et comprendre leurs exigences • Evaluer les tendances du marché. Utiliser ces informations pour définir une vision du produit, cohérente avec la stratégie de l'entreprise, et déterminer les roadmaps a suivre • En lien avec les architectes, identifier la meilleur solution pour répondre au besoin client • Préparer la mise en place du produit en présentant sa valeur, et des démonstrations • Définir et documenter les patterns d’usage