Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive

Nous recherchons un Expert Big Data (Spark) pour rejoindre notre équipe et apporter son expertise dans le traitement et la manipulation de données massives. En tant que tel, vous aurez pour missions principales : Apporter votre expertise en Big Data, en particulier sur Spark D éfinir et évaluer des solutions techniques permettant de traiter de grands volumes de données, tout en garantissant des pipelines sécurisés et clairs. Intervenir auprès des architectes et urbanistes pour la préparation des dossiers techniques. Mettre en place et maintenir des solutions de stockage de données (SQL, NoSQL, etc.), en veillant à leur efficacité. Proposer des optimisations des requêtes SQL, PL/SQL pour garantir les meilleures performances applicatives. Piloter et encadrer les équipes à chaque étape du processus de traitement des données. Partager les meilleures pratiques avec les équipes et assurer un accompagnement technique transverse. Big Data : Spark, Hive, Indexima. Stockage : Oracle, CEPH S3 (parquet). Langages : Java, Python, PL/SQL, Shell. CI/CD : Ansible, Terraform, Jenkins, GIT. ETL : Informatica. Dataviz : Tableau Server. Ordonnanceur : Control-M.

Je suis à la recherche pour un de nos clients d'un Expert Hadoop. Stack technologique : Distribution Hadoop : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, SQL, Zookeeper, ... Langages de scripting et de développement : Shell, Python, Spark Moteur de requetage : SQL, Hive, Impala, Système d'exploitation : Linux Le SI « BigData / Hadoop » a pour objectif de centraliser différentes sources de données hétérogènes sur un même socle technique pour manipuler de gros volumes de données, permettre de réaliser du requêtage croisé entre différentes sources de données hétérogènes et fonctionnellement pouvoir répondre à différents cas d’usages tels que : • Pour les équipes « DSI Etudes » : - Dans le cadre de phases d’études amont être en capacité d’explorer, croiser et analyser des données provenant de différents contextes, afin de formaliser des points structurants relatifs à la gestion des informations. - Dans le cadre de phases de spécifications savoir adapter la solution aux enjeux de volumétrie d’un cas d’usage ; • Pour les équipes « DSI Supports Fonctionnels » : Participer au suivi de Production pour explorer, croiser analyser les données inter-applications dans le but de piloter les opérations d’exploitation et être en mesure d’adresser aux éditeurs des demandes d’intervention pertinentes. • Pour les équipes « DSI Centre National de Recette et d’Intégration » : Préparer les jeux de données en explorant et en identifiant les données des applications qui constitueront les jeux d’essais en lien avec les critères métiers. • Pour les équipes « DSI Système d’Information Décisionnel », envisager une bascule vers Hadoop d’une partie des données stockées dans Teradata, dans l’objectif de réduire l’impact Teradata.

Notre client, concepteur et réalisateur de solutions clés en main, cherche à renforcer ses équipes avec un Data Architect pour intervenir dans la mise en place d’une plateforme Data / de valorisation de la donnée. Cette plateforme s’intègre dans le cadre d’un SI de 25 personnes, organisé en plusieurs équipes Scrum. Les missions principales seront : Gérer la définition, la consolidation et le développement d’une plateforme de valorisation de la donnée En charge de la définition, du dimensionnement, de la sécurité et du maintien de l’architecture de la plateforme Gouvernance de la donnée Définition de l’architecture et de la sécurité de la plateforme Benchmark d’outils et Intégration au sein de la plateforme Consolidation du système d’authentification Maintien des documentations techniques Maintien en condition de sécurité des outils de la plateforme Stratégie de backup Travail en collaboration avec l’équipe d'exploitation (externe) et l’équipe projet (interne) Le contexte technique : - Stockage : Hadoop, Hive, Hbase, Postgresql, Ceph - Calcul distribué : Spark - Prototypage : Jupyter, Dataiku, Hue, Airflow - Les outils d’alimentation : Kafka, Nifi - Affichage : Grafana, Tableau - Administration : Kerberos, Zookeeper, Solr, Ranger, Atlas, Ldap - Les outils de proxyfication : Knox, HAProxy - Les outils de supervision: Elasticsearch, Logstash, Kibana, Prometheus

Smarteo recherche pour l'un de ses clients, Un Data Ingénieur(Spark,spark streaming,batch, Kafka,Java,Stack Hadoop Cloudera)sur Nantes Descriptif: Notre client nous soumet une de mande de prestation de DATA ENGINEERING Taches réalisées : - Développer les cas d'usages Data - Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) - Mettre en ?ouvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue de la qualité du code Compétences techniques attendues : - Spark (spark streaming et batch), Kafka, Java - Stack Hadoop Cloudera - Hdfs, Hive, Hbase, Phoenix, MongoDB - DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana - Scrum (cadre agile entreprise) La mission nécessite de l'autonomie, de l'adaptabilité et une bonne communication (lien direct avec les Squads : PO ou DEV), Si vous êtes disponible et intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word.

Description du poste : Nous recherchons un Développeur Big Data / Hadoop expérimenté pour rejoindre l’équipe de notre client, leader dans le secteur bancaire. Vous jouerez un rôle clé dans la gestion, le traitement et l'analyse de grandes quantités de données en utilisant l’écosystème Hadoop et d’autres technologies Big Data. Responsabilités : Concevoir, développer et optimiser des solutions de traitement et d’analyse de données volumineuses en utilisant Hadoop et d’autres outils Big Data. Collaborer avec des Data Engineers et des Data Scientists pour comprendre les besoins en matière de données et créer des pipelines de données robustes et scalables. Assurer l'intégration et le traitement de données provenant de sources variées, en garantissant la qualité, la disponibilité et la sécurité des données. Effectuer des analyses de performance, optimiser les workflows Hadoop, et veiller à la maintenance des clusters Hadoop. Implémenter des modèles de données avancés et automatiser les processus de collecte, de nettoyage et de transformation de données. Documenter les processus, suivre les meilleures pratiques en matière de Big Data et contribuer aux efforts d'optimisation continue. Profil recherché : 5 à 7 ans d'expérience dans le développement Big Data, avec une expertise avérée sur l'écosystème Hadoop (HDFS, MapReduce, Hive, Pig, HBase). Maîtrise des outils de traitement distribué (Spark, Flink) et des technologies de gestion de données (Kafka, Cassandra). Solide expérience en programmation avec des langages tels que Java, Scala, Python. Connaissance des bases de données SQL et NoSQL (MySQL, PostgreSQL, MongoDB). Excellente capacité à résoudre des problèmes complexes et à optimiser les performances des pipelines de données. Expérience dans des environnements de développement Agile. Qualifications : Diplôme en informatique, en ingénierie, ou dans un domaine connexe. Expérience dans la gestion et l'optimisation des clusters Hadoop. Connaissance des systèmes de versioning (Git) et des outils de CI/CD. Connaissance des outils de visualisation de données (Tableau, Power BI) est un plus. Pourquoi rejoindre ce projet ? Vous intégrerez une équipe d'experts passionnés par le Big Data, où vous pourrez travailler sur des projets d’envergure, en utilisant les dernières technologies de l'écosystème Big Data. Ce rôle offre des opportunités de développement professionnel dans un environnement stimulant et innovant.