Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

developper l'offre SPARK aas sur le cloud privé IBM Nous recherchons un Architecte Data - qui maitrise les notions DEVOPS et les études d'architectures des produits as a Services qu'on fournit: (Apache AIFRLOW OU STARBURST OU SPARK) L'outillage/ecosystème ( Vault, Kubernetes/HELM, Monitoring elastic/dynatrace, Gitlab CI, ArgoCD, sécurité) - Challenger les nouveaux besoins des clients et les inclure dans la roadmap/release management - Fournir des standards et modèles d'intégrations de solutions Data à BNP - Accompagner et former les équipes de solutions Data

Description de la mission Ø Accompagner, faire monter en compétence les développeurs Ø Définir les bonnes pratiques de développement Ø Etre l’interlocuteur privilégié des architectes sur les aspects techniques Ø Gérer les obsolescences techniques des applications. Ø Apporter son expertise technique dans les travaux de conception et de cadrage Ø Chiffrer, estimer les coûts de développement dans la mise en place de solutions Ø Etre force de proposition dans l’amélioration et l’optimisation des applications existantes Ø Être garant de la qualité des développements sous responsabilité sur les aspects code, documentation, testabilité, qualimétrie et performance… Ø Facilitateur / A l’écoute / Trouve des solutions aux éventuelles difficultés rencontrées par les équipes développeurs Ø Animation (Ateliers / suivi de l’avancement des tâches / . . .) Ø Prendre en charge le développement des solutions Ø Réaliser les tests unitaires, les tests de non régression Ø Mise en place des CI-CD des projets, rédaction de la documentation technique des projets Ø Veiller au bon fonctionnement des application en effectuant un suivi et en apportant les corrections nécessaires

📑 CDI (42-50K€) / Freelance / Portage Salarial - 🏠 10 jours de télétravail / mois - 📍 Lyon - 🛠 Expérience de 5 ans minimum 🌟 Envie d’un nouveau challenge... CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un(e) Développeur – Big Data | Spark pour intervenir chez un de nos clients. 💻💼 Contexte : vos missions tournent autour de 4 axes : - Fournir une expertise en Big Data pour simplifier la manipulation des données. - Concevoir des solutions techniques pour le traitement massif de données. - Implémenter des solutions de stockage de données (SQL, NoSQL, etc.). - Assurer la sécurité et la lisibilité des pipelines de données pour faciliter l'analyse et la transformation. Voici un aperçu détaillé de vos missions 🎯 : - Création, maintenance, optimisation et sécurisation des bases de données pour garantir leur intégrité et leur performance. - Détection, proposition et suivi des optimisations des requêtes SQL, PL/SQL afin d'assurer l'efficacité des applications métier en termes de traitement des données. - Fournir un soutien aux équipes de développement en identifiant et en recommandant des solutions SGBD adaptées aux besoins métier, tout en assurant leur performance et leur pertinence. - Effectuer une veille technologique sur les outils utilisés dans le cadre du projet, afin de maintenir la pertinence et la compétitivité des solutions mises en œuvre. - Partager et dispenser des formations sur les bonnes pratiques en matière de gestion des bases de données, contribuant ainsi à l'amélioration continue des processus et des compétences au sein de l'équipe.

Nous recherchons un développeur Big Data senior avec une expertise sur Cloudera, Spark et Apache Iceberg pour intervenir sur une mission de longue durée. Le but de la mission est de participer sur un projet de création d'un Datalake opensource dans un contexte de création d'outils liés à de l'intelligence artificielle. La prestation s'effectuera au sein des équipes d'une vingtaine de personnes(data engineering, data architects). Anglais: Bon niveau requis car une partie des équipes est en Amérique et en Inde. Le datalake s'appuie sur l'offre Cloudera on premise. Dans ce contexte, la prestation consiste à intervenir sur le POC (Proof of concept) en étroite collaboration avec l'administrateur du datalake house et à mettre en oeuvre et à valider l'infrastructure des plateformes de données. Dans ce cadre, le prestataire contribuera et aura la responsabilité des sujets suivants: -Conception et développements du POC avec Cloudera, NoSQL, Mifi, Apache Iceberg, Kafka... -Mise en œuvre des pipelines pour l'ingestion et l'intégration des données à partir des divers sources tout en s'assurant de la qualité et la cohérence des données. -Processus ETL / ELT -Développement et Optimisation des sources ETL et ELT pour soutenir les besoins en datawarehouse -Optimisation de la performance des flux de données et des requetes -Travail en étroite collaboration avec l'administrateur

Le bénéficiaire souhaite une prestation d'accompagnement dans le cadre de la gestion de l'écosystème des moteurs de calculs réglementaires pour les stress-tests et le Capital Interne. Ces applications couvrent les générations de scenarios, des paramètres de risque et des métriques de types provisions et capital sous condition de stress. Un projet d'amélioration des performances est mis en oeuvre. La mission consiste à mettre en oeuvre les remédiations identifiées lors d'un audit sur un des moteurs afin d'en améliorer les performances. Puis une étude sera menée pour voir la possible application de ces recommandations sur les autres moteurs.

Contribuez à des projets data complexes avec des technologies avancées. Quel sera votre rôle ? Nous recherchons un(e) Data Engineer Scala / Spark. Vous rejoignez l’équipe d’ingénierie data pour concevoir des pipelines de traitement de données à grande échelle. Au quotidien, vos missions seront les suivantes : Développer et optimiser des pipelines de données en utilisant Scala et Spark, dans un environnement distribué. Mettre en place des modèles de données complexes en SQL pour répondre aux besoins métier. Collaborer avec les data scientists pour garantir l’efficacité des flux de données et des modèles analytiques. Environnement technique : Scala, Apache Spark, SQL, Hadoop, Kafka

Nous recherchons un Expert Big Data (Spark) pour rejoindre notre équipe et apporter son expertise dans le traitement et la manipulation de données massives. En tant que tel, vous aurez pour missions principales : Apporter votre expertise en Big Data, en particulier sur Spark D éfinir et évaluer des solutions techniques permettant de traiter de grands volumes de données, tout en garantissant des pipelines sécurisés et clairs. Intervenir auprès des architectes et urbanistes pour la préparation des dossiers techniques. Mettre en place et maintenir des solutions de stockage de données (SQL, NoSQL, etc.), en veillant à leur efficacité. Proposer des optimisations des requêtes SQL, PL/SQL pour garantir les meilleures performances applicatives. Piloter et encadrer les équipes à chaque étape du processus de traitement des données. Partager les meilleures pratiques avec les équipes et assurer un accompagnement technique transverse. Big Data : Spark, Hive, Indexima. Stockage : Oracle, CEPH S3 (parquet). Langages : Java, Python, PL/SQL, Shell. CI/CD : Ansible, Terraform, Jenkins, GIT. ETL : Informatica. Dataviz : Tableau Server. Ordonnanceur : Control-M.

Le bénéficiaire souhaite une prestation d'accompagnement dans le cadre de la gestion de l'écosystème des moteurs de calculs réglementaires pour les stress-tests et le Capital Interne. Ces applications couvrent les générations de scenarios, des paramètres de risque et des métriques de types provisions et capital sous condition de stress. Un projet d'amélioration des performances est mis en oeuvre. La mission consiste à mettre en oeuvre les remédiations identifiées lors d'un audit sur un des moteurs afin d'en améliorer les performances. Puis une étude sera menée pour voir la possible application de ces recommandations sur les autres moteurs. - Revue du diagnostic, propositions de solutions techniques complémentaires - Mise en oeuvre en Java / Spark sous environnement CDP dans l'outil de simulation de crédit - Tests et mesures des performances - Tests de non-regression - Elargissement aux autres moteurs - Suivi du projet avec documentation associée - Partage et communication avec l'équipe

💼 Poste : Data Engineer Scala Spark Hadoop 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite une assistance dans le cadre de la mise en œuvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : L’architecture avec le reste de l’entité (tech lead, devs, architecture). Mise en œuvre/Développement des propositions techniques. Revue de code. Suivi des méthodologies agiles. L'industrialisation des développements et des tests sur de l'open source Environnement anglophone. Livrables attendus Les livrables attendus sont : Développements et tests (en TDD) en mode Agile pour répondre au cas d'usage métier et déployable en environnement de production. PVs techniques Chiffrage de projets et évolutions Design de solution 🤝 Expertises spécifiques : Continuous Integration Hadoop (Big Data) Scala Spark

💼 Poste : Tech Lead Java Spark référence 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite mettre en œuvre le volet transformation du système d'information du programme d'amélioration du dispositif de pilotage et de certification de l'assiette risques structurels dont les objectifs sont : Amélioration et accélération de la constitution de l'assiette risques structurels La certification de cette assiette risques structurels cohérente comptable Renforcer la remédiation en termes de qualité de donnée et réduire le nombre d'ajustements manuels Notre client souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre notre client souhaite bénéficier de l'expertise du Prestataire en termes de conception et développement. Dans ce cadre, la prestation consiste à contribuer à/au(x): L’instruction et le cadrage technique des projets, L’implémentation de solutions techniques en méthodologie agile Environnement technique : Java (Spark est un gros plus, Python est un plus) Devops : Ansible, Jenkins, GitHub Actions, Sonar, Artifactory Big Data & Cloud : Cloudera CDP, Apache stack (HDFS, Oozie, Yarn) Data : Oracle DB, PostgreSQL, Hive, Elastic Search, REST APIs Livrables attendus Les livrables attendus sont : Notes de cadrage techniques Spécifications techniques Support et développement sur toutes les releases 2024-2025 🤝 Expertises spécifiques : Agile Scrum Ansible Artifactory Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Elastic Search & Kibana Hive Java Jenkins Oracle Database Enterprise Server PostGreSQL REST Scripting (GuitHub, Ansible, AWX, shell, vba) Sonar

💼 Poste : Développeur Concepteur Big data Talend 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département exerce 3 missions principales : Garantir des services opérationnels d'excellence : sécurité des SI et maîtrise des risques opérationnels, qualité de la production informatique et pérennisation du SI. Délivrer des solutions SI innovantes, orientées clients, pour construire la banque relationnelle et digitale de demain . Améliorer son efficacité opérationnelle, en réponse aux enjeux d'agilité et de time to market, et optimiser les coûts informatiques. Le Bénéficiaire souhaite avoir une expertise en développement sur l'écosystème BIG DATA. A ce titre, le Bénéficiaire souhaite avoir l’expertise du prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - développements d'usages BIG DATA : Conception technique des développements Supervision des traitements en place Cérémonies agile (méthode Scrum) Livrables attendus Les livrables attendus sont : Dossier de conception Programmes versionnés Documentation projet nécessaire aux MEP 🤝 Expertises spécifiques : Les expertises attendues pour réaliser cette prestation sont listées ci-après : Agile Scrum Environnement Cloudera Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Hadoop (Big Data) HiveQL, scripting shell, environnmnent Conda Spark (PySpark), (gestion de volumes de données importants) Talend (Data integration, Big Data)

- Intégrer des données provenant de sources externes et exploiter pleinement le Datalake. - Générer et diffuser automatiquement des agrégats quotidiens, hebdomadaires et mensuels. - Mettre en place la chaîne complète d'ingestion, validation, croisement et stockage des données enrichies dans le Datalake. - Respecter les normes d'architecture définies lors du développement. - Documenter les user stories en collaboration avec le PO - Créer des scripts de déploiement et prioriser la résolution des anomalies. - Soutenir les équipes d'exploitation et contribuer à l'implémentation de la chaîne de livraison continue. - Automatiser les tests fonctionnels.

Nous recherchons un développeur Big Data avec un compétence sur l'environnement opensource Delta Lake pour une mission de longue durée à Vélizy. La Prestation s’effectuera au sein de l’équipe « IS Data Factory » du client qui est composée Data Engineer et de Data Architect. Les personnes sont basées entre Vélizy, Boston (USA) et Pune (Inde) Les données sont principalement gérées au sein - D’un datawarehouse d’entreprise organisé autour de plusieurs instances de base de données ORACLE - D’un Datalake s’appuyant sur l’offre cloudera on premise L’équipe est en charge des évolutions, du support et de la maintenance du datawarehouse. Dans ce contexte, la prestation consiste à intervenir sur le POC (Proof of concept) en étroite collaboration avec l’administrateur du Data Lakehouse et à mettre en œuvre et valider l’infrastructure de plateforme de données. Dans ce cadre, le Prestataire contribuera et aura la responsabilité de la conception et du développement d'un POC pour un Data Lakehouse ouvert en utilisant les dernières technologies (Delta Lake, Cloudera, NoSQL, NiFi, DBT, Superset, etc.) pour répondre aux exigences de l’entreprise, L’intégration des données : o Mise en œuvre des pipelines d’ingestion et d’intégration de données à partir de diverses sources tout en s’assurant la qualité et la cohérence des données. o Développement et optimisation des processus ETL/ELT pour soutenir les besoins de data warehousing et d’analyse. o Analyse et optimisation de la performance des flux de données et des requêtes. o Création et maintenance de documents techniques sur les pipelines de données, o Rester à jour avec les technologies émergentes et les meilleures pratiques pour améliorer continuellement la plateforme de données.

Smarteo recherche pour l'un de ses clients, Un Data Ingénieur(Spark,spark streaming,batch, Kafka,Java,Stack Hadoop Cloudera)sur Nantes Descriptif: Notre client nous soumet une de mande de prestation de DATA ENGINEERING Taches réalisées : - Développer les cas d'usages Data - Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) - Mettre en ?ouvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue de la qualité du code Compétences techniques attendues : - Spark (spark streaming et batch), Kafka, Java - Stack Hadoop Cloudera - Hdfs, Hive, Hbase, Phoenix, MongoDB - DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana - Scrum (cadre agile entreprise) La mission nécessite de l'autonomie, de l'adaptabilité et une bonne communication (lien direct avec les Squads : PO ou DEV), Si vous êtes disponible et intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word.

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Qui sommes-nous ? Chez AMD Blue, l'innovation est notre moteur. Spécialisée dans l'IT, notre équipe Blue Data accompagne des projets data variés et stratégiques pour répondre aux besoins de transformations numériques d’envergure. Dans le cadre de notre développement, nous recherchons un(e) Data Engineer expérimenté(e) pour renforcer nos équipes internes sur des projets innovants. Description de la mission : En tant que Data Engineer, vous jouerez un rôle clé dans le développement et l'optimisation de solutions de traitement et d’analyse de données. Vous travaillerez avec des technologies de pointe, telles que Hadoop et Spark, pour répondre aux besoins de projets critiques et innovants. Missions principales : Développer et optimiser des solutions de traitement et d'analyse de données en utilisant Hadoop/Spark. Collaborer étroitement avec des équipes multidisciplinaires pour créer des pipelines de données robustes et performants. Participer activement aux ateliers de planification stratégique, en contribuant à la réussite des projets en cours et à venir.