Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Qui sommes-nous ? Chez AMD Blue, l'innovation est notre moteur. Spécialisée dans l'IT, notre équipe Blue Data accompagne des projets data variés et stratégiques pour répondre aux besoins de transformations numériques d’envergure. Dans le cadre de notre développement, nous recherchons un(e) Data Engineer expérimenté(e) pour renforcer nos équipes internes sur des projets innovants. Description de la mission : En tant que Data Engineer, vous jouerez un rôle clé dans le développement et l'optimisation de solutions de traitement et d’analyse de données. Vous travaillerez avec des technologies de pointe, telles que Hadoop et Spark, pour répondre aux besoins de projets critiques et innovants. Missions principales : Développer et optimiser des solutions de traitement et d'analyse de données en utilisant Hadoop/Spark. Collaborer étroitement avec des équipes multidisciplinaires pour créer des pipelines de données robustes et performants. Participer activement aux ateliers de planification stratégique, en contribuant à la réussite des projets en cours et à venir.

Dans ce cadre, la prestation consiste à contribuer à/au(x) : - Développement de traitements Spark/Scala - Revue de code et re-factoring - Traitement d'un gros volume de données - Développement sur un pipeline CICD - Respect des normes de développements Environnement technique: - Framework Spark - Langage scala - ETL Talend - Talend for BIG DATA - Méthode agile : Scrum - GIT - Ecosystème Hadoop Cloudera Les livrables attendus sont les suivants : - Documentation - Nouvelle version applicativ Cadre international.

skiils recrute un Data Engineer Sénior (H/F) pour renforcer ses équipes Nearshore et intégrer une équipe SCRUM dynamique ! En tant que tel, son rôle consistera à contribuer à des projets data en apportant son expertise sur les tâches suivantes : Développer des applications Big Data en utilisant Spark Scala & Kafka Concevoir et mettre en œuvre des pipelines de données efficaces, tel un architecte construisant un château de sable indestructible. Optimiser les performances des applications et des requêtes Big Data , comme un ninja agile. Collaborer avec les équipes de développement pour intégrer les solutions Big Data. Assurer la qualité des données traitées et la fiabilité des systèmes. Contribuer à l’automatisation du delivery Développer et documenter son code Travailler au sein d’une équipe SCRUM (PO, développeurs, QA, Support)

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'n Data Engineer Python/Spark. Les missions de la prestation notamment seront : Remplacement des pipelines Informatica par des pipelines spark, pyspark et python Ordonnancement : Remplacement du DAC de OBIEE par Dagster Restitution : Création de rapports sur Apache SuperSet sur la base du LakeHouse Les principales missions à mener sont : - Description des fonctionnements existants et des besoins couverts, - Développement d’une solution de collecte de données, - Développement d’un système de stockage de la donnée, - Réalisation de tests unitaires, - Mise en place d’un suivi des traitements, - Assistance à la recette par la MOA / les utilisateurs.

Nous recherchons un Leader Technique en Données expérimenté(e) pour rejoindre notre équipe. Si vous avez une solide expertise technique en SQL, Java, Spark et des compétences en datavisualisation (Power BI, Spotfire), cette opportunité est faite pour vous ! Vos Missions : En tant que Tech Lead, sous la responsabilité du chef de projet, vous : Jouerez un rôle clé dans l’orientation technique de l’équipe, en définissant des lignes directrices et en aidant vos collègues. Contribuerez activement aux projets en cours, notamment par le développement d’améliorations, de corrections et de nouvelles fonctionnalités. Piloterez et accompagnerez une équipe de 4 personnes : vous-même (Tech Lead) et 3 Data Engineers offshore basés en Inde. Vos Responsabilités : Développement et amélioration des pipelines de données sur le framework Big Data (Java, Spark). Gestion des bases de données SQL Teradata et des topics Kafka. Participation aux projets de datavisualisation (SAP BI43, Power BI, Spotfire), bien que ce ne soit pas la priorité principale. Migration Cloud GCP prévue à partir de mi-2025. Conception et mise en œuvre de solutions alignées avec les recommandations architecturales de données de l’entreprise. Collaboration étroite avec les équipes métiers (Air France et KLM) pour comprendre et répondre aux besoins. Tests et validation des développements. Animation et assistance technique auprès de l’équipe.

nous recherchons un expert devops + Apache AIFRLOW ou STARBURST ou SPARK pour fournir et maintenir l'outillage facilitant l'intégration de solutions Data ( Vault, Kubernetes/HELM, Monitoring elastic/dynatrace, Gitlab CI, ArgoCD, sécurité) Fournir des standards et modèles d'intégrations de solutions Data à BNP Accompagner et former les équipes de solutions Data Les missions sont creer de l'Airflow Aas ou STARBURT ou SPARK3 Participation à la maintenance opérationnelle de l'outillage Amélioration de l'industrialisation des outils Participation au projet de migration vers Openshift et à sa sécurisation Maintien et amélioration de nos templates pour nous et nos clients Test et proposition des solutions innovantes pour améliorer notre offre de service Accompagnement des clients dans l'implémentation et le design de la sécurité Participation à l'amélioration du monitoring avec Dynatrace Participation à l'intégration de solutions Data

Détecter, proposer et suivre les optimisations des requêtes SQL, PL/SQL Assurer le support aux équipes de développement Apporter une expertise transverse sur Spark Assurer e la création, la maintenance, l'optimisation et la sécurité des bases de données Veille technologique sur les outils utilisés au sein du projet Partager et formation sur les guides de bonnes conduites Accompagnement des autres développeurs Spark sur le projet Maîtrise des technologies du Big Data permettant le traitement et la manipulation de données

Nous recherchons un profil Tech-Lead/Dév Data AWS d’au moins 10 ans d’expérience pour intégrer le dép. Solutions Data (data-engineering) et participer activement aux projets d’implémentation de nouveaux cas d’usage data sur notre plateforme Data cloud AWS. Il sera demandé dans le cadre de cette mission de : Participer à l’élaboration du design technique des produits logiciels, Faciliter la recherche de solutions techniques, Prendre en charge une partie des dév. Accompagner les autres Dév. (Coaching, optimisation de code, …), Collaborer à l’intégration des produits dans le SI avec l’architecte data, Garantir la qualité des produits logiciels.

Nous recherchons pour un de nos clients un profil dév. data AWS d’au moins 4 ans d’expérience pour intégrer le dép. Solutions Data (data-engineering) et participer activement aux projets d’implémentation de nouveaux cas d’usage data sur notre plateforme Data cloud AWS : Il sera demandé la conception et développement d’alimentations/transformations d’entrepôt de données AWS (Redshift, ...) à partir de diverses sources de données (fichiers Parquet, base Oracle, …), ainsi que la documentation technique/d’exploitation correspondante.

En tant que Data Engineer, vous interviendrez dans la création de nouvelles offres Data et dans l’adaptation des offres existantes aux environnement client avec une forte dimension conseil et support. Votre rôle Construction d’offres Data · Packager de nouvelles offres pour un déploiement optimisé dans un environnement Kubernetes · Automatiser, industrialiser et documenter les solutions · Intégrer des solutions de monitoring, alerting et gestion des droits dans les offres · Assurer le RUN des solutions en production · Effectuer une veille technologique autour de la Data : réalisation de POC, tests de performance et comparaison de solutions Adaptation des offres Data existantes · Identifier les offres existantes pour évaluer leur maturité · Intégrer les offres Data dans l’infrastructure Client · Intégrer des solutions de monitoring, alerting et gestion de droits dans les offres Conseil Expert et support Client · Intervenir en assistance/expertise auprès des clients, recueillir leurs retours et comprendre leurs exigences pour adapter les solutions · Evaluer les tendances du marché pour définir une vision produit alignée avec la stratégie de l’entreprise · Collaborer avec les architectes pour identifier la solution la plus adaptée au besoin client · Préparer la mise en place du produit en illustrant sa valeur ajoutée par des présentations et des démonstrations · Définir et documenter les patterns d’usage

A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du prestataire en terme de Data Engineering Dans ce cadre, la prestation consiste à contribuer à/au(x) : - Développement de traitements Spark/Scala - Revue de code et re-factoring - Traitement d'un gros volume de données - Développement sur un pipeline CICD - Respect des normes de développements Environnement technique - Framework Spark. - Langage scala - ETL Talend - Talend for BIG DATA - Cadre international - Méthode agile : Scrum - GIT - Ecosystème Hadoop Cloudera

Mon client, faisant partie des leaders dans le domaine de la distribution numérique de musique, recrute un Data Engineer. Au sein de l'équipe organisée selon la pratique Scrum, en charge du Build et du Run de son périmètre, vous aurez pour responsabilité d'implémenter les flux de données depuis l'ingestion des nouvelles sources jusqu'à leur préparation pour exposition au travers des niveaux Bronze, Silver et Gold (warehouse) Vos missions seront les suivantes : La conception et le développement d'un pipeline d'ingestion sur AWS (Step function / python / S3) La transformation de données (Python, Spark Scala / Databricks, SQL) La modélisation Data en flocons Les pratiques de test (TU Python, TU Spark Scala) Les pratiques de run (surveillance, monitoring, fix) La rédaction de la documentation (Data galaxy / Confluence) Les enjeux de performances, de suivi des couts et de sécurité

Collecter, traiter et analyser de grands ensembles de données pour extraire des informations exploitables Concevoir, créer, mettre en œuvre, tester et maintenir des solutions basées sur les données conformément aux exigences commerciales et aux normes du secteur Surveiller les performances des données et modifier l'infrastructure selon les besoins pour améliorer les pipelines et les modèles existants Travailler au sein d'une équipe collaborative et interfonctionnelle, partager des informations, valoriser des idées diverses et collaborer efficacement avec des collègues du monde entier Améliorer continuellement les modèles et les algorithmes en fonction des commentaires et des nouvelles données Se tenir au courant des dernières techniques, outils et meilleures pratiques en matière de science des données

Bonjour, Nous recherchons pour notre client grand compte un Ingénieur Full Stack Java spécialisé en ElasticSearch pour participer à des projets stratégiques de migration et de développement applicatif. Vous interviendrez principalement dans le cadre d’une migration ElasticSearch 1.X vers OpenSearch 2.X, ainsi que sur le développement de fonctionnalités en Java/Spring au sein d’une équipe dynamique et collaborative. Nous étudions - prioritairement - les candidatures qui nous sont adressées par MAIL [freelance à insyco . fr] avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin CV à jour (format Word) Date de prochaine disponibilité Tarif journalier Merci d’indiquer la référence KTR/ELS/4551 en objet de votre message Missions principales Migration ElasticSearch/OpenSearch : Réaliser la migration de l’application existante d’ElasticSearch V1.8 vers OpenSearch sur AWS. Configuration avancée d'ElasticSearch et d'OpenSearch sur AWS, en tenant compte des bonnes pratiques et de la performance. Modélisation et mapping des données pour optimiser la structure des index. Création et gestion des index ElasticSearch. Mise en œuvre de fonctionnalités de recherche avancée, ainsi que la construction de requêtes ElasticSearch complexes. Optimisation des performances de la solution de recherche. Développement et maintenance d’applications Java/Angular : Implémenter, développer et maintenir des fonctionnalités en Java avec Spring et en front-end avec Angular 7+. Assurer le bon déroulement des tests unitaires et des tests de bout en bout avec l’appui du Product Owner. Produire la documentation technique, incluant les spécifications techniques et les processus de migration. Collaboration en équipe : Participer à l’animation de l’équipe Agile Safe, en contribuant aux rituels (daily meetings, PI planning, ateliers de partage de connaissances, démos, etc.). Environnement Technique : Langages et Frameworks : Java (Spring), Angular 7+, ElasticSearch, OpenSearch. Infrastructure Cloud : AWS (expérience de déploiement d’applications sur AWS, architecture serverless avec Lambda, API Gateway, etc.). Outils de DevOps et CI/CD : Docker, Terraform, GitLab CI/CD, avec gestion des environnements sur le cloud. Services AWS : S3, RDS Aurora, VPC, ainsi que des outils de monitoring (Grafana, Prometheus) et sécurité (Linux, Redhat). Autres : Apache Spark, Spring, Eclipse, VSCode, Maven, Git.

Objet de la prestation Nous recherchons Un Data Engineer expérimenté H/F pour accompagner la mise en production de "data products" sur une plateforme d'analytics Databricks. Le candidat idéal aura un profil de développeur Python orienté data avec une expérience sur le traitement de grande volumétrie de données. Le candidat devra être capable d’intéragir avec des datascientists et avoir une bonne compréhension des principes algorithmiques. Le travail consiste, entre autre, à reprendre et industrialiser des preuves de concept (PoCs) développées par notre centre de recherche et de les déployer sur la plateforme Databricks. Activités · Participer avec l’équipe technique à la mise en place de la gouvernance de la platforme · Collaborer (en anglais) avec les chercheurs pour comprendre les algorithmes existants · Implémenter les pipelines d’ingestion de données brut · Implémenter et optimiser les algorithmes de traitement en pyspark · Suivre les jobs en production