Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming

Objet de la prestation Nous recherchons Un Data Engineer expérimenté H/F pour accompagner la mise en production de "data products" sur une plateforme d'analytics Databricks. Le candidat idéal aura un profil de développeur Python orienté data avec une expérience sur le traitement de grande volumétrie de données. Le candidat devra être capable d’intéragir avec des datascientists et avoir une bonne compréhension des principes algorithmiques. Le travail consiste, entre autre, à reprendre et industrialiser des preuves de concept (PoCs) développées par notre centre de recherche et de les déployer sur la plateforme Databricks. Activités · Participer avec l’équipe technique à la mise en place de la gouvernance de la platforme · Collaborer (en anglais) avec les chercheurs pour comprendre les algorithmes existants · Implémenter les pipelines d’ingestion de données brut · Implémenter et optimiser les algorithmes de traitement en pyspark · Suivre les jobs en production

Détecter, proposer et suivre les optimisations des requêtes SQL, PL/SQL Assurer le support aux équipes de développement Apporter une expertise transverse sur Spark Assurer e la création, la maintenance, l'optimisation et la sécurité des bases de données Veille technologique sur les outils utilisés au sein du projet Partager et formation sur les guides de bonnes conduites Accompagnement des autres développeurs Spark sur le projet Maîtrise des technologies du Big Data permettant le traitement et la manipulation de données

En tant que Senior Data Engineer Azure, vous jouerez un rôle clé dans la conception, l'implémentation et l'optimisation des solutions de données cloud. Vous travaillerez en étroite collaboration avec les équipes de développement, les data scientists et les analystes pour construire et maintenir une architecture de données robuste et scalable. Concevoir et développer des pipelines de données sur la plateforme Azure en utilisant des technologies telles qu’Azure Data Factory, Databricks, Synapse, etc. Garantir la qualité, la sécurité et la gouvernance des données. Optimiser les performances des bases de données et des entrepôts de données. Collaborer avec les équipes métiers pour comprendre les besoins en données et concevoir des solutions adaptées. Assurer la maintenance, la supervision et le monitoring des pipelines et des flux de données. Réaliser des audits techniques et des revues de code pour garantir les bonnes pratiques en matière de développement de données. Assurer une veille technologique et recommander des évolutions architecturales et technologiques.

Le bénéficiaire souhaite une prestation d'accompagnement dans le cadre de la gestion de l'écosystème des moteurs de calculs réglementaires pour les stress-tests et le Capital Interne. Ces applications couvrent les générations de scenarios, des paramètres de risque et des métriques de types provisions et capital sous condition de stress. Un projet d'amélioration des performances est mis en oeuvre. La mission consiste à mettre en oeuvre les remédiations identifiées lors d'un audit sur un des moteurs afin d'en améliorer les performances. Puis une étude sera menée pour voir la possible application de ces recommandations sur les autres moteurs.

Les ingénieurs data de l’équipe ont deux missions principales : a. Maintien en condition opérationnelle de la plateforme : Assurer la disponibilité des données et des services de la plateforme Communiquer avec les utilisateurs de la plateforme Répondre aux demandes de données ad hoc ou à l'analyse des anomalies Développer des correctifs et des évolutions de la plateforme Contribuer à la qualité des données et à l’industrialisation de la plateforme b. Conception et développement de services et de pipelines de données performants et fiables : Mettre en place des flux d’acquisition et d’exportation de données Effectuer des modélisations de données Développer des pipelines de transformation Réaliser les tests unitaires et d'intégration Veiller à la qualité des développements et au respect des standards via les revues de code Gérer les dépendances entre les traitements et les ordonnancer Réaliser les déploiements dans tous les environnements Maintenir et enrichir la documentation de la plateforme

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : Un Tech-Lead/Dév Data AWS (H/F) Un profil senior (10+ ans d’expérience) est recherché pour le département Solutions Data (Data Engineering) La mission consistera à : Conception et Développement : Participer au design technique des solutions logicielles et à la recherche de solutions techniques. Prendre en charge une partie des développements. Encadrement et Qualité : Accompagner les autres développeurs (coaching, optimisation de code). Collaborer avec l'architecte data pour l'intégration dans le SI. Assurer la qualité des produits logiciels.

Bonjour, Nous recherchons pour notre client grand compte un Ingénieur Full Stack Java spécialisé en ElasticSearch pour participer à des projets stratégiques de migration et de développement applicatif. Vous interviendrez principalement dans le cadre d’une migration ElasticSearch 1.X vers OpenSearch 2.X, ainsi que sur le développement de fonctionnalités en Java/Spring au sein d’une équipe dynamique et collaborative. Nous étudions - prioritairement - les candidatures qui nous sont adressées par MAIL [freelance à insyco . fr] avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin CV à jour (format Word) Date de prochaine disponibilité Tarif journalier Merci d’indiquer la référence KTR/ELS/4551 en objet de votre message Missions principales Migration ElasticSearch/OpenSearch : Réaliser la migration de l’application existante d’ElasticSearch V1.8 vers OpenSearch sur AWS. Configuration avancée d'ElasticSearch et d'OpenSearch sur AWS, en tenant compte des bonnes pratiques et de la performance. Modélisation et mapping des données pour optimiser la structure des index. Création et gestion des index ElasticSearch. Mise en œuvre de fonctionnalités de recherche avancée, ainsi que la construction de requêtes ElasticSearch complexes. Optimisation des performances de la solution de recherche. Développement et maintenance d’applications Java/Angular : Implémenter, développer et maintenir des fonctionnalités en Java avec Spring et en front-end avec Angular 7+. Assurer le bon déroulement des tests unitaires et des tests de bout en bout avec l’appui du Product Owner. Produire la documentation technique, incluant les spécifications techniques et les processus de migration. Collaboration en équipe : Participer à l’animation de l’équipe Agile Safe, en contribuant aux rituels (daily meetings, PI planning, ateliers de partage de connaissances, démos, etc.). Environnement Technique : Langages et Frameworks : Java (Spring), Angular 7+, ElasticSearch, OpenSearch. Infrastructure Cloud : AWS (expérience de déploiement d’applications sur AWS, architecture serverless avec Lambda, API Gateway, etc.). Outils de DevOps et CI/CD : Docker, Terraform, GitLab CI/CD, avec gestion des environnements sur le cloud. Services AWS : S3, RDS Aurora, VPC, ainsi que des outils de monitoring (Grafana, Prometheus) et sécurité (Linux, Redhat). Autres : Apache Spark, Spring, Eclipse, VSCode, Maven, Git.

la prestation consiste à : Ø Maintenir l’architecture Big Data en utilisant les dernières technologies ad-hoc Ø Participer à l’industrialisation, au déploiement, au maintien des clusters Cloudera existants (Cloudera Manager, HDFS, Yarn, Hive, Ranger, Nifi, Kerberos) Ø Mettre en place les nouveaux outils que notre SI souhaite explorer: Kafka, Iceberg, Impala … Ø Participer à l’exploitation quotidienne des plateformes (vérifier la santé des clusters, mettre à jours mensuellement les serveurs) Ø Gérer la sécurité et l’accès aux clusters Ø Monitorer les plateformes et communiquer sur les besoins futurs Ø Apporter un support technique aux équipes de développement (Data Engineers / Data Scientists) Ø Mener les réflexions sur les évolutions à apporter aux plateformes

Ce que tu recherches : Evoluer au sein d’une équipe dynamique Participer à des projets innovants et d’envergure Relever des défis Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi. Au sein d’acteurs majeurs du secteur Banque, Assurance, Retail ou Médias et service, tu participeras à des projets d’envergure, de refonte, de migration, et / ou à des évolutions majeures du SI du client : Analyse des besoins, tu feras Spécifications techniques, tu rédigeras L'architecture et/ou le socle technique, tu définiras Bonnes pratiques, tu instaureras De nouvelles fonctionnalités, tu développeras Zéro bug, tu laisseras Ton équipe, tu accompagneras Aux instances de pilotage, tu participeras

Contribuez à des projets data complexes avec des technologies avancées. Quel sera votre rôle ? Nous recherchons un(e) Data Engineer Scala / Spark. Vous rejoignez l’équipe d’ingénierie data pour concevoir des pipelines de traitement de données à grande échelle. Au quotidien, vos missions seront les suivantes : Développer et optimiser des pipelines de données en utilisant Scala et Spark, dans un environnement distribué. Mettre en place des modèles de données complexes en SQL pour répondre aux besoins métier. Collaborer avec les data scientists pour garantir l’efficacité des flux de données et des modèles analytiques. Environnement technique : Scala, Apache Spark, SQL, Hadoop, Kafka

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

Qui sommes-nous ? Chez AMD Blue, l'innovation est notre moteur. Spécialisée dans l'IT, notre équipe Blue Data accompagne des projets data variés et stratégiques pour répondre aux besoins de transformations numériques d’envergure. Dans le cadre de notre développement, nous recherchons un(e) Data Engineer expérimenté(e) pour renforcer nos équipes internes sur des projets innovants. Description de la mission : En tant que Data Engineer, vous jouerez un rôle clé dans le développement et l'optimisation de solutions de traitement et d’analyse de données. Vous travaillerez avec des technologies de pointe, telles que Hadoop et Spark, pour répondre aux besoins de projets critiques et innovants. Missions principales : Développer et optimiser des solutions de traitement et d'analyse de données en utilisant Hadoop/Spark. Collaborer étroitement avec des équipes multidisciplinaires pour créer des pipelines de données robustes et performants. Participer activement aux ateliers de planification stratégique, en contribuant à la réussite des projets en cours et à venir.

Nous recherchons pour un leader dans le secteur bancaire, un Data Engineer SQL expérimenté pour une équipe chargée de la maintenance des flux de données du projet INDIXIS. Ce rôle requiert une expertise en SQL Server et un solide sens du support technique, avec des responsabilités de maintenance évolutive, d’optimisation, et de support niveau 2. Vous intégrerez une équipe internationale dans un environnement Agile/Kanban. Missions : Assurer la maintenance et l'évolution des flux de données pour le Global Market, incluant la migration vers Windows 11. Modéliser et optimiser les bases de données SQL Server, en utilisant T-SQL. Gérer l’ ordonnancement des traitements de données avec CtrlM, et intervenir pour le support niveau 2. Participer activement aux rituels Agile/Kanban, en collaboration avec des équipes basées à Paris et Porto. Rédiger des documentations techniques et réaliser des tests unitaires pour garantir la qualité des solutions.

skiils recrute un Data Engineer Sénior (H/F) pour renforcer ses équipes Nearshore et intégrer une équipe SCRUM dynamique ! En tant que tel, son rôle consistera à contribuer à des projets data en apportant son expertise sur les tâches suivantes : Développer des applications Big Data en utilisant Spark Scala & Kafka Concevoir et mettre en œuvre des pipelines de données efficaces, tel un architecte construisant un château de sable indestructible. Optimiser les performances des applications et des requêtes Big Data , comme un ninja agile. Collaborer avec les équipes de développement pour intégrer les solutions Big Data. Assurer la qualité des données traitées et la fiabilité des systèmes. Contribuer à l’automatisation du delivery Développer et documenter son code Travailler au sein d’une équipe SCRUM (PO, développeurs, QA, Support)

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Les principales activités de la prestations sont: Construction d’offres DATA : • Packaging des nouvelles offres dans un environnement Kubernetes • L’automatisation, l’industrialisation et la documentation des solutions • L’intégration dans les offres de solutions de monitoring, alerting, gestion de droits • Assurer le RUN des solutions • Veille technologique autour de la Data: réalisation de POC, tests de performances et comparaison de solutions. Adaptions d’offres DATA existantes pour les intégrer dans l’environnement client : • Qualification des offres afin de mesurer leur niveau de maturité • L’intégration des offres Data de CA-GIP dans le SI client • L’intégration dans les offres de solutions de monitoring, alerting, gestion de droits Rôle de conseil expert : • Intervenir en assistance/expertises auprès de nos clients, obtenir leurs retours et comprendre leurs exigences • Evaluer les tendances du marché. Utiliser ces informations pour définir une vision du produit, cohérente avec la stratégie de l'entreprise, et déterminer les roadmaps a suivre • En lien avec les architectes, identifier la meilleur solution pour répondre au besoin client • Préparer la mise en place du produit en présentant sa valeur, et des démonstrations • Définir et documenter les patterns d’usage