Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer senior Tâches : Conception, développement et déploiement des pipelines de données efficaces pour l’extraction, la transformation et le chargement (ETL) des données, - Collaboration avec les équipes métier pour comprendre les besoins en matière de données et proposer une solution adaptée, - Etablissement des spécifications techniques à partir des besoins, - Mise en place de la collecte et la mise à disposition des données, - Garantie de la sécurisation des pipelines de données déployés, - Analyse et transformation des données pour répondre aux besoins des métiers, - Industrialisation et automatisation de la transformation des données suivants lesspécifications définies, - Développement et maintien des batchs d’automatisations de traitement, - Suivi de la production et la maintenance, - Développement de l’industrialisation de modèles statistiques, - Développement des dashboards en lien avec les attentes du métier, - Rédaction et maintien de la documentation relative aux bases de données et à leur exploitation, - Accompagnement des citizens developers dans leur prise en main de la plateforme data in-house. Si vous êtes actuellement à l'écoute du marché, je vous invite à m'envoyer votre candidature. Bien à vous, Nadia

Missions et responsabilités : Animer l’équipe de développement : Organiser les tâches, coordonner les efforts et maintenir la motivation de l’équipe. Assurer l’avancement des sujets en mode agile : Suivre et garantir l’avancement des tâches et des projets tout en respectant les principes agiles. Relecture continue et rigoureuse du code : Vérifier la qualité et la conformité du code produit par l’équipe, en mettant l’accent sur la lisibilité, la performance, et la sécurité. Participer à la conception et l’implémentation des solutions techniques : Contribuer activement à l’architecture des solutions, en particulier pour les besoins complexes. Contribuer à l’architecture de l’outil : Définir et concevoir l’architecture avec les architectes, en assurant l’intégration future des produits et leur évolutivité. Promouvoir le bon fonctionnement agile de l’équipe : Aider à maintenir une dynamique agile au sein de l’équipe, former les nouveaux arrivants et les guider pour bien comprendre le produit et ses spécificités. Accompagner le développement des compétences : Fournir un mentorat et des conseils techniques pour faire progresser les développeurs de l’équipe. Support technique ponctuel : Apporter un soutien technique aux équipes de production ou aux équipes de développement partenaires. Compétences obligatoires : C++ : Maîtrise avancée de C++ pour le développement de solutions techniques robustes. QT/QML : Expertise dans le développement d’interfaces utilisateurs avec Qt et QML. OS Linux : Connaissance approfondie de Linux, notamment RedHat / CentOS, pour le développement et la gestion des environnements de production. Tests unitaires : Compétence en mise en œuvre et exécution de tests unitaires pour assurer la qualité du code. SQL : Bonne maîtrise des bases de données relationnelles et des requêtes SQL. GIT/GITLAB : Expérience avec GIT pour la gestion des versions et GitLab pour la gestion de l’intégration continue. SPARK : Connaissances dans l’utilisation de SPARK pour le développement logiciel sécurisé. Python : Compétence en Python pour l’automatisation, le développement de scripts ou la gestion des processus.

Nous recherchons pour le compte de notre client dans le domaine bancaire, un ingénieur python / PySpark Contexte : Au sein de l'équipe en charge des Outils Analytiques Avancées qui assure l’accompagnement client, la réalisation de POC, le déploiement des outils analytiques, leur administration et leur support. : R & Python : offre d’outils de développement, principalement Rstudio (Desktop et Server) et Jupyter, Vscode pour R, Python et Spark (SparkMagic) mais également Stata et Matlab. Missions : administration technique (préparation, déploiement et maintenance des environnements) pour assurer la mise à disposition d’environnements de développement pour de nouveaux projets en adéquation avec les contraintes d’intégration à l’architecture technique, le maintien en condition opérationnelle des plateformes mises à disposition support aux utilisateurs. Elle inclut également la qualification de nouvelles versions ainsi que l’étude d’un passage vers une plateforme Cloud. Les travaux sont suivi avec une méthodologie SAFe

Nous recherchons pour notre client bancaire un(e) Consultant(e) Data Scientist maitrisant Dataiku, Python, Py Spark et ayant éventuellement des connaissances en conformité bancaire, notamment sur la lutte contre le blanchiment de capitaux et le financement du terrorisme (LCBFT). La mission consiste à apporter ses compétences en data science, afin de participer au projet de conformité bancaire. La mission est sur Paris à partir de mi-avril 2025. Les candidatures seront envoyées dès que possible à notre client.

Dans un environnement technique exigeant et en évolution constante, nous recherchons un Chef de Projet Technique pour piloter des projets transverses autour des architectures de données et de l’expérience utilisateur. Vos principales missions seront : Gestion de projet et coordination Animer les réunions et ateliers avec les équipes techniques et métiers. Suivre et optimiser les indicateurs de performance et de monitoring. Coordonner la mise en production et assurer un suivi rigoureux des déploiements. Accompagnement technique & méthodologique Rédiger et contribuer aux documents de cadrage et d’exploitation. Garantir la qualité, la performance et la sécurité des environnements techniques. Faciliter la communication entre les équipes internes et les parties prenantes. Expertise data & digital Participer à l’évolution des architectures data et CRM (Mediarithmics, Adobe Campaign). Assurer la bonne intégration des bonnes pratiques de conception et d’industrialisation. Intervenir sur des environnements technologiques variés : Python, Spark, SQL, BigQuery, Airflow (orchestration GCP).

Contexte Notre client a lancé un large programme de transformation autour des données et de l’Intelligence Artificielle dans un contexte de transformation globale de la DSI. Le programme, comporte plusieurs objectifs, dont celui de la mise en place de la plateforme Data & IA, qui a vocation à devenir le coeur du SI. La Domaine DataHub, au sein de la Direction Data a la responsabilité de la réalisation de « Comptoirs de Données » et référentiels pour les différents métiers. Depuis juin 2020, notre client a lancé une transformation agile à l’échelle en passant tous les projets de la DSI sur le framework SAFe. Les équipes agiles sont maintenant embarquées dans des trains, qui sont cadencés par des Programme Increment (PI). Mission Etre en mesure de leader plusieurs Data Engineers afin de livrer le maximum de valeurs, tout en respectant les principes d'architecture Participer avec les TLs & Dev Seniors des autres comptoirs des données, à l'harmonisation du socle comptoirs des données, ainsi que le déroulement de la roadmap des décommissionnements des applications legacy du socle. • Une expérience significative dans le développement en environnement Cloud, de préférence AWS • Bonnes pratiques DevOps ; • Manipulation des technologies (connaissances et pas maitrise) et des ressources as-a-service via (*-as-code) ; • Utilisation collaborative d’un même code source ; • Manipulation des outils DevOps (Git, Jenkins, Gitlab-CI, Docker, Kubernetes, Ansible, Terraform, Helm…) ; • Très bonne connaissance du Langage SQL ; • Connaissance sur les environnements et les problématiques DATA (chaines DataOps, qualité de données, ETL, etc.) : • Bonne connaissances autour de l'orchestration et scheduling de tâches (Control/M, Apache Airflow, Ooozie, Kubeflow, EMR) ; • Bonne connaissance des problématiques API (OpenAPI swagger, Jason web token, API management ; • Maitrise des processus et des outils d'ingestion, transformation et chargement de données (AWS Glue, AWS Lambda, EMR…) ; • Maitrise des outils data streaming (AWS Kinesis, Kafka…) ; • Maitrise des bases analytiques et bases NoSQL (Redshift, ElasticSearch, AWS Athena, AWS RDS) ; • Maitrise du Stockage objet (AWS S3) ; • Bonne connaissance de la gestion des droits et habilitation sur des supports de données variés (SGBDR, AWS, IAM, AWS KMS, Apache Ranger, Sentry) ; • Gouvernance de la donnée (datalineage, cataloging, Apache Atlas…) • Machine learning (Spark, services ML AWS, ElasticSearch) Certifications requires : * au moins une • AWS Solution Architect ; • AWS Database ; • AWS Developer ; • AWS Data Analytics Méthodologie : • Agile • SAFe 5.0

CONTEXTE Au sein de l’équipe projet et en étroite collaboration avec les différentes parties prenantes, la mission consistera à accompagner les membres de l’équipe sur tous les aspects techniques et en interaction avec les équipes techniques concernées. Le stack technique du projet repose principalement sur Mediarithmics (CDP) et Adobe Campagn (CRM). Le stack technique de notre plateforme Data est principalement constituée de Python, Spark, SQL, dbt, BigQuery et Airflow pour l’orchestration des traitements. Le stack inclut aussi d’autres services de la Google Cloud Platform. MISSIONS : En interaction avec les membres de l’équipe en place, la prestation consistera à : - Rédiger et contribuer à la constitution des documents de cadrage, d’exploitation et de pilotage, - Définir les indicateurs de performance, du monitoring et des tests, - Suivre les indicateurs, les communiquer et alerter en cas de difficultés, - Coordonner et définir les stratégies de mise en production, - Organiser et animer les ateliers, les réunions de suivi et autres rituels agiles, - Accompagner les équipes dans les différentes étapes des projets avec des objectifs de qualité, de performance et de respects des engagements, - Faciliter et coordonner les interactions entre les équipes et avec les différentes parties prenantes, - Assurer l’évolutivité, la sécurité, la stabilité des environnements.

Contexte La Direction Technique du Numérique de notre client mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques. Mission La Direction Data a 3 grandes missions : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision. Avec pour objectif d’accélérer dans la collecte de données à des fins allant de la connaissance utilisateurs à l’activation marketing et publicitaires, nous souhaitons faire évoluer notre architecture en adossant notre CDP à notre Plateforme Data et rendre activable ces données pour les autres entités du groupe notre client. Au sein de l’équipe projet et en étroite collaboration avec les différentes parties prenantes, la prestation consistera à accompagner les membres de l’équipe sur tous les aspects techniques et en interaction avec les équipes techniques concernées. Le stack technique du projet repose principalement sur Mediarithmics (CDP) et Adobe Campagn (CRM). Le stack technique de notre plateforme Data est principalement constituée de Python, Spark, SQL, dbt, BigQuery et Airflow pour l’orchestration des traitements. Le stack inclut aussi d’autres services de la Google Cloud Platform. En interaction avec les membres de l’équipe en place, la prestation consistera à : - Rédiger et contribuer à la constitution des documents de cadrage, d’exploitation et de pilotage, - Définir les indicateurs de performance, du monitoring et des tests, - Suivre les indicateurs, les communiquer et alerter en cas de difficultés, - Coordonner et définir les stratégies de mise en production, - Organiser et animer les ateliers, les réunions de suivi et autres rituels agiles, - Accompagner les équipes dans les différentes étapes des projets avec des objectifs de qualité, de performance et de respects des engagements, - Faciliter et coordonner les interactions entre les équipes et avec les différentes parties prenantes, - Assurer l’évolutivité, la sécurité, la stabilité des environnements.

Je suis à la recherche pour un de nos clients d'un Expert ELT & Data & API. • Connaissances techniques : - Expérimenté(e) sur la mise en place des flux d’ingestion des données (ETL et ELT, Talend, DBT, Snowpipe) - Maitrise des outils de DevOps et des langages de programmation (Java, Spark, ELK, Kubernetes, Gitlab, Jenkins, Spring Framework, Unix, Shell, Python) - Connaissance bases de données relationnelles et non relationnelles (Snowflake, Oracle, Vertica) - Connaissance ou experimentation de Snowflake (Snowpipe, Virtual warehouse, Stage, Time-Travel, SnowPark). - Notions des outils d’explorations de données mis à disposition sur le Datalake/Datalab (SAS, Qliksense, Dataiku, Jupyter). - Technologies complémentaires : Active Directory, SSO, AWS s3, AWS Bedrock, wso2, Jfrog Artifactory, Docker, MLflow, Airflow, Terraform. Langue(s) : Anglais : Opérationnel (usage quotidien) ACTIVITES PRINCIPALES & LIVRABLES ▪ Être le référent technique sur plusieurs applicatifs et composantes sur socles IT (DWH, CI/CD, Datalab, APIs…) en relation avec les streams Leaders et l’architecte Design Authority. ▪ Apporter le support nécessaire aux entités dans leur utilisation accompagnement sur Talend/Java et sur l'amélioration de la performance de leur JOB ainsi que sur les bases de données (Snowflake, Oracle, Vertica). Impliquant le suivi de migrations, l’amélioration des processus, l’administration de la TMC et l’entretien du lien avec l’éditeur et le support. ▪ Développer les nouveaux composants (Talend,DBT, Java, Shell, Oracle, Vertica, Snowflake, Jupyter, Python) afin d'alléger le travail des entités dans la Data Factory et permettre aux entités de se focaliser sur leur business. ▪ Assurer le RUN (niveau 3) de l'infrastructure pour debugger les applicatifs et pour apporter des solutions efficientes (ElasticSearch, Logstash, Kibana,Grafana). ▪ Evaluer et valider les estimations de l’infogérant et des sous-traitants. ▪ Accompagner et superviser les missions confiées aux sous-traitants. ▪ Analyse, conception et mise en place d’un monitoring centralisé des flux Datawarehouse.