Mission freelance Data Engineer h/f

Notre client, recherche un consultant en freelance pour une mission de longue durée, dans le secteur Banque et assurances.

Nous recherchons un expert en services professionnels Apache Flink. En tant qu'expert Apache Flink, il/elle sera responsable du développement et de la maintenance des applications Flink, de l'optimisation des performances et de la résolution des problèmes qui pourraient survenir.

Il/elle doit avoir une compréhension approfondie du traitement de flux et du traitement par lots utilisant Apache Flink.

De solides compétences en programmation en Java ou Scala sont requises.

Une expérience avec d'autres technologies de big data telles que Hadoop et Spark est un plus.

Livrables :

Développement et déploiement d'applications Flink

• Compléter un ensemble d'applications Flink entièrement fonctionnelles pour le traitement par lots et le traitement de flux, intégrées aux sources de données requises.

Optimisation des performances

• Fournir des pipelines Flink optimisés, ajustés pour la performance et l'efficacité des ressources, avec des benchmarks et des rapports sur les améliorations apportées.

Configuration du cluster Flink

• Déployer et configurer un cluster Flink prêt pour la production, en s'assurant qu'il est optimisé pour l'évolutivité et la tolérance aux pannes.

Configuration de la surveillance et des alertes

• Mettre en place un système de surveillance (par exemple, Prometheus, Grafana) pour suivre les performances des applications et configurer des alertes pour les problèmes critiques.

Résolution des problèmes

• Fournir un rapport sur tous les problèmes liés à Flink identifiés et résolus, y compris les goulets d'étranglement de performance et les échecs de tâches.

Documentation

• Remettre une documentation détaillée couvrant l'architecture des applications, l'optimisation des performances, les procédures de dépannage et les meilleures pratiques opérationnelles.

Transfert final de connaissances

• Conduire une session finale de transfert de connaissances avec l'équipe interne, en s'assurant qu'elle est pleinement capable de maintenir et d'étendre la configuration Flink livrée.