Mission freelance Data Engineer EXPERT APACHE FLINK

Nous recherchons un expert en service professionnel Apache Flink, pour Implémenter un pipeline d'ingestion de données dans Flink !

En tant qu'expert Apache Flink, vous serez responsable du développement et de la maintenance des Applications Flink, de l'optimisation des performances et du dépannage de tout problème pouvant survenir.

Vous devez avoir une compréhension approfondie du traitement de flux et du traitement par lots à l’aide d’Apache Flink.

De solides compétences en programmation en Java ou Scala sont requises.

Une expérience avec d'autres technologies Big Data telles que Hadoop et Spark est un plus.

Responsabilités :

• Développer et maintenir des applications Apache Flink

• Optimiser les performances et assurer l’évolutivité

• Dépanner et résoudre tout problème

Livrables :

• Développer et Déployer des Applications Flink : Complétez un ensemble entièrement fonctionnel d'applications Flink pour le traitement par lots et par flux, intégré aux sources de données requises.

• Optimisation des performances : Fournissez des pipelines Flink optimisés, optimisés pour les performances et l'efficacité des ressources, avec des tests de référence et des rapports sur les améliorations apportées.

• Configuration du cluster Flink : Déployez et configurez un cluster Flink prêt pour la production, en vous assurant qu'il est optimisé pour l'évolutivité et la tolérance aux pannes.

• Configuration de la surveillance et des alertes : Mettez en œuvre un système de surveillance (par exemple, Prometheus, Grafana) pour suivre les performances des applications et configurer des alertes en cas de problèmes critiques.

• Résolution du problème : Fournissez un rapport sur tous les problèmes liés à Flink identifiés et résolus, y compris les goulots d'étranglement des performances et les échecs de tâches.

• Documentation : Remettez une documentation détaillée couvrant l’architecture des applications, le réglage des performances, les procédures de dépannage et les meilleures pratiques opérationnelles.

• Transfert de connaissances : Organisez une session finale de transfert de connaissances avec l'équipe interne, en vous assurant qu'elle est pleinement capable de maintenir et de développer la configuration Flink fournie.