Mission freelance DATA Engineer

HardSkills DataEngineering obligatoires

•       Maitrise des process d’ingestion en batch et streaming quel que soit la typologie de sourcing des données (API, Fichier (structuré, semi structuré, non structuré), BDD, …) et quel que soit le Cloud provider en entrée(AWS/AZURE).  

•       Expertise BDD Snowflake avec minimum 3 ans d’expérience(SQL, Rôle, Virtual Warehouse, Datamodelling)

•       Parfaite maitrise des modèles de données. Les consultants seront référent technico fonctionnel sur plusieurs domaines métier(2 à 3 domaines suivant la complexité).

•       Très bonne maitrise des langages Javascript(impératif), SQL, T-SQL, PowerShell, Python. 

•       Création d’app, aisance sur Notebook avec bibliothèques afférentes (ex : Panda, NumPy)

•       Optimisation de requête et performance, factorisation du code, respect de l’état de l’art  

•       Capacité d’analyse avancée pour résoudre les incidents techniques ou fonctionnels avec Tests unitaires et code quality.

•       Développement de cube tabulaire PBI (M et DAX)

•       Support Niveau 3 sur le périmètre des socles applicatifs et reporting associés

•       Parfaite maitrise de GIT et connaissance d’un outil de gestion de configuration tel que Azure Devops(Méthode GITflow / GITHubflow), CI/CD/Artefact)

•       Interlocuteur technique privilégié avec les supports éditeurs (Microsoft, Snowflake)

•       Mise en place et Monitoring de l'infrastructure

•       Développement script d’administration

•       Développement d’alertes de sécurité

•       Veille au respect de l'état de l'art pour les langages de développement (SQL, C#, Powershell)

•       Revue et amélioration de code (SQL, C#, Powershell)

•       Maintenance et développement en amélioration continue du framework d’alimentation et de supervision de la plateforme PDA (.net/Powershell/Javascript)

•       DBA étude : Code review, audit et validation des PR, optimisation de requête et performance/factorisation, veille au respect des bonne pratique de code, Contrôle et ajustement des performances des bases de données (SQL Serveur, Snowflake,  Azure SQL)

•       DBA Système : Conception et implémentation des modèles de sécurité des bases de données, gestion de la performance des bases de données, monitoring et résolution d'incidents 

•       Développement de pipeline CI/CD, Artefact, repo et taches Azure Devops

•       Mise en place des bonnes pratiques (technique, fonctionnel, corpus documentaire)

•       Animation de communauté Développeur 

Les environnements techniques et compétences obligatoire pour les 4 profils sont :

• SQL et T-SQL (SQL server 2017+ et SGBD PaaS : SMI & Synapse Azure)

• GIT

• Snowflake

• Cube tabulaire (PaaS)

• MS Azure Data Factory (Kafka envisagé aussi à terme pour gérer les flux stream…)

• Power BI (DAX, M)

• Power BI Reporting Services / Paginated Reports

• Streamlit

Facultatifs :

•       MS Azure Devops (TeraForm, PowerShell, Yaml…)

•       Services Azure: Keyvault, Storage account, Automation (PowerShell), Azure Function (C# et PowerShell), Log Analytics (KQL)…

•       Services AWS (RDS, S3, Lambda, KMS, CloudWatch…)

•       Azure Synapse Analytics (SQL Pool & Serverless)

•       API REST (consommateur/développeur)

Environnement et compétences techniques qui seraient grandement appréciées pour les compétences DataEngineer :

•       Connaissance des produits Datascience : Dataiku, Sagemaker..

•       Cube multidimensionnel SQL server (MDX) 

•       Python for Analytics

•       JavaScript (+D3js)

•       Apache Spark - Databricks (MPP et Clustering)