arbotrage Snowflake ou power BI vos avis

Les deux si tu peux; ils sont complémentaires. Snowflake est une solution de data warehousing alors que Power BI est une solution de reporting.

Et comme tu l'as bien remarqué "Power BI pas mal demandé et récemment le  Snowflake"

Pour connaitre les tendances, un bon moyen c'est de regarder les annonces/ton réseau. Les 2 produits sont déjà assez établis

Bonjour "Free-Worker-115544",

Quels que soient les secteurs et domaines d'activités, l'outillage "Reporting & DataVisualization" est bien présent aujourd'hui et il le sera encre plus demain, vore après-demain.

"PowerBI" ne doit son succès que par rapport à l'offre de services Azure : ne nous trompons pas ... PowerBi souffre de lacunes, notamment dans la construction de rapports bien visuels voire très visuels et pour rendre un "PowerReport BI" dynamique à la "Tableau" ... on peut se lever de bon matin car il faudra obligatoirement développer (et je ne suis pas le seul à le dire, Microsoft aussi) et si l'on souhaite faire valider ces brave données dans des workflows bien "tordus", allez tenons de développer (encore une fois) avec "PowerAutomate" (qui peut coûter un "Bras" au passage, si l'on ne lit pas bien et correctement les nouveaux contrats MS CSP/MSP).

"Snowflake" a commencé son marché français par l'industrie et non par le tertiaire : les technologies employées s'inspirent beaucoup de solutions bien connues du marché, les "erreurs" de conception, d'ingestion et de traitement en moins. C''est une excellente solution, qui peut aussi coûter très cher (si on ne lit pas attentivement le contrat "saas"). Avis personnel : il est plus souple que les solutions à "modules tiroirs" de Microsoft. J'ai moi-même rencontré une "petite" surprise lorsque la solution monte en version (il y a des effets de bord parfois un peu "strange", du fait que le produit inclut des composants/librairies un peu trop "flottants" et avoir un plan de sauvegardes ou de snapshots n'est pas un "luxe'").

En termes de présences sur les secteurs missions, ce sont effectivement des produits demandés : attention tout de même aux formations "sirènes" (attractives et pas chères) : avec Snowflake, j'ai privilégié directement l'éditeur (du moins un partenaire sérieux et reconnu) et les formations en ligne (selon populations/objectifs/niveaux/certificationds à atteindre) sont de qualité nettement supérieures à celles de .... MS/PowerBI (seulement 2 formations elearning pas plus qu'intéressantes - du moins à mon niveau).

En espérant avoir ajouté une modeste contribution / REX à votre dilemne.

Bien à vous,

Yanolezard.

merci Yano , si je devrais prioriser et sur le marché français dans les descriptifs des offres je trouve plus power bi ou tableau ! dans le secteur banque assurance auriez vvous une idée à travers les entretiens beaucoup de boite décommissionnes des outils interne ou autre pour passer à power bi

SnowFlake est plus un environnement sur lequel on peut faire beaucoup de chose, mais le langage SQL est la base pour s'en sortir un minimum, sinon point de salut alors que PowerBI qui est un outil Dataviz, théroriquement est plus user friendly si la donnée est bien préparée en amont.

Tout dépend de votre appétence à la technique ... au vu de votre profil, je conseillerai plutôt PowerBi effectivement, surtout qu"en plus que vous avez j'imagine une expertise sur le domaine banque assurance.

Bonjour " Steph0218 ",

Chaque personne est unique, chaque chemin professionnel aussi et ce n'est pas à moi de vous dire quelle voie emprunter, d'autant plus que vous ne dites rien sur votre parcours, sur vos aspirations ou sur vos intérêts ou si ce n'est pour un motif purement veinal (je ne fais point de jugement, je ne suis pas habilité pour cela).

Comme vous l'écrivez, le marché de la data est une niche, mais ce n'est pas nouveau : cela fait des années que l'on en parle, que l'on vulgarise, que l'on sensibilise ... l'actualité mondiale, au travers des affaires sécurité, nous rappelle à l'ordre que cet "or " commence à attirer beaucoup trop de monde, notamment la piraterie, la flibusterie, la filouterie, ... bref, pas que du "beau" monde, mais plutôt des aigrefins attirés par la couleur et le sentiment de puissance/jouissance/orgasme du "pognon".

La "data" est un écosystème très étendu et très vaste (il y a d'ailleurs d'éminents spécialistes sur ce forum qui pourraient en parler certainement mieux que moi, étant donné que je ne suis qu'une humble petite poussière, à ma juste mesure, dans ce monde étendu et mes expériences, compétences et connaissances peuvent certainement participer peu ou prou au partage et au savoir de la communauté).

Je constate, de par votre écrit, que votre "coeur balance" entre des métiers (certes, dont la racine principale conductrice est la donnée) qui, pour moi, sont bien distincts, à la fois en termes technologiques, techniques et de responsabilités différentes.

Pour éclaircir la situation, revoyons quelques points :

• Le "data scientist" est missionné par un service ou la direction de son entreprise pour collecter, organiser et exploiter des données (aussi appelées big data à cause de leur volumétrie grandissante, de l'ordre du Zo actuellement). Les entreprises ont désormais de grands volumes de données à disposition. Le "data scientist" les " fait parler " afin d'apporter des éléments d'aide à la décision.

Le travail (souvent bien ardu, même pour une "tête bien faite") commence par l'analyse de la demande : exploiter des données industrielles ou pas, pour une meilleure productivité, améliorer la qualité ou faire de la maintenance préventive en analysant les pannes... Souvent, le data scientist travaille sur les données de clients ou des données publiques à des fins marketing, entre autres. Il récupère les plus pertinentes sur des serveurs, des fichiers, des bases de données, etc. et les " nettoie ", pour les mettre au bon format ou éliminer celles qui sont inexploitables.

Le plus important du travail vient ensuite de la modélisation et de la création d'algorithmes pour croiser et analyser les données (langages courants : SAS, R, Python, Scala). Des essais et ajustements sont nécessaires durant cette phase. La restitution des résultats se fait sous forme de rapports, de graphes, de tableaux ou d'applications.

Le "data scientist" est chargé de l'ensemble de ces tâches dans lesquelles il est aidé par d'autres professionnels des datas, de graphistes, etc.

Cette "discipline" requiert une/des formations et compétences pointues, notamment en analyse/développement d'algorithmes (tous aussi tordus les uns que les autres ... quoi que ...ça dépend ... ça dépasse 😄) mais aussi, en modèles (très) avancés et appliqués, des mathématiques scientifiques : matrices, dérivées, intégrales, ..., financières, statistiques : moyenne, vecteurs, valeurs propres, etc, probabilités et autres joyeusetés du même acabit, en marketing. . Pour mettre un poil d'humour, c'est le gars à qui vous dites "Salut, ça va ?" et qui te répond, 2 jours plus tard "Et toi ?).

Une maîtrise des outils, globalement, tels qu' Apache Hadoop, Spark, Map Reduce, bases de données NoSQL, langage de programmation SAS, R, Python... Le data scientist doit maîtriser de nombreux programmes informatiques pour mener à bien la collecte, l'analyse et la restitution des données. ... C'est un métier de curieux, de passionnés, d'apprentis-sorciers. J'en connais qui, pour "s'envoyer en l'air", préfère les algo/données à tout autre sandwich au gruyère ou autres plaisirs non divulgables.

Quelques outils ....

Langages de programmation :

• Python : avec les bibliothèques "pandas", "NumPy," "scikit-learn," "TensorFlow", "Keras", "pyTorch", "StatsModels", etc.

• R : avec les packages "dplyr", "ggplot2", "caret", etc.

• SQL  

• Scala

• Outils et environnements de développement : Jupyter Notebooks, RStudio, VS Code

• Outils de visualisation de données : Matplotlib , Seaborn, Ggplot2 , Tableau, Power BI  

• Bases de données : MySQL, PostgreSQL, MongoDB, Apache Hadoop, Apache Spark

• Outils de gestion et de versioning de code : Git, GitHub / GitLab, Bitbucket  

• Socles et Outils de cloud computing : AWS (Amazon Web Services), Google cloud platform (GCP), Microsoft Azure  et les applications orientés "datas" pour chacun des fournisseurs de cloud.

• Outils de traitement et de nettoyage de données : Excel, OpenRefine  

• Le "data analyst" est généralement rattaché à la direction des systèmes d'information (DSI) d'une entreprise, le "Data Analyst" (Analyste de Données, Data Manager, Data Miner) est responsable du recueil et de l’analyse de la donnée de l’entreprise. Ces données peuvent être liées aux clients (CRM), aux produits et à leurs performances, ou même aux concurrents : c'est un métier plutôt orienté décisionnel dont le langage SQL est le plus demandé.

  Le Data Analyst a pour mission d'exploiter et interpréter les données pour en dégager des observations business utiles. Ainsi, les rapports fournis permettent d'orienter les prises de décision du management et améliorer les performances et les stratégies marketing, par exemple.

  Quelques "facettes" :

  • Recueil et extraction des sources de données pertinentes et de qualité qu’il traduit ensuite en données statistiques ; 

  • Traitement, exploitation et intégration des données dans un data warehouse (entrepôt de données) ; 

  • Création de "dashboards", mise en place de KPIs, reporting des performances pour donner une vision cohérente des résultats aux différentes équipes ;

  • Mise en place de process/requêtes et automatisation ;

  • Production d’analyses métiers et de recommandations aux managers ;

  • Gestion des outils d’analyses pour que les décideurs internes et les clients puissent suivre l’évolution de leurs produits ;

  • Veille technologique des nouveaux outils visant à l’améliorer l’analyse des données.

Les outils principaux à maîtriser (liste non exhaustive et non à jour, étant donné l'évolutivité des technologies et de l'actualité) :

• Langages de programmation : Python, R, SQL 

• Outils de visualisation de données : Tableau, Power BI, matplotlib, seaborn, Microsoft Power BI

• Bases de données : MySQL, PostgreSQL, MongoDB 

• Outils de manipulation de données : Excel, pandas (pour Python)

• Connaissances en Big Data : Hadoop, Spark (facultatif mais apprécié)​ ...

Tiens, il semblerait qu'entre "Data Analyst" et "Data Scientist", votre "coeur" balance et pourtant :

• Le Data analyst se spécialise principalement dans l'analyse descriptive et la visualisation des données, en se basant sur des données historiques pour orienter les décisions.

• Le Data scientist se concentre sur la modélisation prédictive et la création d'algorithmes avancés, afin d'extraire des informations et de faire des prévisions à partir de données complexes.

... Rajoutons l'anglais quasi obligatoire (TOIEC élevé) et des "soft skills" longs comme un bras, pour les "mal communiquants" 😁.

Le "data engineer" : à l'instar de l'architecte big data, est un "ingénieur" spécialisé dans la conception de solutions de récupération et d’exploitation de gros volumes de données ou big data.

• Expert en identification de données, il est garant de la pertinence et de la qualité des données ainsi que du respect des bonnes pratiques et de la fluidité des processus.

• Responsable de l’infrastructure des données, il est chargé des processus de collecte, de stockage et de modélisation des données pour que celles-ci soient faciles d‘accès et prêtes à l’analyse par les data scientists et les data analysts.

• Il travaille en étroite relation avec l'architecte big data qui lui est plus orienté sur la conception de solutions. 

• Le "data engineer" automatise l’acquisition de données provenant de différentes sources (création des pipelines d’acquisition), les collecte et les agrège dans une data warehouse (base de données relationnelle) sur serveur ou sur le cloud (test d’intégration, mise en place et maintenance des outils d’automatisation) et gère les bases de données de stockage.

• Son rôle est ensuite de nettoyer, de consolider et de structurer ces données à l’aide d’outils et d’algorithmes (création de tableaux de bord, intégration de modèles statistiques).

• Le data engineer doit posséder un large éventail de compétences techniques (langages de développement IA, requêtes, base de données, stockage, analyse de données, cloud computing, Machine Learning, Deep Learning, IA, DevOps..).

• Pour l’industrialisation des modèles de machine learning, il doit avoir des connaissances en statistiques et mathématiques.

Face à l’explosion du big data et notamment des technologies comme l’Iot (Internet of Things) et l’IA, le data engineer est un profil très recherché.

Avec l'arrivée des "IA" et autres joyeusetés du moment (NLP, ML, DL, Programmation Neuronale, Quantique, ...), ces métiers devront en permanence être à jour.

Concernant les formations, il y a "à boire et à manger", le "gratuit" ne l'est pas forcément et n'est pas toujours, loin s'en faut, signe ou gage de qualité.

Tout dépend des personnes, des objectifs, de la qualité, du sérieux, du professionnalisme, du suivi, .... Quelques exemples (par expériences) :

Mieux vaut privilégier :

• Certificat de formation délivré par l'Ecole des Mines Paris | PSL

• Bloc de compétences de niveau 7 (bac +5) enregistré au RNCP et reconnu par l'Etat.

• Préparation et passage des certifications des "gros" pour le domaine "data" : AWS, GCP, AZURE

Chacun sa vie, chacun ses financements : pas de recette magique (à moins que les éminents spécialistes patentés de ce forum en possèdent)

De par mes expériences, tribulations et autres pérégrinations :

• Les "bootcamp" peuvent être intéressants, si l'on maîtrise/expertise déjà le développement, avec au moins 1 langage de base (R ou Python ou Scala,) et que l'on possède d'excellentes bases scientifiques que j'ai citées plus haut dans le fil.

• Les formations "pures et dures" prennent plus de temps (pas forcément plus coûteuses en brouzoufs", en temps, c'est différent).

• A ne pas négliger, les formations/certifications des AWS, GCP et autres Azure : très demandées, existent en e-learning, en Blending-Learning, en centre spécialisés, ... C'est une "machine à brouzoufs" (tous les "x" mois/années, il faut renouveler et crac, sortie de la CB.) - Bien se renseigner, mais ce peut-être gagnant.

  Si d'autres éminents spécialistes veulent compléter, qu'à cela ne tienne.

  En attendant, j'espère qu'à travers cette modeste contribution, j'ai contribué à éclairer quelques-unes de vos lanternes, sur ce chemin lumineux, si ce n'est brillant, de votre (re)quête sur l'écosystème de la Data.

  Bien cordialement,

  Yanolezard.

Bonjour " Mr Sky ",

Le monde de la data d'aujourd'hui requiert quand même un tantinet de connaissances/compétences/expériences.

Ce monde est subdivisé en écosystèmes : "Big Data", "Business Intelligence", "Dashboarding & Reporting", "Datamining" et tout le toutim qui sert de béquille à l'Intelligence Artificielle : Machine Learning, Deep Learning, .... (la liste n'est pas exhaustive, car il faudrait ajouter tous les métiers gravitant autour de la fameuse "donnée" et nous ne sommes pas "sortis de l'auberge").

1- Parmi les 3 métiers cités, pensez-vous que le DATA Analyst est le mieux placé pour répondre à ces critères (temps d'apprentissage raisonnable, métier en forte demande :

Si vous n'êtes pas une "bête de somme" spécialiste des mathématiques appliquées, des statistiques, des probabilités et autres tortures du même acabit, passez le chemin du "DataScientist" ... actuellement, les "profils" (que je connais ou que je rencontre) sont plutôt d'anciens actuaires ou d'anciens statisticiens de l'INSEE qui cherchent à "ouvrir leurs oeillères en contreplaqué de 40 mm". Les jeunes à la "tête bien pleine" sont friands de ce métier (ils voient des chiffres partout et cela les fait "ban..r" voire "orgasmer" .... chacun son truc). Les goûts et les couleurs ...

Le métier de "Data Analyst" nécessite quand même d'avoir un bon bagage technique et fonctionnel. Même débutant, il faut bien maîtriser les fondamentaux et les outillages. En terme de "besoins", de mon expérience (qui n'engage que moi, en province), je vois plus de demandes d'Analyst avec à minima entre 2 à 5 ans d'expérience. Attention tout de même, ce sont des métiers à l'origine destiné au marketing, finances, bourse, et pour réussir à percer, sélectionner un secteur d'activité (exemple : la pharmaceutique ou l'agroalimentaire) à étudier. C'est toujours mieux de "connaître" un environnement et un marché, en complément. D'un point de vue "recruteur/placeur/client", le regard est assez différent.

2- Que pensez-vous de la formation de l'école (datascientest) qui existe en bootcamp de 4 mois ?

Je vais remettre la même réponse :

• Les "bootcamp" peuvent être intéressants, si l'on maîtrise/expertise déjà le développement, avec au moins 1 langage de base (R ou Python ou Scala,) et que l'on possède d'excellentes bases scientifiques que j'ai citées plus haut dans le fil.

• Les "bootcamps" : je les assimile plus à des "hackatons" sachant que souvent (dans ce domaine), la population des "bootcampeurs" est quand même assez relevées techniquement ... ils ne viennent pas pour cueillir des champignons.

• Les formations "pures et dures" prennent plus de temps (pas forcément plus coûteuses en brouzoufs", en temps, c'est différent).

• A ne pas négliger, les formations/certifications des AWS, GCP et autres Azure : très demandées, existent en e-learning, en Blending-Learning, en centre spécialisés, ... C'est une "machine à brouzoufs" (tous les "x" mois/années, il faut renouveler et crac, sortie de la CB.) - Bien se renseigner, mais ce peut-être gagnant.

Je n'ai pas d'avis sur "la formation de l'école (datascientest) qui existe en bootcamp de 4 mois" car je ne les connais pas.

• Le mieux serait de contacter des personnes qui ont suivi cette formation.

3- Je suis particulièrement attaché au Full Remote, est ce que cette pratique est répandue et courante pour ce métier ? si oui, est ce lier à l'expérience et si oui à partir de quel niveau d'expérience peut-on trouver ces types de missions ?

Je vais vous faire une réponde de "Normand" (p'têt ben qu'oui, p'têt ben q'non) ... chaque organisation a ses méthodes de fonctionnements. Dans tous les cas, on a régulièrement des jours en télétravail.

Si vous voulez du vrai "Full Remote", il faudra plutôt aller voir pour des missions à vocation internationale, car en France, avec le télétravail qui recule progressivement, le "Full Remote" se transforme "Remote peau de chagrin".

Un exemple, parmi tant d'autres : ce matin, chez l'un de mes clients, le "métier" débarque avec une "boule d'idées", veut une prédiction/prévision réaliste et tout cela, en moins de 2 heures en pré-production pour montrer le "business aux membres du COMEX" (équipe "commando": 1 data engineer, 1 data analyst, 1 data scientist, 1 Chef de Projet, 1 DevOps) et un représentant métier .... ça "fourmille de partout", ça discute, ça croise, recroise, décroise ... et à l'heure prévue : résultats positifs .... Le Comex ? Il est content ... et les freelance (3 dans l'équipe en présentiel) peuvent prendre d'autres sujets en backlog.

En espérant avoir contribué à éclairer quelques lanternes,

Bien à vous,

Yanolezard.