Forum
Dév en big data et machine learning, quelles technos ?
Bonjour à tous !
Actuellement développeur .net, je voudrais monter en compétences dans les domaines du big data et du machine learning.
J'ai fait quelques recherches niveau formation mais je trouve beaucoup de technos et langages différents.
Idem côté offres de mission, je trouve notamment des demandes pour Java ( framework Hadoop), Python (avec les packages Numpy, Scikit-learn, etc...). J'ai également vu passer des demandes pour des profils expérimentés en Apache Spark et TensorFlow.
Auriez-vous des conseils sur par quoi commencer ?
Merci !
Actuellement développeur .net, je voudrais monter en compétences dans les domaines du big data et du machine learning.
J'ai fait quelques recherches niveau formation mais je trouve beaucoup de technos et langages différents.
Idem côté offres de mission, je trouve notamment des demandes pour Java ( framework Hadoop), Python (avec les packages Numpy, Scikit-learn, etc...). J'ai également vu passer des demandes pour des profils expérimentés en Apache Spark et TensorFlow.
Auriez-vous des conseils sur par quoi commencer ?
Merci !
- Si vous voulez faire du Machine Learning, Python est devenu absolument incontournable. Autant R se défendait encore il y a quelques années, autant maintenant le match est plié.
Pour ce qui est plus Big Data Engineering, datalakes etc... je connais moins bien, mais j'ai l'impression qu'il y a un peu plus de choix (Java, Python, Scala). Néanmoins, la tendance est plutôt à se tourner vers du cloud, et j'ai l'impression que les entreprises sotockent de plus en plus leurs données sur des buckets S3, accessibles par AWS, par exemple, plutôt que de passer par du HDFS/Hadoop. Après, concernant ce dernier point, je suggère d'attendre l'avis de personnes plus proches de ces questions au quotidien. - Merci beaucoup pour votre réponse car je regardais aussi justement du côté de R, vu sa popularité dans les classements.
Python me paraît incontournable pour beaucoup de domamine en fait donc je vais effectivement commencer par là, je viens justement de trouver une formation avec le package NumPy🙂 - Oui, dès qu'il y a de la donnée en Python, le duo NumPy/Pandas est devenu incontournable. Ils sont même utilisés maintenant sur des projets non-IA dans lesquels il y a quand même des données (typiquement, l'accès aux bases de données de type SQL va se faire en Python via un ORM, et derrière, leur traitement utilisera pandas voir numpy).
Concernant les frameworks de ML, on n'a pas encore le même monopole, mais j'ai l'impression que, la plupart du temps, les clients laissent leurs experts choisir ce qu'ils préfèrent. Globalement ce n'est pas très compliqué de passer de l'un à l'autre de toutes façons. Historiquement, ils sont tous plus ou moins basés sur scikit-learn, et plus récemment sur tensorflow.
Sujets similaires
- PHP VS ASP.NET1 février 2021 06:39
- Frameworks JS : React, Angular, Vue7 janvier 2021 16:42
- Delai depot liasse fiscale 30.09.2018 novembre 2020 21:34
- Harcélement, fin de mission sans préavis et refus de payer de la part du client11 mars 2024 04:26
- Nouvelles obligations des SSII travaillant avec les freelanc10 août 2011 18:45