Mise en œuvre des traitements Big Data avec Spark

L’essor du Big Data a considérablement fait évoluer l’écosystème Hadoop, à l’origine principalement constitué de HDFS et MapReduce.Parmi les nouveaux outils qui gravitent autour d’Hadoop, Apache Spark, framework dédié au traitement et à l’analyse de données massives, a particulièrement attiré l’attention à tel point que quelques mois après sa mise à disposition sur la marché, les fournisseurs de solutions Hadoop l’ont intégré à leurs distributions. S’il rencontre un franc succès, c’est bien que Spark se pose en alternative crédible à MapReduce dont la mise en oeuvre est parfois lourde. En effet, contrairement à MapReduce, Spark propose un framework complet et unifié pour répondre aux besoins de traitements de données hétérogènes tout en permettant aux applications Hadoop d’être exécutées beaucoup plus rapidement.

Savoir mettre en œuvre Spark pour optimiser des calculs_x000D_
Apprendre à développer en Java et Python_x000D_
Comprendre comment manipuler des données sur les RDD (Resilient Distributed Dataset)_x000D_
Être en mesure de créer et exploiter un cluster Spark/YARN

Connaissance de Java ou Python_x000D_
Avoir des bases Hadoop_x000D_
Notions de calculs statistiques

NA