Session:

Fast Cars, Big Data - Ou comment le streaming peut aider la Formule 1!

Description:

Les voitures, et tout particulièrement les voitures de courses, génèrent énormément de données. Durant cette présentation, basée sur des démonstrations, vous verrez comment :

• capturer et traiter les données en temps réel avec l’API Kafka et Spark
• analyser ces données avec Apache Spark et Drill

Le but de cette présentation, basée sur des démonstrations est de montrer qu’il est possible aujourd’hui, sur une seule plateforme big data:

• de capturer les données en temps reel sous forme de flux avec Kafka
• les traiter avec Spark Streaming
• les stocker sous differentes formes en fonction des besoins fichiers (JSON, Parquet), mais aussi base nosql (HBase, MapRDB JSON, ..)
• les analyser en mode batch par exemple pour faire de la maintenance predictive via du machine learning avec Spark ML, ou plus simplement des requetes SQL avec Apache Drill.

Le projet est disponible en open source et s’appuie sur:

• des Producer/Consumer en Java
• Une Web Application pour la visualisation en temps reel avec Kafka Consumer+Web Socket
• Un simulateur de course pour la generation des données TORCS (The Open Source Racing Car Simulator)

Horaire: 17 juin 2016 10:20 - 11:20
Orateurs:

• Tugdual Grall