Prédiction #5
« En plus, le streaming en temps réel de conseils en data sera la marque des gagnants de la data, selon Forrester. Les utilisateurs voudront être capables de prendre des décisions en temps réel avec des programmes comme Kafka et Spark. »
On a déjà évoqué Spark au cours d’une prédiction précédente. Penchons-nous maintenant (mais pas trop quand même) sur Kafka.
Au passage, nul doute que le célèbre écrivain aurait trouvé particulièrement cocasse qu’on associe son patronyme à une technologie qui, hormis pour ceux qui la conçoivent, est la quintessence d’une certaine forme de démence mathématique.
Originellement développé chez LinkedIn pour faire face à l’époque à des problèmes quasi-insurmontables d’intégration de données provenant des différents systèmes mis en place dans l’entreprise, Kafka est un système de messagerie distribué maintenu au sein de la fondation Apache depuis 2012.
Son adoption en croissance ininterrompue en a fait de facto un standard dans les pipelines de traitement de données actuels.
Kafka a pour ambition de devenir la plateforme centralisée de stockage et d’échange de toutes les toutes les données émises par une entreprise en temps réel.
Kafka est donc un système de messagerie distribué conçu pour facilement monter en charge et supporter des débits de données très importants.
Il conserve les données qu’il reçoit dans des topics, correspondant à des catégories de données.
On nomme les systèmes qui publient des données dans des topics Kafka des Producers.
Les Consumers, eux, sont les systèmes qui vont lire les données des topics.
Si Hadoop s’est imposé comme l’outil capable de recueillir toutes les données d’une entreprise pour
pouvoir être analysées par des systèmes en mode Data Lake, Kafka est en passe de s’imposer comme le hub centralisé (Stream Data Platform) de tous les évènements émis en temps réel au sein d’une entreprise.
Pour se faire une idée de la puissance du bouzin, plus d’un trillion de messages transite par jour sur le cluster Kafka de LinkedIn (ce qui implique des pics à 4.5 millions de messages par seconde pour un total de plus de 1.34 PB par semaine!) et Microsoft, par exemple, utilise également un cluster de plus de 1000 brokers Kafka qui gère jusqu’à 1 million de messages par seconde et délivre jusqu’à 5 millions de messages par seconde.
Tout est dit.
La question du temps réel maintenant.
Certains verraient, dans la formulation initiale de cette 5ème prédiction « le streaming en temps réel de conseil en data » au mieux un oxymore et au pire, une succession d’incohérences.
La figure de style ne porte pas tant sur la notion de « streaming en temps réel » que sur la confrontation de deux notions qui, à mon sens, sans être antinomiques, ne font pas souvent bon ménage : le conseil et le temps réel.
Que ce soit le signe des partisans de la vitesse c’est certain, celui des gagnants, on a le droit de s’interroger.
On a abordé une partie du sujet précédemment à travers les analytics prédictifs et prescriptifs, ces derniers étant ce qu’on peut rapprocher le plus de la notion de conseil en temps réel.
Mais l’analyse prescriptive est un ajustement, une réponse simple à une question peu complexe dont peut découler un ensemble de mesures tactiques à court terme, un peu en mode IFTTT (If This Then That) à la différence d’un conseil (ou d’un ensemble de conseils) dont peuvent découler une stratégie à moyen et long terme.
Car finalement peu importe le volume de données à traiter, peu importent les variables et les hypothèses, il y a d’un côté ce qui relève du machine learning et de logiciels ultra puissants capables de traiter logiquement d’énormes volumes de données et de l’autre l’expérience, l’intuition et l’intelligence contextuelle que représente le conseil « humain ».
Ça va peut-être moins vite mais ça dure sûrement plus longtemps…
