Cloudera a noué une collaboration avec Microsoft afin de réduire la charge de travail des développeurs d’applications  utilisant Spark. Cloudera,  Microsoft ainsi que d’autres contributeurs open source ont créé une nouvelle interface REST sous licence Apache open source reposant sur le service Spark nommé Livy, en phase de développement alpha.

Livy vise à facilite l’interaction des applications avec Spark, la gestion des tâches et la récupération de résultats de façon programmée. A l’origine, Livy est un serveur REST servant à soumettre, exécuter et gérer des tâches et des contextes Spark.  Ses API clients lui permettent de réaliser un enregistrement de tâches Spark détaillé et la récupération des résultats, et ce de façon synchronisée ou désynchronisée. Les clients peuvent utiliser Spark comme un service multi-tenant sans se soucier du déploiement, de la configuration ou du suivi. En tant que service multi-tenant, Livy apporte à Spark l’isolation, la sécurité et l’adaptabilité de la session utilisateur

Les avantages de Livy sont notamment :

– L’adoption simplifiée de Spark– Aucun client Spark n’a besoin d’une installation ou d’un processus de configuration de Spark pour commencer. Seul un client léger raccordé à une extrémité HTTP est nécessaire.
– L’accès à des applications tierces – Les applications peuvent créer sur des API client construites sur REST en Java, Scala et Python pour un enregistrement très fin des tâches Spark, l’extraction de résultats et la gestion des contextes Spark (les API client Scala et Python sont en cours de développement). Spark peut être invoqué par des applications codées dans différents référentiels comme Django pour Python, Play pour Scala ou Java. De plus, puisque tout cela est basé sur REST, on peut aussi amener Livy sur des applications codées en langages comme Node.js ou Go.
– La création de nouvelles architectures – Livy facilite l’intégration de Spark dans des architectures orientées services ou basées sur des microservices qui interagissent principalement via REST.