TodoBI - Business Intelligence, Big Data, ML y AI TodoBI - Business Intelligence, Big Data, ML y AI

Kylin, analisis OLAP sobre Big Data, viene con novedades para 2017

Cada vez es más factible poder realizar análisis OLAP sobre entornos Big Data, gracias a Apache Kylin, con visualización con Tableau, Pentaho, etc.... Si quieres saber más, pincha estos posts:  OLAP for Big Data. It´s possible?  y  Analysis Big Data OLAP sobre Hadoop con Apache Kylin  que hemos publicado recientemente
Hoy os traemos las novedades que para comienzos de este 2017 nos presentan (puedes preguntar a nuestros amigos especialistas de Stratebi para cualquier duda):

Principales características comunes de KAP

-          Interfaz gráfica: Modelado, construcción y consulta SQL del cubo a través de una interfaz web simplificada.

-          Soporte para la extensión mediante plugins

-          Despliegue no intrusivo: La instalación es totalmente independiente del clúster Hadoop y se comunica con dicho clúster a través de una API.

-          KyAnalyzer: Herramienta de análisis OLAP basada en Saiku Server que se incluye con Kyligence.

-          Integración con las principales herramientas de Business Intelligence: Gracias al soporte para conexiones ODBC/JDBC y una API rest, es posible conectar con herramientas como Tableu, Microsoft PowerBI, Apache Zeppelin, Saiku Server o Pentaho & STPivot.

-          Compatibilidad con las distintas versiones de Hadoop:
o   Apache Hadoop (Open Source Stack)
o   Distribuciones:
§  Hortonworks HDP
§  Cloudera CDH
o   Nube SaaS
§  Microsoft HDInsight
§  AWS EMR

-          KyStorage ( Solo en versión Enterprise Plus ) : La versión Enterprise Plus utiliza un motor de almacenamiento propio, que sustituye a HBase. Características principales:
o   Rendimientos 12x más rápidos y una reducción del 50% del espacio de almacenamiento.

Permite hacer consultas sobre los datos en bruto (sin transformar a un esquema estrella, raw data). Esto facilita la exploración de los datos para el descubrimiento iterativo del modelo.
Comparativa de características de las versiones Enterprise y Enterprise Plus de KAP (Kyligence Analytic Platform) frente a Apache Kylin:

Apache Kylin
KAP
KAP Plus

Posicionamiento
Soporte para OLAP en Hadoop
Data Warehouse en Hadoop
Data Warehouse en Hadoop
Núcleo
Apache Kylin
Apache Kylin
Apache Kylin
Rendimiento de las consultas
Latencias de consulta inferiores al segundo
Latencias de consulta inferiores al segundo
En 3 y 40 veces más rápido que Apache Kylin
Parallel Computing
Haciendo uso del Co - procesador de HBase
Haciendo uso del Co - procesador de HBase
Spark
Storage Engine
HBase
HBase
KyStorage: Motor de almacenamiento columnar propietario
Raw Data Query
Limitado
Limitado
Soporte Eficiente
Security
Limitado
LDAP/Kerberos/cell level access control
LDAP/Kerberos/cell level access control
BI Tool
No incluye herramienta de BI native, pero puede conectar con las principales herramientas BI del mercado: Tableu, Microsoft PowerBI, Apache Zeppelin, Saiku Server o Pentaho & STPivot
KyAnalyzer: Herramienta BI con integración nativa
KyAnalyzer: Herramienta BI con integración nativa
Technical Support
Comunidad Open Source
Soporte 5*8 o 7*24
Soporte 5*8 o 7*24
KyBot Self-Service
No incluido, pero se puede comprar por separado
Incluido
Incluido

Pila de productos de Kyligence Analytic Platform

Todos los productos de Kyligence hacen uso del núcleo Open Source de Apache Kylin. Sobre esta base han desarrollado 3 productos.



-          Apache Kylin: Núcleo de Kyligence. Sobre el núcleo añaden las últimas actualizaciones y bug fixes sobre la versión Enterprise.
o   Nota: Kyligence está formado por 6 PMC (Miembros del comité de proyecto) de Apache Kylin Open Source de un total de 13 PMC. De esta forma, muchos de los bug fixes van a llegar antes a KAP que a Kylin.

-   KyStorage & Plugin: Sobre el núcleo de Kylin se añaden las siguientes características
o   Características mejoradas de seguridad . Apache Kylin (Open Source) soporta la integración con LDAP y seguridad a nivel de modelo de dato (a nivel de cubo), añadiéndose las siguientes:
§  Integración con Kerberos
§  Seguridad a nivel de datos (celda)
o   Soporte para consultas OLAP sobre datos en Hive sin transformar (raw data): En Apache Kylin y KAP Enterprise es posible añadiendo subqueries de Hive a las queries principales sobre el cubo.
§  KAP Enterpise Plus: Soporte y eficiencia mejorada para el procesamiento de datos en bruto.

o   Almacenamiento columnar propio (solo en KAP Enterprise Plus): Apache Kylin y KAP Enterprise usan HBase para almacenar el cubo que se construye a partir de los datos en Hive/HDFS.
§  KAP Enterprise Plus utiliza un motor de almacenamiento propio, que sustituye a HBase, prometiendo rendimientos 12x más rápidos y una reducción del 50% del espacio de almacenamiento.

-   KyAnalyzer: Herramienta BI OLAP basada en Saiku Server que integra de forma nativa con KAP Enterprise y KAP Enterprise Plus. Es un Saiku Server personalizado que incluye la versión de Mondrian y el driver JDBC necesarios para la conexión con Kyligence.

-   KyBot: Herramienta de diagnóstico y soporte automatizado incluida en KAP Enterprise y Enterprise Plus. También es posible adquirirla por separado para usarla con Kylin Open Source . Incluye las siguientes características:
o   Cuadro de mando que nos permite analizar de un vistazo:
§  Estado del clúster Kylin
§  Rendimiento
§  Almacenamiento
o   Optimización: El sistema detecta automáticamente los problemas de rendimiento y propone optimizaciones para el diseño del modelo del cubo y el diseño/ejecución de las consultas sobre dicho cubo.
o   Documentación y guía para la resolución de problemas
o   Soporte: Incorpora herramientas para comunicarse con los expertos de Kylin y desarrolladores.