Cada vez es más factible poder realizar análisis OLAP sobre entornos Big Data, gracias a Apache Kylin, con visualización con Tableau, Pentaho, etc.... Si quieres saber más, pincha estos posts:
OLAP for Big Data. It´s possible?
y
Analysis Big Data OLAP sobre Hadoop con Apache Kylin
que hemos publicado recientemente
Hoy os traemos las novedades que para comienzos de este 2017 nos presentan (puedes preguntar a nuestros amigos especialistas de Stratebi para cualquier duda):
Principales características comunes de KAP
-
Interfaz gráfica:
Modelado, construcción y consulta SQL del cubo a través de una interfaz web simplificada.
-
Soporte para la extensión mediante plugins
-
Despliegue no intrusivo:
La instalación es totalmente independiente del clúster Hadoop y se comunica con dicho clúster a través de una API.
-
KyAnalyzer:
Herramienta de análisis OLAP basada en Saiku Server que se incluye con Kyligence.
-
Integración con las principales herramientas de Business Intelligence:
Gracias al soporte para conexiones ODBC/JDBC y una API rest, es posible conectar con herramientas como Tableu, Microsoft PowerBI, Apache Zeppelin, Saiku Server o Pentaho & STPivot.
-
Compatibilidad con las distintas versiones de Hadoop:
o
Apache Hadoop (Open Source Stack)
o
Distribuciones:
§
Hortonworks HDP
§
Cloudera CDH
o
Nube SaaS
§
Microsoft HDInsight
§
AWS EMR
-
KyStorage
(
Solo en versión
Enterprise Plus
)
:
La versión Enterprise Plus utiliza un motor de almacenamiento propio, que sustituye a HBase. Características principales:
o Rendimientos 12x más rápidos y una reducción del 50% del espacio de almacenamiento.
Permite hacer consultas sobre los datos en bruto (sin transformar a un esquema estrella, raw data). Esto facilita la exploración de los datos para el descubrimiento iterativo del modelo.
Comparativa de características de las versiones Enterprise y Enterprise Plus de KAP (Kyligence Analytic Platform) frente a Apache Kylin:
|
Apache Kylin
|
KAP
|
KAP Plus
|
|
|
Posicionamiento
|
Soporte para OLAP en Hadoop
|
Data Warehouse en Hadoop
|
Data Warehouse en Hadoop
|
|
Núcleo
|
Apache Kylin
|
Apache Kylin
|
Apache Kylin
|
|
Rendimiento de las consultas
|
Latencias de consulta inferiores al segundo
|
Latencias de consulta inferiores al segundo
|
En 3 y 40 veces más rápido que Apache Kylin
|
|
Parallel Computing
|
Haciendo uso del Co - procesador de HBase
|
Haciendo uso del Co - procesador de HBase
|
Spark
|
|
Storage Engine
|
HBase
|
HBase
|
KyStorage: Motor de almacenamiento columnar propietario
|
|
Raw Data Query
|
Limitado
|
Limitado
|
Soporte Eficiente
|
|
Security
|
Limitado
|
LDAP/Kerberos/cell level access control
|
LDAP/Kerberos/cell level access control
|
|
BI Tool
|
No incluye herramienta de BI native, pero puede conectar con las principales herramientas BI del mercado: Tableu, Microsoft PowerBI, Apache Zeppelin, Saiku Server o Pentaho & STPivot
|
KyAnalyzer: Herramienta BI con integración nativa
|
KyAnalyzer: Herramienta BI con integración nativa
|
|
Technical Support
|
Comunidad Open Source
|
Soporte 5*8 o
7*24
|
Soporte
5*8 o 7*24
|
|
KyBot Self-Service
|
No incluido, pero se puede comprar por separado
|
Incluido
|
Incluido
|
Pila de productos de Kyligence Analytic Platform
Todos los productos de Kyligence hacen uso del núcleo Open Source de Apache Kylin. Sobre esta base han desarrollado 3 productos.
-
Apache Kylin:
Núcleo de Kyligence. Sobre el núcleo añaden las últimas actualizaciones y bug fixes sobre la versión Enterprise.
o
Nota:
Kyligence está formado por 6 PMC (Miembros del comité de proyecto) de Apache Kylin Open Source de un total de 13 PMC. De esta forma, muchos de los bug fixes van a llegar antes a KAP que a Kylin.
-
KyStorage & Plugin:
Sobre el núcleo de Kylin se añaden las siguientes características
o
Características mejoradas de seguridad
. Apache Kylin (Open Source) soporta la integración con LDAP y seguridad a nivel de modelo de dato (a nivel de cubo), añadiéndose las siguientes:
§
Integración con Kerberos
§
Seguridad a nivel de datos (celda)
o
Soporte para consultas OLAP sobre datos en Hive sin transformar (raw data):
En Apache Kylin y KAP Enterprise es posible añadiendo subqueries de Hive a las queries principales sobre el cubo.
§
KAP Enterpise Plus:
Soporte y eficiencia mejorada para el procesamiento de datos en bruto.
o
Almacenamiento columnar propio (solo en KAP Enterprise Plus):
Apache Kylin y KAP Enterprise usan HBase para almacenar el cubo que se construye a partir de los datos en Hive/HDFS.
§
KAP Enterprise Plus
utiliza un motor de almacenamiento propio, que sustituye a HBase, prometiendo rendimientos 12x más rápidos y una reducción del 50% del espacio de almacenamiento.
-
KyAnalyzer:
Herramienta BI OLAP basada en Saiku Server que integra de forma nativa con KAP Enterprise y KAP Enterprise Plus. Es un Saiku Server personalizado que incluye la versión de Mondrian y el driver JDBC necesarios para la conexión con Kyligence.
-
KyBot:
Herramienta de diagnóstico y soporte automatizado incluida en KAP Enterprise y Enterprise Plus. También
es posible adquirirla por separado
para usarla con Kylin Open Source
.
Incluye las siguientes características:
o
Cuadro de mando
que nos permite analizar de un vistazo:
§ Estado del clúster Kylin
§ Rendimiento
§ Almacenamiento
o
Optimización:
El sistema detecta automáticamente los problemas de rendimiento y propone optimizaciones para el diseño del modelo del cubo y el diseño/ejecución de las consultas sobre dicho cubo.
o
Documentación y guía para la resolución de problemas
o
Soporte:
Incorpora herramientas para comunicarse con los expertos de Kylin y desarrolladores.
