OLAP 分析引擎 Apache Kylin

OLAP 分析引擎 Apache Kylin

Apache
Java 查看源码»
跨平台
Apache
2014-10-09
LukeHan

Apache Kylin 是一个开源的分布式的 OLAP 分析引擎,来自 eBay 公司开发,基于 Hadoop 提供 SQL 接口和 OLAP 接口,支持 TB 到 PB 级别的数据量。

Apache Kylin 的商业支持请访问 http://kyligence.io/

Apache Kylin 是:

  • 超级快的 OLAP 引擎,具备可伸缩性

  • 为 Hadoop 提供 ANSI-SQL 接口

  • 交互式查询能力

  • MOLAP Cube

  • 可与其他 BI 工具无缝集成,如 Tableau,而 Microstrategy 和 Excel 将很快推出

其他值得关注的特性包括:

  • 作业管理和监控

  • 压缩和编码的支持

  • Cube 的增量更新

  • Leverage HBase Coprocessor for query latency

  • Approximate Query Capability for distinct Count (HyperLogLog)

  • 易用的 Web 管理、构建、监控和查询 Cube 的接口

  • Security capability to set ACL at Cube/Project Level

  • 支持 LDAP 集成

运行环境要求:

Hadoop

  • Hadoop: 2.2.0.2.0.6.0-61 or above

  • Hive: 0.12.0.2.0.6.0-61 or above

  • HBase: 0.96.0.2.0.6.0-61-hadoop2

Tested with Hortornworks distribution (HDP2.1.3), not tested with others yet.

Kylin Server

  • Command hadoop, hive, hbase is workable on your hadoop cluster

  • JDK Runtime: JDK7 (OpenJDK or Oracle JDK)

  • Maven

  • Git

  • Tomcat

  • Mysql

加载中

评论(13)

S
StaR_Raul
看过2.3.1源码,整体架构不算特别复杂。 技术难点大概有两个,一个是如何基于i层快速计算i-1层的,另外一个是复杂sql如何能够路由找到预计算快照。 代码实现上抽象出了IStorage,ISource和IBatchCubingEngine, 但是实际代码实现上抽象程度并没有抽象接口看上去的那么抽象,能够随意组合。 rowkey数据结构强绑定,感觉存储好像除了HBase就没法换其他的存储了,基于kafka实现的source有很多地方和hive的source其实并不一样,有点强行统一接口的感觉。 任务调度器上分布式任务调度实现的有点简单,仅仅是基于zk来做任务lock,每个调度线程提交任务后,需要等待job返回,对于计算时间长和大批量任务的场景可能有点低效。 总体来说感觉实现方案上还有优化空间,代码还可以写的更优雅。
蔡冬青
蔡冬青
Apche-kylin 可以和 CDH结合在一起吗?#Apache Kylin#?
beyondyourself
beyondyourself
国产的好东西
东子哥
东子哥
软件文档链接404了
m
mykylin
前段时间看到网上有kylin的书籍,不知道怎么样
在哪里110
在哪里110
很好很好很好很好很好很好很好 #Apache Kylin#
zhuyuping
zhuyuping
速度很快,基本可以数据库来用查询了 #Apache Kylin#
leon_rock
leon_rock
安装好费劲~ persistence.ResourceStore:88 : Create new store instance failed 启动报错误 #Apache Kylin#
如梦技术
如梦技术
看了下文档,实现得跟数据库非常类似了,非常赞 #Apache Kylin#

Apache Kylin 4.0.0-alpha 发布,开源分布式分析引擎

Apache Kylin 4.0.0-alpha 发布了。它是一个开源的、分布式的分析型数据仓库,提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由 eBay 开发并贡献至开...

09/14 07:26

Apache Kylin 3.1.0 发布,开源分布式分析引擎

Apache Kylin 3.1.0 已发布,这是一个开源的、分布式的分析型数据仓库,提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由 eBay 开发并贡献至开源社区...

07/05 08:28

Apache Kylin 3.0.2 发布,开源的分布式分析引擎

Apache Kylin 3.0.2 发布了,主要带来了以下改进: [KYLIN-3628] - 查询表中的查询始终使用最新快照 [KYLIN-4132] - Kylin 无需使用 “org.apache.directory.api.util.Strings” 来导入 api-...

05/24 08:17

Apache Kylin 发现 SQL 注入漏洞,已修复

Apache Kylin 中发现了 SQL 注入漏洞,危害等级标注为“严重”,编号 CVE-2020-1937。 根据描述,Kylin 中有一些 RESTful API 会将用户输入的字符串连接到 SQL 中,用户能够运行恶意数据库查...

02/28 08:20

Apache Kylin 3.0.1 和 2.6.5 发布,修复严重漏洞

Apache Kylin 3.0.1 和 2.6.5 发布了,这两个版本修复了严重的 SQL 注入漏洞,建议尽快升级。 3.0.1 版本更新内容 Improvement [KYLIN-3956] - 流多维数据集的段和批处理多维数据集的段都需要...

02/28 07:40

Apache Kylin 3.0.0 发布,开源的分布式分析引擎

Apache Kylin 3.0.0 发布了,更新内容如下: New Feature [KYLIN-4098] - 添加多维数据集自动合并 API [KYLIN-3883] - Kylin 支持列数聚合 Improvement [KYLIN-565] - 不支持的 SQL 函数 [K...

2019/12/24 07:24

Apache Kylin 2.6.3 发布,Bug 修复版本

Apache Kylin 2.6.3 发布了。新版是个 Bug 修复版本,包含 7 个增强功能和 9 个 bug 修复。 新版更新内容有: [KYLIN-4024] - Presto 支持 pushdown [KYLIN-3977] - 在构建作业运行时,避免通...

2019/07/10 07:30

Apache Kylin v3.0.0-alpha 正式发布

Apache Kylin v3.0.0-alpha 正式发布!欢迎大家下载使用。在这个版本中,值得关注的是: 3.0.0-alpha 增加了对流式数据源进行实时查询的能力,详情可以查看KYLIN-3654; 在KYLIN-3795中,我们...

2019/04/18 20:51

Apache Kylin 3.0.0-alpha 发布,开源的分布式分析引擎

Apache Kylin 3.0.0-alpha 发布了,该版本是 3.0 系列的 alpha 版本,具有新的实时 OLAP 功能。 新特性: [KYLIN-3654] - Kylin 实时流媒体 [KYLIN-3795] - 通过 Apache Livy 提交 Spark 工作...

2019/04/18 06:32

Apache Kylin v2.6.1 发布,开源的分布式分析引擎

Apache Kylin v2.6.1 发布了。新版是个 Bug 修复版本,包含7个功能增强和19个 Bug 修复。 新版更新内容有: [KYLIN-3780] - 在作业信息和邮件通知中新增构建实例 [KYLIN-3794] - TupleFilter...

2019/03/21 06:50

没有更多内容

加载失败,请刷新页面

1
回答
apache kylin 在build kylin_streaming_cube 时发生org.apache.kafka.clients.consumer.KafkaConsumer.assign的问题

build kylin_streaming_cube 时发生org.apache.kafka.clients.consumer.KafkaConsumer...

2018/10/26 14:34
1
回答
kylin 部署tomcat报错

@1714574383 你好,想跟你请教个问题: 您好,我部署tomcat报错了,和您的错误一样,请问您是怎么解决的啊?

4
回答
Kylin启动时Tomcat报错,7070后台无法访问
learningme 的回答 2019/06/06 14:56
最佳答案
Classpath issue. Must be conflicting jars on classpath. Run "*bin/kylin.sh -v start*" to print full Kylin classpath (find 'kylin classpath is') on ...
1
回答
Apache kylin build cube fial log "no counters for job" 

Apache kylin build cube fial log is "no counters for job" I created a model o...

2019/04/02 19:49
1
回答
您好,请问对于Kylin的执行引擎,若用Spark来完成,是否有相关的接口,可以手工写Spark代码来完成?

@shaofengsh 你好,想跟你请教个问题:Apache Kylin的官方文档中,有关接口的描述并不多,我想问的是,二次开发是否只能根据提供的接口来完...

2018/11/26 14:15
2
回答
kylin1.5启动报错

java.lang.LinkageError: loader constraint violation: when resolving method "o...

2016/09/07 11:44
1
回答
求助:apache kylin流式构建报错(zookeeper设置的地址貌似没生效)

从kafka读取消息,并构建cube,在“#15 Step Name: Convert Cuboid Data to HFile”这一步骤报错: INFO...

2017/08/30 11:34
1
回答
全量更新,定时build的问题

curl -X PUT -H "Authorization: Basic QURNSU46S1lMSU4=" -H 'Content-Type: appl...

2018/07/19 14:44
2
回答
Streaming Table和Kafka遇到的Timeout expired while fetching topic metadata问题

大家好,我按照http://kylin.apache.org/cn/docs/tutorial/cube_streaming.html这个教程一路配置下来...

2018/10/19 15:42
2
回答
【开源访谈】李栋:2.0 划时代版本后的 Apache Kylin ,前路何方?

Apache Kylin 2.0 正式版发布已有半年,社区反响如何,哪些特性最受欢迎,下一步将往哪个方向发展?本期,【开源访谈】邀请到了 Kyligenc...

2017/11/20 16:56

没有更多内容

加载失败,请刷新页面

kylin_学习_01_kylin安装部署

一、环境准备 根据官方文档,kylin是需要运行在hadoop环境下的,如下图: 1.hadoop环境搭建 参考:hadoop_学习_02_Hadoop环境搭建(单机) 2.hbase环境搭建 参考:hbase_学习_01_HBase环境搭建...

2018/03/20 15:17
37
0
Kylin 入门

1 Kylin 概述 1.1 Kylin定义 Apache Kylin 是一个开源的分布式分析引擎,提供 Hadoop/Spark 之上的 SQL 查询接口及多个维度分析(MOLAP)能力以支持超大规模数据,它能在亚秒内查询巨大的 Hi...

2019/09/28 00:39
35
1
OLAP引擎—Kylin介绍

1 Apache Kylin概述 Apache Kylin是Hadoop大数据平台上的一个开源OLAP引擎。它采用多维立方体预计算技术,可以将大数据的SQL查询速度提升到亚秒级别。 Apache kylin 能提供低延迟(sub-secon...

07/31 18:14
10
0
简介Kylin

Apache Kylin 是 Hadoop 大数据平台上的一个开源 OLAP 引擎。它采用多维立方体预计算技术,可以将大数据的 SQL 查询速度提升到亚秒级别,它是一种以空间换时间的做法。 SQL on Hadoop 技术(...

2018/06/03 22:33
215
0
麒麟Kylin

开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(MOLAP)能力以支持超大规模数据,能在亚秒内查询巨大的Hive表; Kylin的主要特点包括支持SQL接口、支持超大规模数据集...

2019/03/13 12:44
21
0
Kylin认知 | Apache Kylin 混合模型介绍

前言:Apache Kylin v1.0引入了一个新的实现“混合模型”(也称为“动态模型”); 这篇文章介绍了这个概念以及如何创建一个混合实例。 面临的问题 对于传入的SQL查询,Kylin选择一个(并且只...

03/19 22:15
27
0
Kylin 优化

Cube Build 过程中常见遇到的是性能问题,例如 SQL 查询过慢、Cube 构建时间过长甚至失败、 Cube 膨胀率过高等等。究其原因,大多数问题都是由于 Cube 设计不当造成的。因此,合理地进行 Cu...

2019/06/19 20:26
15
0
可扩展超快OLAP引擎: Kylin

要么出众、要么出局! Kylin沿用了原来的数据仓库技术中的Cube概念,把无限数据按有限的维度进行“预处理”,然后将结果(Cube)加载到Hbase里,供用户查询使用。 Kylin是通过空间换时间的方...

2019/04/02 20:28
0
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部