分布式计算技术和工具开发商Hazelcast正式发布了他们的开源流式处理引擎Jet 0.6。
Jet自2017年2月起就已可用,而0.6是Hazelcast版本方案的主要发布版本。
Jet旨在提供一种功能,让开发人员在各种数据源之上构建分布式容错数据处理管道。它使用Hazelcast IMDG作为内部数据管理技术,并以Hazelcast的内存计算技术作为基础。Hazelcast将Jet描述为:“让大数据成为应用程序基础设施的一部分”。
与Hazelcast的其他产品一样,Jet也是基于Java开发的,并且直接针对Java开发人员和团队。Jet的核心API中包含了java.util.stream的分布式版本,让刚开始接触分布式处理的Java开发人员更容易上手。
Jet 0.6的新功能和增强功能包括:
- 改进和简化的高级API(管道)
- 改进的作业管理功能
- 计算弹性
- 新的连接器——Kafka v1.0和HDFS v2.8.3
- Java 9支持(包括模块)
- Spring集成
- 示例和演示代码
该声明还表明,Jet内嵌了Hazelcast IMDG v3.10。这个版本尚未发布,但预计很快会发布。
Jet的部署拓扑结构与Hazelcast IMDG提供的选项类似——Jet可以嵌入到JVM应用程序中,也可以独立运行在基础设施上。
在内部,Jet将分布式计算作业表示为有向无环图(DAG),并使用协作多线程(又称“绿色线程”)和并发队列来实现低延迟。Jet的设计灵感来自Martin Thompson和他的“Mechanical Sympathy”,以及无等待算法。
该团队宣称,相比其他类似技术,如Apache Spark,Jet的0.6版本在性能上有显着的提升。
Jet版本0.6已经发布,可以从Hazelcast网站(https://jet.hazelcast.org/)下载,并在Apache 2许可下使用。
查看英文原文:Hazelcast Releases Jet 0.6
转自 http://www.infoq.com/cn/news/2018/05/hazelcast-jet-v06