Roy edited this page Nov 7, 2017 · 12 revisions

项目简介

Metamorphosis是淘宝开源的一个Java消息中间件。关于消息中间件,你应该听说过JMS规范,以及一些开源实现,如ActiveMQ和HornetQ等。Metamorphosis也是其中之一。

Metamorphosis的起源是我从对linkedin的开源MQ--现在转移到apache的kafka的学习开始的,这是一个设计很独特的MQ系统,它采用pull机制,而不是一般MQ的push模型,它大量利用了zookeeper做服务发现和offset存储,它的设计理念我非常欣赏并赞同,强烈建议你阅读一下它的设计文档,总体上说metamorphosis的设计跟它是完全一致的。但是为什么还需要meta呢?

简单概括下我重新写出meta的原因:

  • Kafka是scala写,我对scala不熟悉,并且kafka整个社区的发展太缓慢了。
  • 有一些功能是kakfa没有实现,但是我们却需要:事务、多种offset存储、高可用方案(HA)等

Meta相对于kafka特有的一些功能:

  • 文本协议设计,非常透明,支持类似memcached stats的协议来监控broker
  • 纯Java实现,从通讯到存储,从client到server都是重新实现。
  • 提供事务支持,包括本地事务和XA分布式事务
  • 支持HA复制,包括异步复制和同步复制,保证消息的可靠性
  • 支持异步发送消息
  • 消费消息失败,支持本地恢复
  • 多种offset存储支持,数据库、磁盘、zookeeper,可自定义实现
  • 支持group commit,提升数据可靠性和吞吐量。
  • 支持消息广播模式
  • 一系列配套项目:python客户端、twitter storm的spout、tail4j等。

因此meta相比于kafka的提升是巨大的。meta在淘宝和支付宝都得到了广泛应用,现在每天支付宝每天经由meta路由的消息达到120亿,淘宝也有每天也有上亿的消息量。

Meta适合的应用:

  • 日志传输,高吞吐量的日志传输本来就是kafka的强项
  • 消息广播功能,如广播缓存配置失效。
  • 数据的顺序同步功能,如mysql binlog复制
  • 分布式环境下(broker,producer,consumer都为集群)的消息路由,对顺序和可靠性有极高要求的场景。
  • 作为一般MQ来使用的其他功能

本分支说明

meta项目开源在淘蝌蚪上,这个分支是我从淘蝌蚪上fork出来的,起始版本是开源的第一个版本,也就是1.0.0-taocode。我fork分支的主要目的是提供一个干净可用的版本,并且提供持续的维护,并添加更多适合外部用户的文档。更重要的是,这个分支是我们自己在用 :)

关于我

我原来在淘宝的Java中间件部门从事中间件开发,花名叫伯岩,meta是我发起和开发的一个项目,无花是这个项目的另一个主要开发者。我现在已经从淘宝离职,加入了美味书签。有任何关于meta的问题都可以联系我:

You can’t perform that action at this time.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session.
Press h to open a hovercard with more details.