Skip to content

Latest commit

 

History

History
131 lines (93 loc) · 7.73 KB

elasticsearch_brief.2014.12.md

File metadata and controls

131 lines (93 loc) · 7.73 KB
Raw

Elasticsearch 2014年12月简报

Elasticsearch Updates

  • Elasticsearch 1.4.2发布了 一些改进和bug fix，没有大变化。

    • 改进 * 根据磁盘剩余空间判断shard存储位置的逻辑在速度上有大幅提升，这也提升了cluster重启后的恢复速度。 * 提升了把Snapshot镜像到shared file system的速度。 * 减少了不必要的cluster state更新。 * index stats API 在有shard恢复的情况下不再阻塞。

  • Elasticsearch 1.3.7发布了 改进和bug fix，release note见:Elasticsearch 1.3.7 released

  • Elasticsearch, Logstash, Kibana, Marvel的官方documents, tutorial现在都统一放在了这里：http://www.elasticsearch.org/guide/。以后看docs统统到这里！ 这里的logstash的documents比logstash.net的更详尽，以后logstash.net的documents也会逐渐停止更新。

Elasticsearch Ecosystem Updates

  • Logstash 1.5.0 Beta 1发布了 1.5.0主要的变化是：

    • 插件管理：插件与Logstash主程序分离了，使用 rubygems.org来发布插件，另外附带一个plugin命令来管理插件。所以现在Logstash与Elasitcsearch的插件管理方式相似了。

    • 性能提升：grok filter的正则匹配做了优化，如官方测试了一下COMBINEDAPACHELOG，相比1.4.2,性能近乎提高了1倍。json的序列化与反序列化性能提升超过了1倍。

    • Apache Kafka：增加了对最近很火的分布式消息系统kafka input,output的支持.

    • 安全性：elasticsearch input, filter, output插件增加了验证和传输层的加密支持。(这是为Elasticsearch.com公司的另一款即将发布的安全产品Shield做准备的)transport encryption support.

    • 改进和bug fix:
      • 允许为event包含metadata,它不会被logstash output插件输出，这个新功能避免了在event上生成临时的field.(#1834, #LOGSTASH-1798)
      • Logstash默认去掉了`message.raw `。

科普：如何安装Kafka插件
安装kafka input插件：
$LS_HOME/bin/plugin install logstash-input-kafka
安装kafka output插件：
$LS_HOME/bin/plugin install logstash-output-kafka
或者到https://rubygems.org/中搜索logstash-input-kafka(或者logstash-output-kafka), 点"Download"下载`gem` 文件，再
 $LS_HOME/bin/plugin install your_gem_file_path
  • Kibana 4 Beta3 发布了 * interactive charts and dashboards Dashboard Tab上添加了filter，条形图，饼图上的元素都可以点击来创建filter，filter的操控性比kibana3 更好。 interactive charts and dashboards
*     scripted fields

用户可用脚本对若干field的值进行计算或字符串操作，并将结果输出到另外的field中。这个field是scripted field，可以像普通field一样在kibana中使用它。因为scripted field不存储在elasticsearch中，所以不能对其进行搜索。 scripted fields

*     highlighting and a new format for _source

在搜索的结果数据中，关键词被高亮，显得更突出。_source的展现方式也更加人性化。 highlighting and a new format for _source

*     hit links

看上图，如果要分享一条数据给其他人，可以点右侧的Link to....。以前只能分享整个dashboard的链接，现在可以分享单条数据的链接，但这个有啥用呢？我觉得倒不如能分享单个图表更有意义，像keen.io提供的api那样，方便把某个图表嵌入到任意页面中。

*     metric visualization

新增了metric类型，就是一个图表中只有一个大大的数字。 metric visualization

  • NEST 1.3.0 发布了elasticsearch 的.net client, see release note

  • Marvel 1.3.0 发布了，主要更新如下：

    • sense中加入了1.4.x新增的api自动补全提示。
    • 增加了对HTTPS的支持。
    • monitoring ui增加了对elasticsearch 1.4.0新增的 circuit breakers的监控，以及对circuit break limit, Query Cache, index throttling, index writerd的内存使用，version map的监控。
    • Sense: 增加了禁掉mappings和index名称自动完成的设置。PS：以前没有此功能时，我们的es集群有200+ index, 打开sense会假死一段时间，因为浏览器要解析很多mappings.

    • sense 新增API举例: Cluster Reroute API, Get Field Mappings API, cluster.routing.allocation.* settings,  Scripted Metric Aggregation, simple_query_string query, Top Hits aggregation,  Percentiles Rank aggregation,  Disk Threshold Allocator settings

完整的更新列表见marvel 1.3.0 released

Amazing Slides & tutorials & videos

Meetups in China

  • Nothing

##References

  1. Elasticsearch 1.4.2 and 1.3.7 releasedDecember 16, 2014 http://www.elasticsearch.org/blog/elasticsearch-1-4-2-released/
  2. This Week in ElasticsearchDecember 3, 2014 http://www.elasticsearch.org/blog/2014-12-03-this-week-in-elasticsearch/
  3. This week in ElasticsearchDecember 10, 2014 http://www.elasticsearch.org/blog/2014-12-10-this-week-in-elasticsearch/
  4. This Week in ElasticsearchDecember 17, 2014 http://www.elasticsearch.org/blog/2014-12-17-this-week-in-elasticsearch/
  5. Kibana 4 Beta 3: Now more filteryDecember 16, 2014 http://www.elasticsearch.org/blog/kibana-4-beta-3-now-more-filtery/
  6. Logstash 1.5.0.Beta1 releasedDecember 11, 2014 http://www.elasticsearch.org/blog/logstash-1-5-0-beta1-released/
  7. Exciting Logstash Plugin Ecosystem ChangesDecember 12, 2014 http://www.elasticsearch.org/blog/plugin-ecosystem-changes/
  8. NEST and Elasticsearch.NET 1.3December 9, 2014 http://www.elasticsearch.org/blog/nest-and-elasticsearch-net-1-3/
  9. Marvel 1.3.0 releasedDecember 17, 2014 http://www.elasticsearch.org/blog/marvel-1-3-0-released/

TODO:

  • At last week’s Elasticsearch meetup in Chicago, Dan Crumb (of our lovely meetup host, Vodori) gave a demonstration using Docker and Fig to easily run Elasticsearch in containers on a laptop. He’s now shared the code and the how-to behind his demonstration, and video is available from the meetup, as well.

  • elasticsearch videos http://www.elasticsearch.org/videos/

Written with StackEdit.