??xml version="1.0" encoding="utf-8" standalone="yes"?>亚洲一区二区在线视频,亚洲国产精品日韩专区AV,国产成A人亚洲精V品无码性色http://m.tkk7.com/xiaomage234/category/55066.html生命本就是一ơ凄的漂流Q记忆中放不下的Q永q是孩提时代的那一份浪漫与U真Q?/description>zh-cnSun, 28 Aug 2016 19:09:02 GMTSun, 28 Aug 2016 19:09:02 GMT60Elasticsearch数据q移与备?/title><link>http://m.tkk7.com/xiaomage234/archive/2016/08/27/431687.html</link><dc:creator>马?/dc:creator><author>马?/author><pubDate>Sat, 27 Aug 2016 02:26:00 GMT</pubDate><guid>http://m.tkk7.com/xiaomage234/archive/2016/08/27/431687.html</guid><wfw:comment>http://m.tkk7.com/xiaomage234/comments/431687.html</wfw:comment><comments>http://m.tkk7.com/xiaomage234/archive/2016/08/27/431687.html#Feedback</comments><slash:comments>0</slash:comments><wfw:commentRss>http://m.tkk7.com/xiaomage234/comments/commentRss/431687.html</wfw:commentRss><trackback:ping>http://m.tkk7.com/xiaomage234/services/trackbacks/431687.html</trackback:ping><description><![CDATA[     摘要: from:http://logos.name/archives/515虽然ES提供?jin)replicas shards的机制来保证数据的完整性不?x)因为几个节点的奔溃而被破坏Q但是定期的数据备䆾以备不时之需依然重要。此外，通过备䆾与恢复也可实现数据在不同集群间的q移Q直接复制data目录下的索引文g的做法我试q，但没有成功）(j)。备份的方式在官Ҏ(gu)档里有清楚的交代Q先创徏仓库(repository)Q再往...  <a href='http://m.tkk7.com/xiaomage234/archive/2016/08/27/431687.html'>阅读全文</a><img src ="http://m.tkk7.com/xiaomage234/aggbug/431687.html" width = "1" height = "1" /><br><br><div align=right><a style="text-decoration:none;" href="http://m.tkk7.com/xiaomage234/" target="_blank">马?/a> 2016-08-27 10:26 <a href="http://m.tkk7.com/xiaomage234/archive/2016/08/27/431687.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div>]]></description></item><item><title>大数据杂谈微译֠|Elasticsearch 5.0新版本的Ҏ(gu)与改进http://m.tkk7.com/xiaomage234/archive/2016/08/13/431565.html马?/dc:creator>马?/author>Sat, 13 Aug 2016 06:56:00 GMThttp://m.tkk7.com/xiaomage234/archive/2016/08/13/431565.htmlhttp://m.tkk7.com/xiaomage234/comments/431565.htmlhttp://m.tkk7.com/xiaomage234/archive/2016/08/13/431565.html#Feedback0http://m.tkk7.com/xiaomage234/comments/commentRss/431565.htmlhttp://m.tkk7.com/xiaomage234/services/trackbacks/431565.html阅读全文

]]>剖析Elasticsearch集群pdW二?分布式的三个C、translog和LuceneD?/title><link>http://m.tkk7.com/xiaomage234/archive/2016/08/13/431558.html</link><dc:creator>马?/dc:creator><author>马?/author><pubDate>Sat, 13 Aug 2016 03:26:00 GMT</pubDate><guid>http://m.tkk7.com/xiaomage234/archive/2016/08/13/431558.html</guid><wfw:comment>http://m.tkk7.com/xiaomage234/comments/431558.html</wfw:comment><comments>http://m.tkk7.com/xiaomage234/archive/2016/08/13/431558.html#Feedback</comments><slash:comments>0</slash:comments><wfw:commentRss>http://m.tkk7.com/xiaomage234/comments/commentRss/431558.html</wfw:commentRss><trackback:ping>http://m.tkk7.com/xiaomage234/services/trackbacks/431558.html</trackback:ping><description><![CDATA[from:http://www.infoq.com/cn/articles/anatomy-of-an-elasticsearch-cluster-part02<br /><br /><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;"><span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">剖析Elasticsearch集群pd</span>늛?jin)当今最行的分布式搜烦(ch)引擎Elasticsearch的底层架构和原型实例?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">本文是这个系列的W二，我们讨论Elasticsearch如何处理分布式的三个C((p(consensus)、ƈ?concurrency)和一?consistency))的问题、Elasticsearch分片的内部概念，比如translog(预写日志QW(xu)AL(Write Ahead Log))Q以?qing)Lucene中的Dc(din)?/p><blockquote style="margin-top: 0px; margin-right: 0px; margin-left: 0px; padding-top: 10px; padding-bottom: 10px; padding-left: 45px; border-width: 1px; border-color: #e8e8e8; clear: both; width: 553px; color: #000000; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; line-height: 25.2px; float: none !important; background-image: url("i/gg.jpg"); background-color: #f4f4f4; background-position: 0% 0%; background-repeat: no-repeat;"><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 1.8; clear: none; width: 553px; word-wrap: break-word !important;">本系列已l得到原文著者Ronak Nathani的授?/p></blockquote><div style="margin: 0px; border: 0px; height: 0px; clear: both; font-size: 0px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;"></div><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">在本pd?a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">前一?/a>中，我们讨论?jin)Elasticsearch的底层存储模型及(qing)CRUDQ创建、读取、更新和删除Q操作的工作原理。在本文中，我将分nElasticsearch是如何应对分布式pȝ中的一些基本挑战的Q以?qing)分片的内部概念。这其中包括?jin)一些操作方面的事情QInsight Data的工E师们已l在使用Elasticsearch构徏的数据^C上成功地实践q真正理解。我在本文中主要讲qͼ(x)</p><ul style="margin: 0px 0px 15px 10px; padding: 0px; border: 0px; clear: left; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; line-height: 25.2px; background-color: #ffffff;"><li style="margin: 0px 0px 0px 15px; padding: 0px; border: 0px; float: none; clear: none;"><a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">p——裂脑问题?qing)法定票数的重要?/a></li><li style="margin: 0px 0px 0px 15px; padding: 0px; border: 0px; float: none; clear: none;"><a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">q发</a></li><li style="margin: 0px 0px 0px 15px; padding: 0px; border: 0px; float: none; clear: none;"><a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">一?#8212;—保d一?/a></li><li style="margin: 0px 0px 0px 15px; padding: 0px; border: 0px; float: none; clear: none;"><a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">Translog(预写日志)</a></li><li style="margin: 0px 0px 0px 15px; padding: 0px; border: 0px; float: none; clear: none;"><a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">Lucene的段</a></li></ul><h2>p——裂脑问题?qing)法定票数的重要?/h2><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;"><a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">p</a>是分布式pȝ的一基本挑战。它要求pȝ中的所有进E?节点必须对给定数据的?状态达成共识。已l有很多p法诸如<a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">Raft</a>?a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">Paxos</a>{，从数学上的证明了(jin)是行得通的。但是，Elasticsearch却实C(jin)自己的共识系l?zen discovery)QElasticsearch之父Shay Banon?a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">q篇文章</a>中解释了(jin)其中的原因。zen discovery模块包含两个部分Q?/p><ul style="margin: 0px 0px 15px 10px; padding: 0px; border: 0px; clear: left; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; line-height: 25.2px; background-color: #ffffff;"><li style="margin: 0px 0px 0px 15px; padding: 0px; border: 0px; float: none; clear: none;"><span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">Ping</span>: 执行节点使用ping来发现彼?/li><li style="margin: 0px 0px 0px 15px; padding: 0px; border: 0px; float: none; clear: none;"><span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">单播(Unicast)</span>:该模块包含一个主机名列表Q用以控制哪些节炚w要ping?/li></ul><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">Elasticsearch是端对端的系l，其中的所有节点彼此相q，有一个master节点保持z跃Q它?x)更新和控制集群内的状态和操作。徏立一个新的Elasticsearch集群要经q一ơ选DQ选D是pingq程的一部分Q在所有符合条件的节点中选取一个masterQ其他节点将加入q个master节点。ping间隔参数<span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;"><code style="font-weight: normal; margin: 0px; border: 0px; padding: 0px;">ping_interval</code></span>的默认值是1U，ping时参数<span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;"><code style="font-weight: normal; margin: 0px; border: 0px; padding: 0px;">ping_timeout</code></span>的默认值是3U。因点要加入Q它们会(x)发送一个请求给master节点Q加入超时参?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;"><code style="font-weight: normal; margin: 0px; border: 0px; padding: 0px;">join_timeout</code></span>的默认值是<span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;"><code style="font-weight: normal; margin: 0px; border: 0px; padding: 0px;">ping_timeout</code></span>值的20倍。如果master出现问题Q那么群集中的其他节点开始重新ping以启动另一ơ选D。这个ping的过E还可以帮助一个节点在忽然失去masterӞ通过其他节点发现master?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;"><span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">注意Q?/span>默认情况下，client节点和data节点不参与这个选Dq程。可以在<span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">elasticsearch.yml</span>配置文g中，通过讄<span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;"><code style="font-weight: normal; margin: 0px; border: 0px; padding: 0px;">discovery.zen.master_election.filter_client</code></span>属性和<span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;"><code style="font-weight: normal; margin: 0px; border: 0px; padding: 0px;">discovery.zen.master_election.filter_data</code></span>属性ؓ(f)<span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;"><code style="font-weight: normal; margin: 0px; border: 0px; padding: 0px;">false</code></span>来改变这U默认行为?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">故障(g)的原理是这L(fng)Qmaster节点?x)ping所有其他节点，以检查它们是否还?gu)zȝQ然后所有节点ping回去Q告诉master他们q活着?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">如果使用默认的设|，Elasticsearch有可能遭?a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">裂脑</a>问题的困扰。在|络分区的情况下Q一个节点可以认为masterM(jin)Q然后选自׃为masterQ这导致了(jin)一个集内出现多个master。这可能?x)导致数据丢失，也可能无法正合q数据。可以按照如下公式，Ҏ(gu)有资格参加选D的节Ҏ(gu)Q设|法定票数属性的|来避免爆裂的发生?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;"><span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;"><code style="font-weight: normal; margin: 0px; border: 0px; padding: 0px;">discovery.zen.minimum_master_nodes = int(# of master eligible nodes/2)+1</code></span></p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;"><img _href="img://null" _p="true" src="http://cdn4.infoqstatic.com/statics_s2_20160809-0249u1/resource/articles/anatomy-of-an-elasticsearch-cluster-part02/zh/resources/05.jpeg" width="550" style="border: 0px; margin: 0px 10px 10px 0px; padding: 0px;" alt="" /></p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">q个属性要求法定票数的节点加入新当选的master节点Q来完成q获得新master节点接受的masterw䆾。对于确保群集稳定性和在群集大变化时动态地更新Q这个属性是非常重要的。图a和b演示?jin)在|络分区的情况下Q设|或不设|?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;"><code style="font-weight: normal; margin: 0px; border: 0px; padding: 0px;">minimum_master_nodes</code></span>属性时Q分别发生的现象?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;"><span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">注意Q?/span>对于一个生产集来_(d)使用3个节点专门做masterQ这3个节点将不服务于M客户端请求，而且在Q何给定时间内L只有1个活跃?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">我们已经搞清楚了(jin)Elasticsearch中共识的处理Q现在让我们来看看它是如何处理ƈ发的?/p><h2>q发</h2><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">Elasticsearch是一个分布式pȝQ支持ƈ发请求。当创徏/更新/删除h到达d片时Q它也会(x)被^行地发送到分片副本上。但是，q些h到达的顺序可能是乱序的。在q种情况下，Elasticsearch使用<a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">乐观q发控制</a>Q来保文档的较新版本不?x)被旧版本覆盖?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">每个被烦(ch)引的文档都拥有一个版本号Q版本号在每ơ文档变更时递增q应用到文档中。这些版本号用来保有序接受变更。ؓ(f)?jin)确保在我们的应用中更新不?x)D数据丢失QElasticsearch的API允许我们指定文g的当前版本号Q以使变更被接受。如果在h中指定的版本h分片上存在的版本hQ请求失败，q意味着文档已经被另一个进E更C(jin)。如何处理失败的hQ可以在应用层面来控制。Elasticsearchq提供了(jin)其他的锁选项Q可以通过<a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">q篇</a>来阅诅R?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">当我们发送ƈ发请求到Elasticsearch后，接下来面对的问题?#8212;—如何保证q些h的读写一_(d)现在Q还无法清楚回答QElasticsearch应落?a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">CAP</a>三角形的哪条边上Q我不打在q篇文章里解册个素来已久的争辩?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;"><img _href="img://null" _p="true" src="http://cdn4.infoqstatic.com/statics_s2_20160809-0249u1/resource/articles/anatomy-of-an-elasticsearch-cluster-part02/zh/resources/06.jpeg" width="550" style="border: 0px; margin: 0px 10px 10px 0px; padding: 0px;" alt="" /></p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">但是Q我们要一L(fng)下如何用Elasticsearch实现写读一致?/p><h2>一?#8212;—保d一?/h2><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">对于写操作而言QElasticsearch支持的一致性别，与大多数其他的数据库不同Q允?dng)R(g)查，来查看有多少允许写入的可用分片。可选的值有<span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">quorum</span>?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">one</span>?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">all</span>。默认的讄?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">quorum</span>Q也是说只有当大多数分片可用时才允许写操作。即使大多数分片可用Q还是会(x)因ؓ(f)某种原因发生写入副本p|Q在q种情况下，副本被认为故障，分片在一个不同的节点上重建?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">对于L作而言Q新的文档只有在h旉间隔之后Q才能被搜烦(ch)到。ؓ(f)?jin)确保搜索请求的q回l果包含文档的最新版本，可设|replication?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">sync</span>(默认)Q这操作在主分片和副本碎片都完成后才q回写请求。在q种情况下，搜烦(ch)h从Q何分片得到的q回l果都包含的是文档的最新版本。即使我们的应用Z(jin)更高的烦(ch)引率而设|了(jin)<span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">replication=async</span>Q我们依然可以ؓ(f)搜烦(ch)h讄参数<span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">_preference</span>?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">primary</span>。这P搜烦(ch)h查询主分片Qƈ保l果中的文档是最新版本?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">我们已经?jin)解了(jin)Elasticsearch如何处理p、ƈ发和一_(d)让我们来看看分片内部的一些主要概念，正是q些特点让Elasticsearch成ؓ(f)一个分布式搜烦(ch)引擎?/p><h2>Translog(预写日志)</h2><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">因ؓ(f)关系数据库的发展Q预写日?WAL)或者事务日?translog)的概忉|已遍?qing)数据库领域。在发生故障的时候，translog能确保数据的完整性。translog的基本原理是Q变更必d数据实际的改变提交到盘上之前，被记录下来ƈ提交?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">当新的文档被索引或者旧的文档被更新ӞLucene索引发生变_(d)q些变更被提交到磁盘以持久化。这是一个很昂贵的操作，如果在每个请求之后都被执行。因此，q个操作在多个变更持久化到磁盘时被执行一ơ。正如我们在<a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">上一文?/a>中描q的那样QLucene提交的冲z?flush)操作默认?0分钟执行一ơ或者当translog变得太大(默认512MB)时执行。在q样的情况下Q有可能失去2个Lucene提交之间的所有变更。ؓ(f)?jin)避免这U问题，Elasticsearch采用?jin)translog。所有烦(ch)?删除/更新操作被写入到translogQ在每个索引/删除/更新操作执行之后Q默认情况下是每5U）(j)Qtranslog?x)被同步以确保变更被持久化。translog被同步到d片和副本之后Q客L(fng)才会(x)收到写请求的认?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">在两ơLucene提交之间发生g故障的情况下Q可以通过重放translog来恢复自最后一ơLucene提交前的M丢失的变_(d)所有的变更会(x)被烦(ch)引所接受?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;"><span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">注意Q?/span>在重启Elasticsearch实例之前昑ּ地执行冲ztranslogQ这样启动会(x)更快Q因重放的translog被清I?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">POST /_all/_flush</span>命o(h)可用于冲z集中的所有烦(ch)引?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">使用translog的冲z操作，在文件系l缓存中的段被提交到盘Q索引中的变更持久化。现在让我们来看看Lucene的段?/p><h2>Lucene的段</h2><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">Lucene索引是由多个D늻成，D|w是一个功能齐全的倒排索引。段是不可变的，允许Lucene新的文档增量地d到烦(ch)引中Q而不用从头重建烦(ch)引。对于每一个搜索请求而言Q烦(ch)引中的所有段都会(x)被搜索，q且每个D会(x)消耗CPU的时钟周、文件句柄和内存。这意味着D늚数量多Q搜索性能?x)越低?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">Z(jin)解决q个问题QElasticsearch?x)合q小D到一个较大的D（如下图所C）(j)Q提交新的合q段到磁盘，q删除那些旧的小Dc(din)?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;"><img _href="img://null" _p="true" src="http://cdn4.infoqstatic.com/statics_s2_20160809-0249u1/resource/articles/anatomy-of-an-elasticsearch-cluster-part02/zh/resources/07.jpeg" width="550" style="border: 0px; margin: 0px 10px 10px 0px; padding: 0px;" alt="" /></p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">q会(x)在后台自动执行而不中断索引或者搜索。由于段合ƈ?x)耗尽资源Q媄(jing)响搜索性能QElasticsearch?x)节制合q过E，为搜索提供够的可用资源?/p><h2>接下来有什么？</h2><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">从搜索请求角度来_(d)一个Elasticsearch索引中给定分片内的所有LuceneD都?x)被搜?ch)Q但是，从Elasticsearch集群角度而言Q获取所有匹配的文档或者深入有序结果文档是有害的。在本系列的后箋文章中我们将揭晓原因Q让我们来看一下接下来的主题，内容包括?jin)一些在Elasticsearch中ؓ(f)相关性搜索结果的低gq所做的权衡?/p><ul style="margin: 0px 0px 15px 10px; padding: 0px; border: 0px; clear: left; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; line-height: 25.2px; background-color: #ffffff;"><li style="margin: 0px 0px 0px 15px; padding: 0px; border: 0px; float: none; clear: none;">Elasticsearch准实时性方面的内容</li><li style="margin: 0px 0px 0px 15px; padding: 0px; border: 0px; float: none; clear: none;">Z么搜索中的深层分|有害的？</li><li style="margin: 0px 0px 0px 15px; padding: 0px; border: 0px; float: none; clear: none;">搜烦(ch)相关性计中的权衡之?/li></ul><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;"><span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">查看原文地址Q?/span><a href="http://insightdataengineering.com/blog/elasticsearch-core/" style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">Anatomy of an Elasticsearch Cluster: Part II</a></p><img src ="http://m.tkk7.com/xiaomage234/aggbug/431558.html" width = "1" height = "1" /><br><br><div align=right><a style="text-decoration:none;" href="http://m.tkk7.com/xiaomage234/" target="_blank">马?/a> 2016-08-13 11:26 <a href="http://m.tkk7.com/xiaomage234/archive/2016/08/13/431558.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div>]]></description></item><item><title>剖析Elasticsearch集群pdW三?q实时搜索、深层分问题和搜烦(ch)相关性权衡之?/title><link>http://m.tkk7.com/xiaomage234/archive/2016/08/13/431559.html</link><dc:creator>马?/dc:creator><author>马?/author><pubDate>Sat, 13 Aug 2016 03:26:00 GMT</pubDate><guid>http://m.tkk7.com/xiaomage234/archive/2016/08/13/431559.html</guid><wfw:comment>http://m.tkk7.com/xiaomage234/comments/431559.html</wfw:comment><comments>http://m.tkk7.com/xiaomage234/archive/2016/08/13/431559.html#Feedback</comments><slash:comments>0</slash:comments><wfw:commentRss>http://m.tkk7.com/xiaomage234/comments/commentRss/431559.html</wfw:commentRss><trackback:ping>http://m.tkk7.com/xiaomage234/services/trackbacks/431559.html</trackback:ping><description><![CDATA[from:http://www.infoq.com/cn/articles/anatomy-of-an-elasticsearch-cluster-part03<br /><br /><br /><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">剖析Elasticsearch集群pd늛?jin)当今最行的分布式搜烦(ch)引擎Elasticsearch的底层架构和原型实例。本文是q个pd的第三篇Q我们将讨论Elasticsearch是如何提供近实时搜烦(ch)q权衡搜索相x计的?/p><blockquote style="margin-top: 0px; margin-right: 0px; margin-left: 0px; padding-top: 10px; padding-bottom: 10px; padding-left: 45px; border-width: 1px; border-color: #e8e8e8; clear: both; width: 553px; color: #000000; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; line-height: 25.2px; float: none !important; background-image: url("i/gg.jpg"); background-color: #f4f4f4; background-position: 0% 0%; background-repeat: no-repeat;"><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 1.8; clear: none; width: 553px; word-wrap: break-word !important;">本系列已l得到原文著者Ronak Nathani的授?/p></blockquote><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">在本pd?a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">前一?/a>中，我们讨论?jin)Elastisearch如何解决分布式系l中的一些基本挑战。在本文中，我们探讨Elasticsearch在近实时搜烦(ch)?qing)其权衡计算搜?ch)相关性方面的内容QInsight Data的工E师们已l在使用Elasticsearch构徏的数据^C上，Ҏ(gu)有所实践。我在本文中主要讲qͼ(x)</p><ul style="margin: 0px 0px 15px 10px; padding: 0px; border: 0px; clear: left; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; line-height: 25.2px; background-color: #ffffff;"><li style="margin: 0px 0px 0px 15px; padding: 0px; border: 0px; float: none; clear: none;"><a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">q实时搜?/a></li><li style="margin: 0px 0px 0px 15px; padding: 0px; border: 0px; float: none; clear: none;"><a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">Z么深层分在分布式搜索中是有害的Q?/a></li><li style="margin: 0px 0px 0px 15px; padding: 0px; border: 0px; float: none; clear: none;"><a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">计算搜烦(ch)相关性中的权?/a></li></ul><h2>q实时搜?/h2><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">虽然Elasticsearch中的变更不能立即可见Q它q是提供?jin)一个近实时的搜索引擎。如<a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">前一?/a>中所qͼ提交Lucene的变更到盘是一个代h늚操作。ؓ(f)?jin)避免在文档?gu)询依然有效的时候，提交变更到磁盘，Elasticsearch在内存缓冲和盘之间提供?jin)一个文件系l缓存。内存缓?默认情况??U刷Cơ，在文件系l缓存中使用倒排索引创徏一个新的段。这个段是开攄q对搜烦(ch)有效?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">文gpȝ~存可以拥有文g句柄Q文件可以是开攄、可ȝ或者是关闭的，但是它存在于内存之中。因为刷新间隔默认是1U，变更不能立即可见Q所以说是近实时的。因?a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">translog</a>是尚未落盘的变更持久化记录，它能有助于CRUD操作斚w的近实时性。对于每ơ请求来_(d)在查扄x之前QQ何最q的变更都能从translog搜烦(ch)刎ͼ因此客户端可以访问到所有的q实时变更?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">你可以在创徏/更新/删除操作后显式地h索引Q变更立即可见Q但我ƈ不推荐你q样做，因ؓ(f)q样?x)创建出来非常多的?a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">segment</a>而媄(jing)响搜索性能。对于每ơ搜索请求来_(d)l定Elasticsearch索引分片中的全部LuceneD都?x)被搜?ch)刎ͼ但是Q对于Elasticsearch来说Q获取全部匹配的文档或者很q果页的文档是有害的。让我们来一L(fng)看ؓ(f)什么是q样?/p><h2>Z么深层分在分布式搜索中是有害的Q?/h2><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">当我们的一ơ搜索请求在Elasticsearch中匹配了(jin)很多的文档，默认情况下，q回的第一只包含?0条结果。search API提供?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">from</span>?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">size</span>参数Q用于指定对于匹配搜索的全部文档Q要q回多深的结果。D例来_(d)如果我们想看到匹配搜索的文档中，排名?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">50</span>?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">60</span>之间的文档，可以讄<span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">from=50</span>Q?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">size=10</span>。当每个分片接收到这个搜索请求后Q各自会(x)创徏一个容量ؓ(f)<span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">from+size</span>的优先队列来存储该分片上的搜索结果，然后结果返回给协调节点?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;"><img _href="img://null" _p="true" src="http://cdn3.infoqstatic.com/statics_s2_20160809-0249u1/resource/articles/anatomy-of-an-elasticsearch-cluster-part03/zh/resources/000.png" width="550" style="border: 0px; margin: 0px 10px 10px 0px; padding: 0px;" alt="" /></p><div style="margin: 0px; border: 0px; height: 0px; clear: both; font-size: 0px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;"></div><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">如果我们想看到排名ؓ(f)<span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">50,000</span>?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">50,010</span>的结果，那么每个分片要创Z个容量ؓ(f)<span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">50,010</span>的优先队列来存储l果Q而协调节点要在内存中?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">数量为shards * 50,010</span>的结果进行排序。这个别的分页有可能得到结果，也有可以无法实现Q这取决于我们的g资源Q但是这以说明Q我们得非常心(j)C用深分页Q因非常Ҏ(gu)使我们的集群崩溃?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">一U获取全部匹配结果文档的可行性方案是使用<a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">scroll API</a>Q它的角色更像关pL据库中的<a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">游标</a>。?a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">scroll API</a>无法q行排序Q每个分片只要有匚w搜烦(ch)的文档，׃(x)持箋发送结果给协调节点?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">获取大量文档的时候，对结果进行得分排序会(x)非常昂贵。ƈ且由于Elasticsearch是分布式pȝQؓ(f)每个文档计算搜烦(ch)相关性得分是非常昂贵的。现在，让我们一L(fng)看计搜索相x的诸多权衡中的一U?/p><h2>计算搜烦(ch)相关性中的权?/h2><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">Elasticsearch使用<a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">tf-idf</a>来计?a href="http://insightdataengineering.com/blog/elasticsearch-crud/#search-relevance" style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">搜烦(ch)相关?/a>。由于其分布式的性质Q计全局的idf(inverse document frequencyQ逆文档频?非常昂贵。反之可以这P每个分片计算本地的idfq将相关性得分分配给l果文档Q返回的l果只关乎该分片上的文档。同样地Q所有分片用本地idf计算的相x得分，q回l果文档Q协调节点对所有结果排序ƈq回前几条。这样做在大多数情况下是没有问题的，除非索引的关键字词项有倾斜或者单个分片上没有代表全局的够数据?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">比如_(d)如果我们搜烦(ch)“insight”q个词，但包?insight"q个词项的大多数文档都存攑֜一个分片上Q这样以来匹配查询的文档不能公q_在每个分片上q行排序Q因为每个分片上的本地idf的值非怸同，得到的搜索结果可能不?x)非常相兟뀂同样地Q如果没有够的数据Q那么对于某些搜索而言Q本地idf的值可能大有不同，l果也会(x)不如预期相关。在有够数据的真实场景中，本地idfg般会(x)于均等Q搜索结果是相关的，因ؓ(f)文档得到?jin)公q的得分?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">q里?U应Ҏ(gu)地idf得分的办法，但都不徏议真正在生环境中用?/p><ul style="margin: 0px 0px 15px 10px; padding: 0px; border: 0px; clear: left; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; line-height: 25.2px; background-color: #ffffff;"><li style="margin: 0px 0px 0px 15px; padding: 0px; border: 0px; float: none; clear: none;">一U办法是一索引一分片Q本地idfx全局idfQ但q没有ؓ(f)q行计算/水^伸羃留有余地Q对于大型烦(ch)引ƈ不实用?/li><li style="margin: 0px 0px 0px 15px; padding: 0px; border: 0px; float: none; clear: none;">另一U办法是在搜索请求中使用<span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">dfs_query_then_search</span> (dfs = distributed frequency searchQ分布式频率搜烦(ch)) 参数Q这样以来，?x)首先计每个分片的本地idfQ然后综合这些本地idf的值来计算整个索引的全局idf|最后用全局idf计算相关性得分来q回l果。这U方式不为生产环境推荐，因ؓ(f)有够的数据保词项频率分布均匀?/li></ul><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;">在本pd的过d中Q我们回了(jin)一些Elasticsearch的基本原则，对于我们理解q上手ElasticsearchQ这些内定w帔R要。在接下来的一中Q我用Apache Spark来研IElasticsearch中的索引数据?/p><p style="margin: 0px 0px 15px; padding: 0px; border: 0px; float: none; line-height: 25.2px; clear: none; width: 610px; font-family: 'Lantinghei SC', 'Open Sans', Arial, 'Hiragino Sans GB', 'Microsoft YaHei', 微Y雅黑, STHeiti, 'WenQuanYi Micro Hei', SimSun, Helvetica, sans-serif; background-color: #ffffff;"><span style="margin: 0px; border: 0px; padding: 0px; font-weight: 600;">查看英文原文Q?/span><a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">Anatomy of an Elasticsearch Cluster: Part III</a></p><img src ="http://m.tkk7.com/xiaomage234/aggbug/431559.html" width = "1" height = "1" /><br><br><div align=right><a style="text-decoration:none;" href="http://m.tkk7.com/xiaomage234/" target="_blank">马?/a> 2016-08-13 11:26 <a href="http://m.tkk7.com/xiaomage234/archive/2016/08/13/431559.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div>]]></description></item><item><title>剖析Elasticsearch集群pdW一?Elasticsearch的存储模型和d操作http://m.tkk7.com/xiaomage234/archive/2016/08/13/431557.html马?/dc:creator>马?/author>Sat, 13 Aug 2016 03:15:00 GMThttp://m.tkk7.com/xiaomage234/archive/2016/08/13/431557.htmlhttp://m.tkk7.com/xiaomage234/comments/431557.htmlhttp://m.tkk7.com/xiaomage234/archive/2016/08/13/431557.html#Feedback0http://m.tkk7.com/xiaomage234/comments/commentRss/431557.htmlhttp://m.tkk7.com/xiaomage234/services/trackbacks/431557.html

剖析Elasticsearch集群pd늛?jin)当今最行的分布式搜烦(ch)引擎Elasticsearch的底层架构和原型实例?/p>

本文是这个系列的W一，在本文中Q我们将讨论的Elasticsearch的底层存储模型及(qing)CRUDQ创建、读取、更新和删除Q操作的工作原理?/p>

本系列已l得到原文著者Ronak Nathani的授?/p>

Elasticsearch是当今最行的分布式搜烦(ch)引擎QGitHub?SalesforceIQ、Netflix{公司将其用于全文检索和分析应用。在InsightQ我们用C(jin)Elasticsearch的诸多不同功能，比如Q?/p>

  • 全文(g)?ul style="margin: 0px 0px 15px 10px; padding: 0px; border: 0px; clear: left;">
  • 比如扑ֈ与搜索词?term)最相关的维基百U文章?/li>
  • 聚合
    • 比如在广告网l中Q可视化的搜索词的竞h(hun)直方图?/li>
  • 地理I间API
    • 比如在顺风Rq_Q匹配最q的司机和乘客?/li>

    • 正是因ؓ(f)Elasticsearch如此行q且在我们w边Q我军_深入研究一下。本文，我将分nElasticsearch的存储模型和CRUD操作的工作原理?/p>

    当我在思考分布式pȝ是如何工作时Q我脑v里的图案是这L(fng)Q?/p>

    水面以上的是APIQ以下的才是真正的引擎，一切魔q般的事仉发生在水下。本文所x的就是水下的部分Q我们将xQ?/p>

    • Elasticsearch是主从架构还是无L?/li>
    • Elasticsearch的存储模型是什么样?/li>
    • Elasticsearch是怎么执行写操作的
    • Elasticsearch是怎么执行L作的
    • 如何定义搜烦(ch)l果的相x?/li>

    在我们深入这些概念之前，让我们熟(zhn)下相关的术语?/p>

    1 辨析Elasticsearch的烦(ch)引与Lucene的烦(ch)?/h2>

    Elasticsearch中的索引是组l数据的逻辑I间(好比数据库)?个Elasticsearch的烦(ch)引有1个或者多个分?默认??。分片对应实际存储数据的Lucene的烦(ch)引，分片自n是一个搜索引擎。每个分片有0或者多个副?默认??。Elasticsearch的烦(ch)引还包含"type"(像数据库中的表)Q用于逻辑上隔ȝ(ch)引中的数据。在Elasticsearch的烦(ch)引中Q给定一个typeQ它的所有文档会(x)拥有相同的属?像表的schema)?/p>

    (点击攑֤囑փ)

    图a展示?jin)一个包?个分片的Elasticsearch索引Q每个分片拥?个副本。这些分片组成了(jin)一个Elasticsearch索引Q每个分片自w是一个Lucene索引。图b展示?jin)Elasticsearch索引、分片、Lucene索引和文档之间的逻辑关系?/p>

    对应于关pL据库术语

    Elasticsearch Index == Database  Types == Tables  Properties == Schema

    现在我们熟?zhn)了(jin)Elasticsearch世界的术语，接下来让我们看一下节Ҏ(gu)哪些不同的角艌Ӏ?/p>

    2 节点cd

    一个Elasticsearch实例是一个节点，一l节点组成了(jin)集群。Elasticsearch集群中的节点可以配置?U不同的角色Q?/p>

    • 主节?/span>Q控制Elasticsearch集群Q负责集中的操作，比如创徏/删除一个烦(ch)引，跟踪集群中的节点Q分配分片到节点。主节点处理集群的状态ƈq播到其他节点，q接收其他节点的认响应?/p>

      每个节点都可以通过讑֮配置文gelasticsearch.yml中的node.master属性ؓ(f)true(默认)成ؓ(f)主节炏V?/p>

      对于大型的生产集来_(d)推荐使用一个专门的主节Ҏ(gu)控制集群Q该节点不处理M用户h?/p>

    • 数据节点Q持有数据和倒排索引。默认情况下Q每个节炚w可以通过讑֮配置文gelasticsearch.yml中的node.data属性ؓ(f)true(默认)成ؓ(f)数据节点。如果我们要使用一个专门的主节点，应将?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">node.data属性设|ؓ(f)false?/p>

    • 客户端节?/span>Q如果我们将node.master属性和node.data属性都讄?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">falseQ那么该节点是一个客L(fng)节点Q扮演一个负载均衡的角色Q将到来的请求\由到集群中的各个节点?/p>

    Elasticsearch集群中作为客L(fng)接入的节点叫协调节点。协调节点会(x)客L(fng)h路由到集中合适的分片上。对于读h来说Q协调节Ҏ(gu)ơ会(x)选择不同的分片处理请求，以实现负载均衡?/p>

    在我们开始研I发送给协调节点的CRUDh是如何在集群中传播ƈ被引擎执行之前，让我们先来看一下Elasticsearch内部是如何存储数据，以支持全文检索结果的低gq服务的?/p>

    存储模型

    Elasticsearch使用?a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">Apache LuceneQ后者是Doug Cutting(Apache Hadoop之父)使用Java开发的全文(g)索工具库Q其内部使用的是被称为倒排索引的数据结构，其设计是为全文检索结果的低gq提供服务。文档是Elasticsearch的数据单位，Ҏ(gu)档中的词进行分词，q创建去重词的有序列表Q将词项与其在文档中出现的位|列表关联，便Ş成了(jin)倒排索引?/p>

    q和一本书后面的烦(ch)引非常类|即书中包含的词汇与其出现的页码列表关联。当我们说文档被索引?jin)，我们指的是倒排索引。我们来看下如下2个文档是如何被倒排索引的：(x)

    文档1(Doc 1): Insight Data Engineering Fellows Program
    文档2(Doc 2): Insight Data Science Fellows Program

    如果我们x包含词项"insight"的文档，我们可以扫描q个(单词有序?倒排索引Q找?insight"q返回包含改词的文档IDQ示例中是Doc 1和Doc 2?/p>

    Z(jin)提高可检索?比如希望大小写单词都q回)Q我们应当先分析文档再对其烦(ch)引。分析包?个部分：(x)

    • 句子词条化为独立的单词
    • 单词规范化为标准Ş?/li>

    默认情况下，Elasticsearch使用标准分析器，它用了(jin)Q?/p>

    • 标准分词器以单词为界来切?/li>
    • 写词条(token)qo(h)器来转换单词

    q有很多可用的分析器在此不列举，请参考相x档?/p>

    Z(jin)实现查询时能得到对应的结果，查询时应使用与烦(ch)引时一致的分析器，Ҏ(gu)档进行分析?/p>

    注意Q标准分析器包含?jin)停用词qo(h)器，但默认情况下没有启用?/p>

    现在Q倒排索引的概念已l清楚，让我们开始CRUD操作的研I吧。我们从写操作开始?/p>

    剖析写操?/h2>

    创徏((C)reate)

    当我们发送烦(ch)引一个新文档的请求到协调节点后，发生如下一l操作：(x)

    • Elasticsearch集群中的每个节点都包含了(jin)改节点上分片的元数据信息。协调节?默认)使用文档ID参与计算Q以便ؓ(f)路由提供合适的分片。Elasticsearch使用MurMurHash3函数Ҏ(gu)档IDq行哈希Q其l果再对分片数量取模Q得到的l果x索引文档的分片?/p>

      shard = hash(document_id) % (num_of_primary_shards)
    • 当分片所在的节点接收到来自协调节点的h后，?x)将该请求写入translog(我们在本系列接下来的文章中讲到)Qƈ文档加?a style="text-decoration: none; color: #286ab2; outline: none !important; margin: 0px; border: 0px; padding: 0px;">内存~冲。如果请求在d片上成功处理Q该h?x)ƈ行发送到该分片的副本上。当translog被同?fsync)到全部的d片及(qing)其副本上后，客户端才?x)收到确认通知?/li>
    • 内存~冲?x)被周期性刷?默认?U?Q内容将被写到文件系l缓存的一个新D上。虽然这个段q没有被同步(fsync)Q但它是开攄Q内容可以被搜烦(ch)到?/li>
    • ?0分钟Q或者当translog很大的时候，translog?x)被清空Q文件系l缓存会(x)被同步。这个过E在Elasticsearch中称为冲z?flush)。在冲洗q程中，内存中的~冲被清除Q内容被写入一个新Dc(din)段的fsync创Z个新的提交点Qƈ内容刷新到盘。旧的translog被删除q开始一个新的translog?/li>

    下图展示?jin)写h?qing)其数据?/p>

    (点击攑֤囑փ)

    更新((U)pdate)和删?(D)elete)

    删除和更C都是写操作。但是Elasticsearch中的文档是不可变的，因此不能被删除或者改动以展示其变更。那么，该如何删除和更新文档呢？

    盘上的每个D都有一个相应的.del文g。当删除h发送后Q文档ƈ没有真的被删除，而是?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">.del文g中被标记为删除。该文档依然能匹配查询，但是?x)在l果中被qo(h)掉。当D合q?我们在本系列接下来的文章中讲到)Ӟ?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">.del文g中被标记为删除的文档不?x)被写入新段?/p>

    接下来我们看更新是如何工作的。在新的文档被创建时QElasticsearch?x)?f)该文档指定一个版本号。当执行更新Ӟ旧版本的文档?span style="font-weight: 600; margin: 0px; border: 0px; padding: 0px;">.del文g中被标记为删除，新版本的文档被烦(ch)引到一个新Dc(din)旧版本的文档依然能匚w查询Q但是会(x)在结果中被过滤掉?/p>

    文档被烦(ch)引或者更新后Q我们就可以执行查询操作?jin)。让我们看看在Elasticsearch中是如何处理查询h的?/p>

    剖析L?(R)ead)

    L作包?部分内容Q?/p>

    • 查询阶段
    • 提取阶段

    我们来看下每个阶D|如何工作的?/p>

    查询阶段

    在这个阶D，协调节点?x)将查询h路由到烦(ch)引的全部分片(d片或者其副本)上。每个分片独立执行查询，qؓ(f)查询l果创徏一个优先队列，以相x得分排?我们在本系列的后箋文章中讲?。全部分片都匹配文档的ID?qing)其相关性得分返回给协调节点。协调节点创Z个优先队列ƈ对结果进行全局排序。会(x)有很多文档匹配结果，但是Q默认情况下Q每个分片只发送前10个结果给协调节点Q协调节点ؓ(f)全部分片上的q些l果创徏优先队列q返回前10个作为hit?/p>

    提取阶段

    当协调节点在生成的全局有序的文档列表中Qؓ(f)全部l果排好序后Q它?yu)向包含原始文档的分片发赯求。全部分片填充文档信息ƈ其q回l协调节炏V?/p>

    下图展示?jin)读h?qing)其数据?/p>

    (点击攑֤囑փ)

    如上所qͼ查询l果是按相关性排序的。接下来Q让我们看看相关性是如何定义的?/p>

    搜烦(ch)相关?/h2>

    相关性是由搜索结果中Elasticsearch打给每个文档的得分决定的。默认用的排序法是tf/idf(词频/逆文档频?。词频衡量了(jin)一个词在文档中出现的ơ数 (频率高 == 相关性越?Q逆文档频率衡量了(jin)词项在全部烦(ch)引中出现的频率，是一个烦(ch)引中文档L的百分比(频率高 == 相关性越?。最后的得分是tf-idf得分与其他因子比?短语查询中的)词项接近度?模糊查询中的)词项怼度等的组合?/p>

    接下来有什么？

    q些CRUD操作由Elasticsearch内部的一些数据结构所支持Q这对于理解Elasticsearch的工作机刉帔R要。在接下来的pd文章中，我将带大家走q类似的那些概念q告诉大家在使用Elasticsearch中有哪些坑?/p>

    • Elasticsearch中的脑裂问题?qing)防L?/li>
    • 事务日志
    • Lucene的段
    • Z么搜索时使用深层分页很危?/li>
    • 计算搜烦(ch)相关性中困难?qing)权?/li>
    • q发控制
    • Z么Elasticsearch是准实时?/li>
    • 如何保d写的一致?/li>

    查看原文地址Q?/span>http://insightdataengineering.com/blog/elasticsearch-crud



    ]]>    非常的好的协同过滤入门文?转蝲) http://m.tkk7.com/xiaomage234/archive/2016/07/04/431090.html马?/dc:creator>马?/author>Mon, 04 Jul 2016 07:48:00 GMThttp://m.tkk7.com/xiaomage234/archive/2016/07/04/431090.htmlhttp://m.tkk7.com/xiaomage234/comments/431090.htmlhttp://m.tkk7.com/xiaomage234/archive/2016/07/04/431090.html#Feedback0http://m.tkk7.com/xiaomage234/comments/commentRss/431090.htmlhttp://m.tkk7.com/xiaomage234/services/trackbacks/431090.htmlfrom:http://www.ibm.com/developerworks/cn/web/1103_zhaoct_recommstudy1/


    “探烦(ch)推荐引擎内部的秘?#8221;pd带领读者从入q学习(fn)探烦(ch)推荐引擎的机Ӟ实现Ҏ(gu)Q其中还涉及(qing)一些基本的优化Ҏ(gu)Q例如聚cd分类的应用。同时在理论讲解的基上，q会(x)l合 Apache Mahout 介绍如何在大规模数据上实现各U推荐策略，q行{略优化Q构建高效的推荐引擎的方法。本文作个系列的W一文章，深入介l推荐引擎的工作原理Q和其中涉及(qing)的各U推荐机Ӟ以及(qing)它们各自的优~点和适用场景Q帮助用h楚的?jin)解和快速构建适合自己的推荐引擎?/span>

    信息发现

    如今已经q入?jin)一个数据爆炸的时代Q随着 Web 2.0 的发展， Web 已经变成数据分n的^収ͼ那么Q如何让Z在v量的数据中想要找C们需要的信息变得越来越难?/span>

    在这L(fng)情Ş下，搜烦(ch)引擎QGoogleQBingQ百度等{）(j)成ؓ(f)大家快速找到目标信息的最好途径。在用户对自己需求相Ҏ(gu)的时候，用搜索引擎很方便的通过关键字搜索很快的扑ֈ自己需要的信息。但搜烦(ch)引擎q不能完全满用户对信息发现的需求，那是因ؓ(f)在很多情况下Q用户其实ƈ不明自q需要，或者他们的需求很隄单的关键字来表述。又或者他们需要更加符合他们个人口呛_喜好的结果，因此出现?jin)推荐系l，与搜索引擎对应，大家也习(fn)惯称它ؓ(f)推荐引擎?/span>

    随着推荐引擎的出玎ͼ用户获取信息的方式从单的目标明确的数据的搜烦(ch)转换到更高更符合h们用习(fn)惯的信息发现?/span>

    如今Q随着推荐技术的不断发展Q推荐引擎已l在?sh)子商?(E-commerceQ例?AmazonQ当当网 ) 和一些基?social 的社?x)化站?( 包括音乐Q电(sh)影和图书分nQ例如豆瓣，Mtime {?) 都取得很大的成功。这也进一步的说明?jin)，W(xu)eb2.0 环境下，在面Ҏ(gu)v量的数据Q用户需要这U更加智能的Q更加了(jin)解他们需求，口味和喜好的信息发现机制?/span>

    回页?/span>

    推荐引擎

    前面介绍?jin)推荐引擎对于现在?Web2.0 站点的重要意义，q一章我们将讲讲推荐引擎到底是怎么工作的。推荐引擎利用特D的信息qo(h)技术，不同的物品或内Ҏ(gu)荐给可能对它们感兴趣的用戗?/span>

     


    ?1. 推荐引擎工作原理?/span>
    ?1. 推荐引擎工作原理? width= 

    ?1 l出?jin)推荐引擎的工作原理图，q里先将推荐引擎看作黑盒Q它接受的输入是推荐的数据源Q一般情况下Q推荐引擎所需要的数据源包括：(x)

    • 要推荐物品或内容的元数据Q例如关键字Q基因描q等Q?/span>
    • pȝ用户的基本信息，例如性别Q年龄等
    • 用户对物品或者信息的偏好Q根据应用本w的不同Q可能包括用户对物品的评分，用户查看物品的记录，用户的购买记录等。其实这些用L(fng)偏好信息可以分ؓ(f)两类Q?/span>
    • 昑ּ的用户反馈：(x)q类是用户在|站上自然浏览或者用网站以外，昑ּ的提供反馈信息，例如用户对物品的评分Q或者对物品的评论?/span>
    • 隐式的用户反馈：(x)q类是用户在使用|站是生的数据Q隐式的反应?jin)用户对物品的喜好，例如用户购买了(jin)某物品Q用h看了(jin)某物品的信息{等?/span>

    昑ּ的用户反馈能准确的反应用户对物品的真实喜好，但需要用户付出额外的代h(hun)Q而隐式的用户行ؓ(f)Q通过一些分析和处理Q也能反映用L(fng)喜好Q只是数据不是很_Q有些行为的分析存在较大的噪韟뀂但只要选择正确的行为特征，隐式的用户反馈也能得到很好的效果Q只是行为特征的选择可能在不同的应用中有很大的不同，例如在电(sh)子商务的|站上，购买行ؓ(f)其实是一个能很好表现用户喜好的隐式反馈?/span>

    推荐引擎Ҏ(gu)不同的推荐机制可能用到数据源中的一部分Q然后根据这些数据，分析Z定的规则或者直接对用户对其他物品的喜好q行预测计算。这h荐引擎可以在用户q入的时候给他推荐他可能感兴的物品?/span>

    推荐引擎的分c?/span>

    推荐引擎的分cd以根据很多指标，下面我们一一介绍一下：(x)

    1. 推荐引擎是不是ؓ(f)不同的用h荐不同的数据

      Ҏ(gu)q个指标Q推荐引擎可以分为基于大众行为的推荐引擎和个性化推荐引擎

      • Ҏ(gu)大众行ؓ(f)的推荐引擎，Ҏ(gu)个用户都l出同样的推荐，q些推荐可以是静(rn)态的ql管理员人工讑֮的，或者基于系l所有用L(fng)反馈l计计算出的当下比较行的物品?/span>
      • 个性化推荐引擎Q对不同的用PҎ(gu)他们的口呛_喜好l出更加_的推荐，q时Q系l需要了(jin)解需推荐内容和用L(fng)特质Q或者基于社?x)化|络Q通过扑ֈ与当前用L(fng)同喜好的用户Q实现推荐?/span>

      q是一个最基本的推荐引擎分c，其实大部分h们讨论的推荐引擎都是个性化的推荐引擎，因ؓ(f)从根本上_(d)只有个性化的推荐引擎才是更加智能的信息发现q程?/span>

    2. Ҏ(gu)推荐引擎的数据源

      其实q里讲的是如何发现数据的相关性，因ؓ(f)大部分推荐引擎的工作原理q是Z物品或者用L(fng)怼集进行推荐。那么参考图 1 l出的推荐系l原理图Q根据不同的数据源发现数据相x的Ҏ(gu)可以分ؓ(f)以下几种Q?/span>

      • Ҏ(gu)pȝ用户的基本信息发现用L(fng)相关E度Q这U被UCؓ(f)Z人口l计学的推荐QDemographic-based RecommendationQ?/span>
      • Ҏ(gu)推荐物品或内容的元数据，发现物品或者内容的相关性，q种被称为基于内容的推荐QContent-based RecommendationQ?/span>
      • Ҏ(gu)用户对物品或者信息的偏好Q发现物品或者内Ҏ(gu)w的相关性，或者是发现用户的相x，q种被称为基于协同过滤的推荐QCollaborative Filtering-based RecommendationQ?/span>
    3. Ҏ(gu)推荐模型的徏立方?/span>

      可以惌在v量物品和用户的系l中Q推荐引擎的计算量是相当大的Q要实现实时的推荐务必需要徏立一个推荐模型，关于推荐模型的徏立方式可以分Z下几U：(x)

      • Z物品和用hw的Q这U推荐引擎将每个用户和每个物品都当作独立的实体，预测每个用户对于每个物品的喜好程度，q些信息往往是用一个二l矩阉|q的。由于用h兴趣的物品远q小于ȝ品的数目Q这L(fng)模型D大量的数据空|，x们得到的二维矩阵往往是一个很大的E疏矩c(din)同时ؓ(f)?jin)减计量Q我们可以对物品和用戯行聚c， 然后记录和计一cȝ户对一cȝ品的喜好E度Q但q样的模型又?x)在推荐的准性上有损失?/span>
      • Z兌规则的推荐（Rule-based RecommendationQ：(x)兌规则的挖掘已l是数据挖掘中的一个经典的问题Q主要是挖掘一些数据的依赖关系Q典型的场景是“购物问?#8221;Q通过兌规则的挖掘，我们可以扑ֈ哪些物品l常被同时购乎ͼ或者用戯C(jin)一些物品后通常?x)购买哪些其他的物品Q当我们挖掘些关联规则之后，我们可以Zq些规则l用戯行推荐?/span>
      • Z模型的推荐（Model-based RecommendationQ：(x)q是一个典型的机器学习(fn)的问题，可以已有的用户喜好信息作ؓ(f)训练hQ训l出一个预用户喜好的模型Q这样以后用户在q入pȝQ可以基于此模型计算推荐。这U方法的问题在于如何用户实时或者近期的喜好信息反馈l训l好的模型，从而提高推荐的准确度?/span>

    其实在现在的推荐pȝ中，很少有只使用?jin)一个推荐策略的推荐引擎Q一般都是在不同的场景下使用不同的推荐策略从而达到最好的推荐效果Q例?Amazon 的推荐，它将Z用户本n历史购买数据的推荐，和基于用户当前浏览的物品的推荐，以及(qing)Z大众喜好的当下比较流行的物品都在不同的区域推荐给用户Q让用户可以从全方位的推荐中扑ֈ自己真正感兴的物品?/span>


    深入推荐机制

    q一章的幅Q将详细介绍各个推荐机制的工作原理，它们的优~点以及(qing)应用场景?/span>

    Z人口l计学的推荐

    Z人口l计学的推荐机制QDemographic-based RecommendationQ是一U最易于实现的推荐方法，它只是简单的Ҏ(gu)pȝ用户的基本信息发现用L(fng)相关E度Q然后将怼用户喜爱的其他物品推荐给当前用户Q图 2 l出?jin)这U推荐的工作原理?/span>


    ?2. Z人口l计学的推荐机制的工作原?/span>
    ?2. Z人口l计学的推荐机制的工作原? width= 

    从图中可以很清楚的看刎ͼ首先Q系l对每个用户都有一个用?Profile 的徏模，其中包括用户的基本信息，例如用户的年龄，性别{等Q然后，pȝ?x)根据用L(fng) Profile 计算用户的相似度Q可以看到用?A ?Profile 和用?C 一P那么pȝ?x)认为用?A ?C 是相似用P在推荐引擎中Q可以称他们?#8220;d”Q最后，Z“d”用户的喜好推荐l当前用户一些物品，图中用?A 喜欢的物?A 推荐l用?C?/span>

    q种Z人口l计学的推荐机制的好处在于：(x)

    1. 因ؓ(f)不用当前用户对物品的喜好历史数据，所以对于新用户来讲没有“冷启动（Cold StartQ?#8221;的问题?/span>
    2. q个Ҏ(gu)不依赖于物品本n的数据，所以这个方法在不同物品的领域都可以使用Q它是领域独立的Qdomain-independentQ?/span>

    那么q个Ҏ(gu)的缺点和问题是什么呢Q这U基于用L(fng)基本信息对用戯行分cȝҎ(gu)q于_糙Q尤其是对品呌求较高的领域Q比如图书，?sh)?jing)和音乐等领域Q无法得到很好的推荐效果。可能在一些电(sh)子商务的|站中，q个Ҏ(gu)可以l出一些简单的推荐。另外一个局限是Q这个方法可能涉?qing)到一些与信息发现问题本n无关却比较敏感的信息Q比如用L(fng)q龄{，q些用户信息不是很好获取?/span>

    Z内容的推?/span>

    Z内容的推荐是在推荐引擎出C初应用最为广泛的推荐机制Q它的核?j)思想是根据推荐物品或内容的元数据Q发现物品或者内容的相关性，然后Z用户以往的喜好记录，推荐l用L(fng)似的物品。图 3 l出?jin)基于内?gu)荐的基本原理?/span>


    ?3. Z内容推荐机制的基本原?/span>
    ?3. Z内容推荐机制的基本原? width= 

    ?3 中给Z(jin)Z内容推荐的一个典型的例子Q电(sh)影推荐系l，首先我们需要对?sh)?jing)的元数据有一个徏模，q里只简单的描述?jin)一下电(sh)qcdQ然后通过?sh)?jing)的元数据发现?sh)?jing)间的怼度，因ؓ(f)cd都是“爱情Q浪?#8221;?sh)?jing) A ?C 被认为是怼的电(sh)影（当然Q只Ҏ(gu)cd是不够的Q要得到更好的推荐，我们q可以考虑?sh)?jing)的导演，演员{等Q；最后实现推荐，对于用户 AQ他喜欢看电(sh)?AQ那么系l就可以l他推荐cM的电(sh)?C?/span>

    q种Z内容的推荐机制的好处在于它能很好的徏模用L(fng)口味Q能提供更加_的推荐。但它也存在以下几个问题Q?/span>

    1. 需要对物品q行分析和徏模，推荐的质量依赖于对物品模型的完整和全面程度。在现在的应用中我们可以观察到关键词和标{（TagQ被认ؓ(f)是描q物品元数据的一U简单有效的Ҏ(gu)?/span>
    2. 物品怼度的分析仅仅依赖于物品本w的特征Q这里没有考虑人对物品的态度?/span>
    3. 因ؓ(f)需要基于用户以往的喜好历史做出推荐，所以对于新用户?#8220;冷启?#8221;的问题?/span>

    虽然q个Ҏ(gu)有很多不_问题Q但他还是成功的应用在一些电(sh)影，音乐Q图书的C交站点Q有些站点还请专业的人员对物品进行基因编码，比如潘多拉，在一份报告中说道Q在潘多拉的推荐引擎中，每首歌有过 100 个元数据特征Q包括歌曲的风格Q年份，演唱者等{?/span>

    Z协同qo(h)的推?/span>

    随着 Web2.0 的发展，W(xu)eb 站点更加提倡用户参与和用户贡献Q因此基于协同过滤的推荐机制因运而生。它的原理很单，是Ҏ(gu)用户对物品或者信息的偏好Q发现物品或者内Ҏ(gu)w的相关性，或者是发现用户的相x，然后再基于这些关联性进行推荐。基于协同过滤的推荐可以分ؓ(f)三个子类Q基于用L(fng)推荐QUser-based RecommendationQ，Z目的推荐（Item-based RecommendationQ和Z模型的推荐（Model-based RecommendationQ。下面我们一个一个详l的介绍着三种协同qo(h)的推荐机制?/span>

    Z用户的协同过滤推?/span>

    Z用户的协同过滤推荐的基本原理是，Ҏ(gu)所有用户对物品或者信息的偏好Q发C当前用户口味和偏好相似的“d”用户，在一般的应用中是采用计算“K- d”的算法；然后Q基于这 K 个邻居的历史偏好信息Qؓ(f)当前用户q行推荐。下?4 l出?jin)原理图?/span>


    ?4. Z用户的协同过滤推荐机制的基本原理
    ?4. Z用户的协同过滤推荐机制的基本原理 

    上图C意出基于用L(fng)协同qo(h)推荐机制的基本原理，假设用户 A 喜欢物品 AQ物?CQ用?B 喜欢物品 BQ用?C 喜欢物品 A Q物?C 和物?DQ从q些用户的历史喜好信息中Q我们可以发现用?A 和用?C 的口呛_偏好是比较类似的Q同时用?C q喜Ƣ物?DQ那么我们可以推断用?A 可能也喜Ƣ物?DQ因此可以将物品 D 推荐l用?A?/span>

    Z用户的协同过滤推荐机制和Z人口l计学的推荐机制都是计算用户的相似度QƈZ“d”用户计推荐，但它们所不同的是如何计算用户的相似度Q基于h口统计学的机制只考虑用户本n的特征，而基于用L(fng)协同qo(h)机制可是在用L(fng)历史偏好的数据上计算用户的相似度Q它的基本假设是Q喜Ƣ类似物品的用户可能有相同或者相似的口味和偏好?/span>

    Z目的协同过滤推?/span>

    Z目的协同过滤推荐的基本原理也是cM的，只是说它使用所有用户对物品或者信息的偏好Q发现物品和物品之间的相似度Q然后根据用L(fng)历史偏好信息Q将cM的物品推荐给用户Q图 5 很好的诠释了(jin)它的基本原理?/span>

    假设用户 A 喜欢物品 A 和物?CQ用?B 喜欢物品 AQ物?B 和物?CQ用?C 喜欢物品 AQ从q些用户的历史喜好可以分析出物品 A 和物?C 时比较类似的Q喜Ƣ物?A 的h都喜Ƣ物?CQ基于这个数据可以推断用?C 很有可能也喜Ƣ物?CQ所以系l会(x)物?C 推荐l用?C?/span>

    与上面讲的类|Z目的协同过滤推荐和Z内容的推荐其实都是基于物品相似度预测推荐Q只是相似度计算的方法不一P前者是从用户历史的偏好推断Q而后者是Z物品本n的属性特征信息?/span>


    ?5. Z目的协同过滤推荐机制的基本原理
    ?5. Z目的协同过滤推荐机制的基本原理 

    同时协同qo(h)Q在Z用户和基于项目两个策略中应该如何选择呢？其实Z目的协同过滤推荐机制是 Amazon 在基于用L(fng)机制上改良的一U策略，因ؓ(f)在大部分?Web 站点中，物品的个数是q远于用户的数量的Q而且物品的个数和怼度相Ҏ(gu)较稳定，同时Z目的机制比Z用户的实时性更好一些。但也不是所有的场景都是q样的情况，可以设想一下在一些新L荐系l中Q也许物品，也就是新ȝ个数可能大于用户的个敎ͼ而且新闻的更新程度也有很快，所以它的Ş似度依然不稳定。所以，其实可以看出Q推荐策略的选择其实和具体的应用场景有很大的关系?/span>

    Z模型的协同过滤推?/span>

    Z模型的协同过滤推荐就是基于样本的用户喜好信息Q训l一个推荐模型，然后Ҏ(gu)实时的用户喜好的信息q行预测Q计推荐?/span>

    Z协同qo(h)的推荐机制是C应用最为广泛的推荐机制Q它有以下几个显著的优点Q?/span>

    1. 它不需要对物品或者用戯行严格的建模Q而且不要求物品的描述是机器可理解的，所以这U方法也是领域无关的?/span>
    2. q种Ҏ(gu)计算出来的推荐是开攄Q可以共用他人的l验Q很好的支持用户发现潜在的兴偏?/span>

    而它也存在以下几个问题：(x)

    1. Ҏ(gu)的核?j)是Z历史数据Q所以对新物品和新用户都?#8220;冷启?#8221;的问题?/span>
    2. 推荐的效果依赖于用户历史偏好数据的多和准确性?/span>
    3. 在大部分的实CQ用户历史偏好是用稀疏矩阵进行存储的Q而稀疏矩阵上的计有些明昄问题Q包括可能少部分人的错误偏好?x)对推荐的准度有很大的影响{等?/span>
    4. 对于一些特D品味的用户不能l予很好的推荐?/span>
    5. ׃以历史数据ؓ(f)基础Q抓取和建模用户的偏好后Q很难修Ҏ(gu)者根据用L(fng)使用演变Q从而导致这个方法不够灵zR?/span>

    混合的推荐机?/span>

    在现行的 Web 站点上的推荐往往都不是单U只采用?jin)某一U推荐的机制和策略，他们往往是将多个Ҏ(gu)混合在一P从而达到更好的推荐效果。关于如何组合各个推荐机Ӟq里讲几U比较流行的l合Ҏ(gu)?/span>

    1. 加权的؜合（Weighted HybridizationQ? 用线性公式（linear formulaQ将几种不同的推荐按照一定权重组合v来，具体权重的值需要在试数据集上反复实验Q从而达到最好的推荐效果?/span>
    2. 切换的؜合（Switching HybridizationQ：(x)前面也讲刎ͼ其实对于不同的情况（数据量，pȝq行状况Q用户和物品的数目等Q，推荐{略可能有很大的不同Q那么切换的混合方式Q就是允许在不同的情况下Q选择最为合适的推荐机制计算推荐?/span>
    3. 分区的؜合（Mixed HybridizationQ：(x)采用多种推荐机制Qƈ不同的推荐l果分不同的区显C给用户。其实，AmazonQ当当网{很多电(sh)子商务网站都是采用这L(fng)方式Q用户可以得到很全面的推荐，也更Ҏ(gu)扑ֈ他们惌的东ѝ?/span>
    4. 分层的؜合（Meta-Level HybridizationQ? 采用多种推荐机制Qƈ一个推荐机制的l果作ؓ(f)另一个的输入Q从而综合各个推荐机制的优缺点，得到更加准确的推荐?/span>

    推荐引擎的应?/span>

    介绍完推荐引擎的基本原理Q基本推荐机Ӟ下面要分析几个有代表性的推荐引擎的应用，q里选择两个领域QAmazon 作ؓ(f)?sh)子商务的代表，豆瓣作?f)C交|络的代表?/span>

    推荐在电(sh)子商务中的应?– Amazon

    Amazon 作ؓ(f)推荐引擎的E，它已l将推荐的思想渗透在应用的各个角落。Amazon 推荐的核?j)是通过数据挖掘法和比较用L(fng)消费偏好于其他用戯行对比，借以预测用户可能感兴的商品。对应于上面介绍的各U推荐机ӞAmazon 采用的是分区的؜合的机制Qƈ不同的推荐l果分不同的区显C给用户Q图 6 和图 7 展示?jin)用户?Amazon 上能得到的推荐?/span>


    ?6. Amazon 的推荐机?- 首页
    ?6. Amazon 的推荐机?- 首页 

    ?7. Amazon 的推荐机?- 览物品
    ?7. Amazon 的推荐机?- 览物品 

    Amazon 利用可以记录的所有用户在站点上的行ؓ(f)Q根据不同数据的特点对它们进行处理，q分成不同区为用h送推荐：(x)

    • 今日推荐 (Today's Recommendation For You): 通常是根据用L(fng)q期的历史购买或者查看记录，q结合时下流行的物品l出一个折中的推荐?/span>
    • C品的推荐 (New For You): 采用?jin)基于内容的推荐机?(Content-based Recommendation)Q将一些新到物品推荐给用户。在Ҏ(gu)选择上由于新物品没有大量的用户喜好信息，所以基于内容的推荐能很好的解决q个“冷启?#8221;的问题?/span>
    • 捆绑销?(Frequently Bought Together): 采用数据挖掘技术对用户的购买行行分析，扑ֈl常被一h同一个h购买的物品集Q进行捆l销售，q是一U典型的Z目的协同过滤推荐机制?/span>
    • 别h购买 / 览的商?(Customers Who Bought/See This Item Also Bought/See): q也是一个典型的Z目的协同过滤推荐的应用Q通过C会(x)化机制用戯更快更方便的扑ֈ自己感兴的物品?/span>

    值得一提的是，Amazon 在做推荐Ӟ设计和用户体验也做得特别独到Q?/span>

    Amazon 利用有它大量历史数据的优势，量化推荐原因?/span>

    • ZC会(x)化的推荐QAmazon ?x)给你事实的数据Q让用户信服Q例如：(x)购买此物品的用户癑ֈ之多也购买?jin)那个物品?/span>
    • Z物品本n的推荐，Amazon 也会(x)列出推荐的理由，例如Q因Z的购物框中有 ***Q或者因Z购买q?***Q所以给你推荐类似的 ***?/span>

    另外QAmazon 很多推荐是基于用L(fng) profile 计算出来的，用户?profile 中记录了(jin)用户?Amazon 上的行ؓ(f)Q包括看?jin)那些物品，C(jin)那些物品Q收藏夹?wish list 里的物品{等Q当?Amazon 里还集成?jin)评分等其他的用户反馈的方式Q它们都?profile 的一部分Q同ӞAmazon 提供?jin)让用户自主理自?profile 的功能，通过q种方式用户可以更明的告诉推荐引擎他的品味和意图是什么?/span>

    推荐在社交网站中的应?– 豆瓣

    豆瓣是国内做的比较成功的C交|站Q它以图书，?sh)?jing)Q音乐和同城zdZ?j)，形成一个多元化的社交网l^収ͼ自然推荐的功能是必不可少的，下面我们看看豆瓣是如何推荐的?/span>


    ?8 . 豆瓣的推荐机?- 豆瓣?sh)?jing)
    ?8 . 豆瓣的推荐机?- 豆瓣?sh)?jing) 

    当你在豆瓣电(sh)׃一些你看过的或是感兴趣的电(sh)影加入你看过和想看的列表里，qؓ(f)它们做相应的评分Q这时豆瓣的推荐引擎已经拿到你的一些偏好信息，那么它将l你展示如图 8 的电(sh)影推荐?/span>


    ?9 . 豆瓣的推荐机?- Z用户品味的推?/span>
    ?9 . 豆瓣的推荐机?- Z用户品味的推? width= 

    豆瓣的推荐是通过“豆瓣?#8221;Qؓ(f)?jin)让用户清楚q些推荐是如何来的，豆瓣q给Z(jin)“豆瓣?#8221;的一个简要的介绍?/span>

    “你的个h推荐是根据你的收藏和评h(hun)自动得出的，每个人的推荐清单都不同。你的收藏和评h(hun)多Q豆瓣给你的推荐?x)越准确和丰富?/span>
    每天推荐的内容可能会(x)有变化。随着豆瓣的长大，l你推荐的内容也?x)越来越准?/span>”

    q一点让我们可以清晰明了(jin)的知道，豆瓣必然是基于社?x)化的协同过滤的推荐Q这L(fng)戯多，用户的反馈越多，那么推荐的效果会(x)来准?/span>

    相对?Amazon 的用戯为模型，豆瓣?sh)?jing)的模型更加简单，是“看过”?#8220;想看”Q这也让他们的推荐更加专注于用户的品呻I毕竟C西和看电(sh)q动机q是有很大不同的?/span>

    另外Q豆瓣也有基于物品本w的推荐Q当你查看一些电(sh)q详细信息的时候，他会(x)l你推荐?#8220;喜欢q个?sh)?jing)的h也喜Ƣ的?sh)?jing)”Q?如图 10Q这是一个基于协同过滤的应用?/span>


    ?10 . 豆瓣的推荐机?- Z?sh)?jing)本n的推?/span>
    ?10 . 豆瓣的推荐机?- Z?sh)?jing)本n的推? width= 

     

     

     

    ȝ

    在网l数据爆炸的q代Q如何让用户更快的找到想要的数据Q如何让用户发现自己潜在的兴和需求，无论是对于电(sh)子商务还是社?x)网l的应用都是臛_重要的。推荐引擎的出现Q得这个问题越来越被大家关注。但对大多数人来Ԍ也许q在惊叹它ؓ(f)什么L能猜C到底惌些什么。推荐引擎的力在于你不清楚在这个推荐背后，引擎到底记录和推理了(jin)些什么?/span>

    通过q篇lD性的文章Q你可以?jin)解Q其实推荐引擎只是默默的记录和观察你的一举一动，然后再借由所有用户生的量数据分析和发现其中的规律Q进而慢慢的?jin)解你，你的需求，你的?fn)惯Qƈ默默的无声息的帮助你快速的解决你的问题Q找C惌的东ѝ?/span>

    其实Q回头想惻I很多时候，推荐引擎比你更了(jin)解你自己?/span>

    通过W一文章，怿大家Ҏ(gu)荐引擎有一个清晰的W一印象Q本pd的下一文章将深入介绍Z协同qo(h)的推荐策略。在C的推荐技术和法中，最被大家广泛认可和采用的就是基于协同过滤的推荐Ҏ(gu)。它以其Ҏ(gu)模型单，数据依赖性低Q数据方侉K集，推荐效果较优{多个优Ҏ(gu)为大众眼里的推荐法“No.1”。本文将带你深入?jin)解协同qo(h)的秘密，q给出基?Apache Mahout 的协同过滤算法的高效实现。Apache Mahout ?ASF 的一个较新的开源项目，它源?LuceneQ构建在 Hadoop 之上Q关注v量数据上的机器学?fn)经典算法的高效实现?/span>

    感谢大家Ҏ(gu)pd的关注和支持?/span>



    ]]>     վ֩ģ壺 һAV | þӰӹ| av| ڵƵ| ëƬһëƬ| ؼƷëƬѹۿ| AVһ| ۲Ƶwwwѿ| һ| ٸԼA | av뾫ƷϼӰӰԺ | caopornѹ| ޹һƵ| һa| Ļ޾Ʒ| ɫѲ| AVպƷþþþ| 69Ƶѹۿ| 18߹ۿ| Ů18ëƬaëƬƵ| ޾Ʒþþþþ| **ëƬֱ߲| ԰߹ۿ91 | ޵ҹ| ҹƵѹۿ| Ƶѹۿ| ŷAVӰ߹ۿ| ҹƷ侫֮ѹۿ| þþȹ͵ۺ| ëƬaëƬѲ| ɫƨƨ߹ۿƵ| ˳վ߲vr| xxƵѹۿ| ŷavۺɫ| ˬˬһ| þþøձѹۿ| ۺɫһ| Ʒ˳| 2015պƵ | йڶѲ| ޾ƷþëƬҰ |