Elasticsearch系列—深入全文搜索
最通俗易懂的 Java 11 新特性讲解
提要
本篇引见如何在全文字段中搜刮到最相干的文档,包括手动掌握搜刮的精准度,搜刮前提权重掌握。
手动掌握搜刮的精准度
搜刮的两个重要维度:相干性(Relevance)和剖析(Analysis)。
相干性是评价查询前提与效果的相干水平,并对相干水平举行排序,平常运用TF/IDF要领。
剖析是指将索引文档与查询前提规范化的一个历程,目标是竖立倒排索引时,尽量地提拔召回率。
match查询道理
婚配查询match是中心查询语法,它的重要运用场景就是全文搜刮,我们举一个示例:
GET /music/children/_search
{
"query": {
"match": {
"name": "wake"
}
}
}
Elasticsearch实行的步骤:
- 检索字段范例:match的字段name为text范例,是一个analyzed的字段,那末查询前提的字符串也应该被analyzed。
- 剖析查询字符串:将查询字符串"wake"传入分词器中(与mapping的分词器一致),由于只要一个单词,所以match终究实行的是单个底层的term查询。
- 查找婚配文档:用term倒排索引中查找wake然后猎取一组包括该词的文档。
- 为每一个文档评分:用term查询盘算每一个文档相干度评分,即TF、IDF、length norm算法。
获得的效果以下:
{
"took": 1,
"timed_out": false,
"_shards": {
"total": 5,
"successful": 5,
"skipped": 0,
"failed": 0
},
"hits": {
"total": 1,
"max_score": 0.2876821,
"hits": [
{
"_index": "music",
"_type": "children",
"_id": "2",
"_score": 0.2876821,
"_source": {
"id": "a810fad4-54cb-59a1-9b7a-82adb46fa58d",
"author": "John Smith",
"name": "wake me, shark me",
"content": "don't let me sleep too late, gonna get up brightly early in the morning",
"language": "english",
"tags": "enlighten",
"length": 55,
"isRelease": true,
"releaseDate": "2019-12-21"
}
}
]
}
}
由于样本数据的问题,临时只要一条文档婚配。
搜刮name中包括"you"或"sunshine"的文档
GET /music/children/_search
{
"query": {
"match": {
"name": "you sunshine"
}
}
}
搜刮name中包括"you"和"sunshine"的文档
GET /music/children/_search
{
"query": {
"match": {
"name": {
"query": "you sunshine",
"operator": "and"
}
}
}
}
搜刮精准度掌握的第一步:运用and关键字。假如愿望一切搜刮关键字都要婚配,能够用and来完成。
搜刮"you"、"my"、"sunshine"、"teeth" 4个关键字中,最少包括3个的文档
GET /music/children/_search
{
"query": {
"match": {
"name": {
"query": "you my sunshine teeth",
"minimum_should_match": "75%"
}
}
}
}
搜刮精准度掌握的第二步:指定最少婚配个中的多少个关键字,才作为效果返回
bool组合多个搜刮前提
用bool组合,能够完成越发个性化的搜刮需求,比方我们查找称号包括"sunshine",但不包括"teeth",许可涌现"you"、"my"关键字,示例以下:
GET /music/children/_search
{
"query": {
"bool": {
"must": { "match": { "name": "sunshine" }},
"must_not": { "match": { "name": "teeth" }},
"should": [
{ "match": { "name": "my" }},
{ "match": { "name": "you" }}
]
}
}
}
should对相干度评分盘算的影响
以上面的bool为例子,我们只议论婚配的文档,按本身的明白,对文档举行大略排名:
- 最相符搜刮前提的
文档中同时包括should中的"my"、"you"两个关键字。
- 很相符搜刮前提的
文档中包括should中的"my"或"you"两个关键字的个中一个。
- 相符搜刮前提的
文档中不包括should中的"my"和"you"。
像must not这类硬性前提,不婚配都不会涌现在效果集里,重要起到消除文档作用,不介入评分盘算。但should也能影响相干度评分,婚配得越多,评分就越高。
bool查询会为每一个文档盘算相干度评分_score ,再将一切婚配的 must 和 should 语句的分数 _score 乞降,末了除以 must 和 should 语句的总数。
这里不细致解说评分盘算的详细细节和分数,相识should对其有影响即可。
should婚配准绳
假如查询前提中有must存在,那末should婚配的数目不作请求;假如没有must,则should必须要婚配一个,要不然满是should前提的,一切文档都能婚配,就失去了搜刮的意义。
假如带上minimum_should_match,那末就能做更邃密的掌握,能够指定必须要婚配几个should,才返回效果集,以下两个示例是同等的:
GET /music/children/_search
{
"query": {
"match": {
"name": {
"query": "you my sunshine teeth",
"minimum_should_match": "75%"
}
}
}
}
GET /music/children/_search
{
"query": {
"bool": {
"should": [
{ "match": { "name": "you" }},
{ "match": { "name": "my" }},
{ "match": { "name": "sunshine" }},
{ "match": { "name": "teeth" }}
],
"minimum_should_match": 3
}
}
}
多词查询的底层道理
上一节当中我们提到的多词match的查询,Elasticsearch会将多词的term查询转换为bool查询,or查询运用should替换, and查询运用must,我们回忆一下上一节的示例:
or查询
下面两个查询是等价的
GET /music/children/_search
{
"query": {
"match": {
"name": "you sunshine"
}
}
}
GET /music/children/_search
{
"query": {
"bool": {
"should": [
{"term": {"name": "you"}},
{"term": {"name": "sunshine"}}
]
}
}
}
and查询
下面两个查询也是等价的
GET /music/children/_search
{
"query": {
"match": {
"name": {
"query": "you sunshine",
"operator": "and"
}
}
}
}
GET /music/children/_search
{
"query": {
"bool": {
"must": [
{"term": {"name": "you"}},
{"term": {"name": "sunshine"}}
]
}
}
}
minimum_should_match语法
下面两个查询仍然是等价的
GET /music/children/_search
{
"query": {
"match": {
"name": {
"query": "you my sunshine teeth",
"minimum_should_match": "75%"
}
}
}
}
GET /music/children/_search
{
"query": {
"bool": {
"should": [
{ "match": { "name": "you" }},
{ "match": { "name": "my" }},
{ "match": { "name": "sunshine" }},
{ "match": { "name": "teeth" }}
],
"minimum_should_match": 3
}
}
}
minimum_should_match的值能够改,也会依据现实的前提来换算,比方我写个75%,但现实的搜刮词条就只要3个,那末minimum_should_match的值就会变成66.6%,即最少须要婚配2条。
查询语句权重掌握
bool查询里的多前提并列,默许权重是一样的,但现实的搜刮当中,我们可能会迥殊某一些关键词赋予特别的关注,愿望婚配关注度高的文档排序能靠前一些,boost语法能够协助我们完成这一需求。
boost默许是1,能够在查询语句中自行设置,以下示例,我愿望sunshine的权重要大一些:
GET /music/children/_search
{
"query": {
"bool": {
"must": {
"match": {
"name": {
"query": "sunshine",
"boost": 2
}
}
},
"should": [
{
"match": {
"name": "my"
}
},
{
"match": {
"name": "you"
}
}
]
}
}
}
在查询效果里能够看到,相符前提的文档的_score值变得更高一些。boost值的设置不是简朴的线性增进,boost设置为2不示意_score也会简朴的翻一倍,boost值在盘算时有归一化处置惩罚,但详细的盘算数值及历程不在此篇作细致的诠释。
评分盘算的小问题
我们的演示环境是单node多shard形式的,有些示例发明评分会涌现迥殊高的征象,给人觉得不是很正确,这是为何呢?
不正确的缘由
我们简朴回忆一下评分盘算的几个算法:TF、IDF、Length Norm,个中IDF本意上是在一切的document中,搜刮关键词的涌现次数,现实上IDF默许在当地shard实行的次数统计,一个shard只包括部份数据,不能代表一切数据,如许做比较高效,但会带来误差,也是形成效果不正确的缘由。
演示环境中涌现较大误差,另有一个缘由是演示数据相对较少,假如只要一个document,而且该document相符查询前提,那末IDF的分数就会变得很高。
解决办法
- 生产环境数据量相对较大,默许运用_id举行路由,在几率分布下,实在每一个shard的数据基本上比较匀称,不必太忧郁演示环境的这类状况。
- 演示环境能够将primary shard设置为1,只要一个shard,那IDF的值肯定是对的。
- 演示环境举行搜刮时,带上search_type=dfs_query_then_fetch参数,会将local IDF取出来盘算global IDF。注重机能问题,生产上禁用。
小结
本篇重要引见了全文搜刮几种手动掌握精度的体式格局:逻辑操作符变更、should命中率设置、权重调解等手腕,末了对评分盘算的小问题举行的简朴形貌,感谢。
专注Java高并发、分布式架构,更多手艺干货分享与心得,请关注民众号:Java架构社区
能够扫左侧二维码增加挚友,约请你到场Java架构社区微信群配合讨论手艺
有了这个开源 Java 项目,开发出炫酷的小游戏好像不难?