主頁 > 資料庫 > es筆記三之term,match,match_phrase 等查詢方法介紹

es筆記三之term,match,match_phrase 等查詢方法介紹

2023-07-06 09:17:16 資料庫

本文首發于公眾號:Hunter后端
原文鏈接:es筆記三之term,match,match_phrase 等查詢方法介紹

首先介紹一下在 es 里有兩種存盤字串的欄位型別,一個是 keyword,一個是 text,

keyword 在存盤資料的時候是作為一個整體存盤的,不會對其進行分詞處理

text 存盤資料的時候會對字串進行分詞處理,然后存盤,

而對于查詢方法, term 是精確查詢,match 是模糊查詢,

接下來我們用幾個例子,來分別表達下這兩種型別的欄位,使用 term,match,match_phrase 等搜索的情況,

  1. 測驗搜索 keyword
  2. 測驗搜索 text
  3. match 的其他用法
  4. multi-match 搜索

首先我們創建這樣一個 index 和下面幾條資料:

PUT /exam

PUT /exam/_mapping
{
  "properties": {
    "address": {
      "type": "text",
      "fields": {
        "keyword": {
          "type": "keyword",
          "ignore_above": 256
        }
      }
    },
    "name": {
      "type": "keyword"
    }
  }
}

我們創建了 name 欄位為 keyword,address 欄位是 text,接下來我們先創建幾條資料來測驗 keyword 欄位型別的搜索,

1、測驗搜索 keyword

寫入資料:

PUT /exam/_doc/1
{
    "name" : "hunter x",
    "address": "i study english"
}

PUT /exam/_doc/2
{
    "name" : "python x",
    "address": "this is  python x"
}

PUT /exam/_doc/3
{
    "name" : "hunter python",
    "address": "i live in china"
}

PUT /exam/_doc/4
{
    "name" : "hunter java",
    "address": "read a book"
}

PUT /exam/_doc/5
{
    "name" : "java golang python",
    "address": "you can get a good job"
}

PUT /exam/_doc/6
{
    "name" : "js python",
    "address": "wanna go out to play"
}

name 欄位型別為 keyword,所以它存盤的時候是以整體來存盤的,

接下來介紹這幾種查詢方式查詢 name 欄位的操作,

term

精確查找,對于搜索的內容也是直接整體查找,也就是說搜索什么內容就查詢什么內容,

比如對于我們寫入的 id=2 的資料,要想查 name='python x' 的資料,就需要查詢的字串和結果完全匹配才可回傳,比如下面的操作操作:

GET /exam/_search
{
  "query": {
    "term": {
      "name": {
        "value": "python x"
      }
    }
  }
}

match

match 的操作是將搜索的內容進行分詞后再查詢,比如我們 match 的引數是 python x,那么分詞后的結果是 pythonx,但是 keyword 型別的欄位資料不會分詞,所以也需要能夠完全匹配才能查詢得到,所以這里就會去查找 name 欄位里只包含了 python 和 x 的資料,

GET /exam/_search
{
  "query": {
    "match": {
      "name": "python x"
    }
  }
}

2、測驗搜索 text

前面的 keyword 型別的欄位搜索需要把握的是完全一樣就行,而對于 text 欄位的搜索,text 欄位的內容在寫入 es 時本身會被分詞處理,所以搜索 text 的處理并不完全一樣,

在這里,我么用的 address 欄位是 text 型別,我們還是用前面的示例作為演示,

term

term 的搜索是不分詞的,搜索給定字串的全部內容,比如對于我們插入的 id=4 的那條資料,address 的內容是 read a book,它被分詞為三個,read、a、book,所以我們使用 term 方法搜索下面三個都可以搜到這條資料:

GET /exam/_search
{"query": {"term": {"address": "read"}}}

GET /exam/_search
{"term": {"address": "a"}}

GET /exam/_search
{"term": {"address": "book"}}

但是,如果我們 address 后面的值如下這種就搜索不到了,因為 term 操作并不會給搜索的內容進行分詞,而是作為一個整體進行搜索:

GET /exam/_search
{"query": {"term": {"address": "read a"}}}

GET /exam/_search
{"query": {"term": {"address": "a book"}}}

GET /exam/_search
{"query": {"term": {"address": "read a book"}}}

但是還有一種情況,那就是對于搜索的 text 欄位后加上 .keyword 欄位的操作,這個相當于將 address 不分詞進行搜索,將 address 這個欄位看作是一個 keyword 來操作,可以理解成是使用 term 來搜索 keyword 欄位,就是上一個型別的操作,

所以下面的這個操作就是可以搜索到 address='read a book' 的資料

GET /exam/_search
{"query": {"term": {"address.keyword": "read a book"}}}

match

match,模糊匹配,在匹配前會將搜索的字串進行分詞,然后將匹配上的資料按照匹配度(在 es 里有一個 _score 欄位用于表示這種匹配程度)倒序回傳,

比如我們對 address 欄位搜索字串 a,會回傳兩條資料,id 為 4 和 5 的,因為 address 欄位進行分詞存盤后都包含這個字串,

GET /exam/_search
{"query": {"match": {"address": "a"}}}

或者我們搜索內容為 read a,match 搜索會先將其分詞,變成 reada,然后匹配分詞后包含這兩個字串一個或者兩個的資料,在這里也會回傳兩條,一條的結果是 read a book,一條是 you can get a good job,因為這兩條資料都包含字串 a,但是因為前者分別滿足了兩個搜索的條件,所以前者的匹配度會更高,所以作為第一條資料回傳:

GET /exam/_search
{"query": {"match": {"address": "read a"}}}

match_phrase

匹配短語,使用這個方法不加其他引數的情況下,可以看作是會匹配包含這個短語、且順序一致的資料,

比如說對于 address="read a book" 的資料,搜索 read aa bookread a book 都可以篩選到這條資料,

GET /exam/_search
{"query": {"match_phrase": {"address": "read a"}}}

GET /exam/_search
{"query": {"match_phrase": {"address": "a book"}}}

GET /exam/_search
{"query": {"match_phrase": {"address": "read a book"}}}

但是如果搜索 book a,因為順序不一致,所以下面的搜索是無法搜素到該資料的:

GET /exam/_search
{"query": {"match_phrase": {"address": "book a"}}}

但是 match_phrase 有一個 slop 引數可以用于忽略這種順序,也就是允許搜索的關鍵詞錯位的個數,比如 'book a',分詞后的 'book' 和 'a' 如果允許錯位兩個順序(a 往前挪一個,book 往后挪一個,這是我理解的 slop 的操作用法),那么就可以篩選到我們這條資料,示例如下:

GET /exam/_search
{
  "query": {
    "match_phrase": {
      "address": {
        "query": "book a",
        "slop": 2
      }
    }
  }
}

match_phrase_prefix

匹配前綴,比如對于 address 值為 'read a book' 的資料,我們只知道的值是 'read a bo',想要根據這個搜索詞搜索完整的資料,就可以用到 match_phrase_prefix,

他的用法是這樣的,先將檢索詞分詞,然后將最后一個分詞結果單獨去匹配,所以這個搜索詞的程序就是先根據 'read a' 的分詞結果搜索到一些資料,然后根據剩下的 'bo' 去匹配滿足這個前綴的資料:

GET /exam/_search
{"query": {"match_phrase_prefix": {"address": "read a bo"}}}

3、match 的其他用法

匹配分詞后的全部結果

對于 match,前面我們介紹過會先將搜索的字串分詞,然后去篩選包含分詞結果一至多個的結果,

比如前面介紹的搜索 'read a',會搜索出 'read a book' 以及 'you can get a good job',因為他們都包含分詞的結果 'a',這種操作就類似于用 should 去對分詞結果進行進一步的搜索操作,

但是如果我們想要更精確,搜索的內容必須包含分詞的全部結果 'read' 和 'a',我么可以加上 operator 引數:

GET /exam/_search
{
  "query": {
    "match": {
      "address": {
        "query": "read a",
        "operator": "and"
      }
    }
  }
}

這樣操作結果就是篩選了包含全部搜索詞分詞后結果的資料,

匹配的模糊處理

我們可以通過 fuzziness 欄位來打開字符模糊匹配的開關,最簡單的一個例子就是比如我們搜索 'read',打字不小心打成了 'raed',這種就可以實作他的模糊匹配:

GET /exam/_search
{
  "query": {
    "match": {
      "address": {
        "query": "raed a",
        "operator": "and",
        "fuzziness": 1
      }
    }
  }
}

4、multi-match 搜索

前面我們的 match 引數操作的都是針對于單個欄位,multi_match 則可以針對于多個欄位進行 match 操作,這個需要都能匹配上搜索的關鍵字,使用示例如下:

GET /exam/_search
{
  "query": {
    "multi_match": {
      "query": "python",
      "fields": ["name", "address"]
    }
  }
}

其中,fields 是一個陣列,里面是需要搜索的欄位,

如果想獲取更多后端相關文章,可掃碼關注閱讀:
image

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/556669.html

標籤:其他

上一篇:Spark的一些重要概念

下一篇:返回列表

標籤雲
其他(162117) Python(38266) JavaScript(25524) Java(18290) C(15238) 區塊鏈(8275) C#(7972) AI(7469) 爪哇(7425) MySQL(7288) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5876) 数组(5741) R(5409) Linux(5347) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4611) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2438) ASP.NET(2404) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) HtmlCss(1989) .NET技术(1985) 功能(1967) Web開發(1951) C++(1942) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1882) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • es筆記三之term,match,match_phrase 等查詢方法介紹

    > 本文首發于公眾號:Hunter后端 > 原文鏈接:[es筆記三之term,match,match_phrase 等查詢方法介紹](https://mp.weixin.qq.com/s/3tzD8dEr592WNJFH_1bKRw) 首先介紹一下在 es 里有兩種存盤字串的欄位型別,一個是 ke ......

    uj5u.com 2023-07-06 09:17:16 more
  • Spark的一些重要概念

    # Shuffle的深入理解 什么是Shuffle,本意為洗牌,在資料處理領域里面,意為將數打散。 問題:shuffle一定有網路傳輸嗎?有網路傳輸的一定是Shuffle嗎? ## Shuffle的概念 通過網路將資料傳輸到多臺機器,資料被打散,但是有網路傳輸,不一定就有shuffle,Shuffl ......

    uj5u.com 2023-07-06 09:16:59 more
  • 向量資料庫:新一代的資料處理工具

    向量資料庫是一種特殊型別的資料庫,它可以存盤和處理向量資料。向量資料通常用于表示多維度的資料點,例如在機器學習和人工智能中使用的資料。在向量資料庫中,資料被表示為向量,這些向量可以在多維空間中進行比較和搜索。 ......

    uj5u.com 2023-07-06 09:16:42 more
  • 基于袋鼠云實時開發平臺開發 FlinkSQL 任務的實踐探索

    隨著業務的發展,[實時場景](https://www.dtstack.com/dtinsight/streamworks?src=https://www.cnblogs.com/DTinsight/archive/2023/07/05/szsm)在各個?業中變得越來越重要。?論是?融、電商還是物流,實時資料處理都成為了其中的關鍵環節。Flink 憑借其強?的[流處理特性](https://www.dts ......

    uj5u.com 2023-07-06 09:16:26 more
  • Mysql進階篇(一)之存盤引擎

    # 一. MySQL體系結構 ![](https://tcs-devops.aliyuncs.com/storage/112v957e3962f4a8a6d4d8eb1a194d885fa0?Signature=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJBcHB ......

    uj5u.com 2023-07-06 09:16:00 more
  • 從GaussDB(DWS)的技術演進,看資料倉庫的積淀與新生

    摘要:隨著云計算的興起和滲透,云數倉成為了數倉技術演進的新階段,并且逐漸成為了眾多企業的共同選擇。 本文分享自華為云社區《從GaussDB(DWS)的技術演進,看資料倉庫的積淀與新生》,作者: 華為云頭條。 資料驅動著現代商業的發展 今天,無論在制造、零售、物流 還是在互聯網、金融等行業 資料都變得 ......

    uj5u.com 2023-07-06 09:15:40 more
  • MySQL的match函式在sp中使用的BUG決議

    ## 一、問題發現 在一次開發中在sp中使用`MySQL PREPARE`以后,使用`match AGAINST`陳述句作為`prepare stmt`的引數后,發現執行第二遍call會導致資料庫crash,于是開始動手調查問題發生的原因。 > 注:本次使用的 MySQL 資料庫版本為最新的debug ......

    uj5u.com 2023-07-06 09:15:31 more
  • ElasticSearch - 批量更新bulk死鎖問題排查

    由于商品變更MQ訊息量巨大,為了提升更新ES的性能,防止出現MQ訊息積壓問題,所以本系統使用了BulkProcessor進行批量異步更新。 ......

    uj5u.com 2023-07-06 09:15:24 more
  • 分布式資料庫 Join 查詢設計與實作淺析

    相對于單例資料庫的查詢操作,分布式資料查詢會有很多技術難題。本文記錄 Mysql 分庫分表 和 Elasticsearch Join 查詢的實作思路,了解分布式場景資料處理的設計方案。

    文章從常用的關系型資料庫 MySQL 的分庫分表Join 分析,再到非關系型 ElasticSearch 來分析... ......

    uj5u.com 2023-07-06 09:15:17 more
  • 05、etcd 讀請求執行流程

    > 本篇內容主要來源于自己學習的視頻,如有侵權,請聯系洗掉,謝謝。 ### 1、etcd讀請求概覽 etcd是典型的`讀多寫少`存盤,在我們實際業務場景中,讀一般占據2/3以上的請求。一個讀 請求從client通過`Round-robin(輪詢)`負載均衡演算法,選擇一個etcd server節點,發 ......

    uj5u.com 2023-07-06 09:14:44 more