主頁 > 後端開發 > Python連接es筆記一之連接與查詢es

Python連接es筆記一之連接與查詢es

2023-05-28 07:55:24 後端開發

本文首發于公眾號:Hunter后端
原文鏈接:Python連接es筆記一之連接與查詢es

有幾種方式在 Python 中配置與 es 的連接,最簡單最有用的方法就是定義一個默認的連接,如果系統不是需要訪問多個集群,最建議的方式就是使用 create_connection 方法創建連接,然后所有的操作都會自動使用這個連接,

以下是本篇筆記目錄:

  1. 安裝依賴
  2. 連接
  3. Search 查詢
  4. Response 回傳結果詳解

1、安裝依賴

我們使用的依賴名稱為 elasticsearch_dsl,我們這里使用的 es 版本是 7.2.0,所以安裝方式如下:

pip3 install elasticsearch_dsl==7.2.0

2、連接

默認連接方式

我們可以通過下面的方式來連接 es:

from elasticsearch_dsl import connections

connections.create_connection(hosts=["localhost"], timeout=20)

或者我們也可以加一個 alias,用作連接的別名,在后面可以很方便的用上:

from elasticsearch_dsl import connections

connections.create_connection(alias="new_conn", hosts=["localhost"], timeout=20)

多集群連接

如果我們想同時連接多個集群,可以使用 configure 方法:

connections.configure(
    default={"hosts": "localhost"},
    dev={
        "hosts": ["example.com:9200"],
        "sniff_on_start": True,
    }
)

使用別名

當使用多個連接的時候,我們可以使用別名,也就是前面的 alias 引數來指代連接:

s = Search(using="default")

3、Search 查詢

接下來介紹下如何在 Python 中查詢 es 資料,

注意下,當我們安裝 elasticsearch_dsl 依賴的時候,系統會自動為我們安裝 elasticsearch 模塊,我們可以直接參考,

我們默認前面已經設定好了全域的 es 連接,之后的操作都基于這個連接:

from elasticsearch_dsl import connections
connections.configure(
    default={"hosts": "localhost:9200"},
)

我們來執行一下查詢和列印操作:

response = Search(using="default").query("match", name="張三豐").execute()
print(response)

可以看到 response 就列印出了我們在之前往 es 的 exam 這個 index 中寫入的資料:

<Response: [<Hit(exam/16): {'name': '張三豐', 'address': '一個蘋果'}>]>

我們先來介紹下執行查詢的操作,

鏈式操作

這個查詢的 API 是鏈式操作,可以允許你鏈接多個操作,比如我們前面的 Search() 后直接跟了 query() 方法,然后直接 execute(),

我們分開執行也是可以的:

s = Search(using="default")
s = s.query("match", name="張三豐")
response = s.execute()

指定 index

在上面的 Search() 方法里,我們通過 using 指定了連接,但是沒有指定 index,那么就默認搜索的是該連接的全部 index,我們可以通過 index() 函式指定 index,也可以向 Search() 中添加 index 引數來指定 index,

s = Search(using="default", index="exam").query("match", name="張三豐")
response = s.execute()

s = Search(using="default").index("exam").query("match", name="張三豐")
response = s.execute()

轉換 es 查詢陳述句

如果我們想要查看執行的陳述句轉換成的 es 的陳述句,可以使用 to_dict() 方法:

s = Search(using="default", index="exam").query("match", name="張三豐")
print(s.to_dict())

# {'query': {'match': {'name': '張三豐'}}}

洗掉陳述句

前面介紹了 s = Search().query() 的 execute() 是執行,獲取回傳結果,to_dict() 是轉換成 es 陳述句,如果是需要洗掉查詢的資料,可以如下操作:

s = Search(using="default").index("exam").query("match", name="張三豐")
s.delete()

4、Response 回傳結果詳解

為了詳細查看 response 中的詳細情況,我們可以在 Python 的 shell 中挨個執行下面的命令,獲得 response 物件,然后再操作 response,當然,前面記得創建 es 的連接:

>>> s = Search(using="default").index("exam").query("match", name="張三豐")
>>> response = s.execute()

對于 response,本身我們可以使用 Python 中的串列的形式來訪問它,來獲取它的資料,比如執行 print(response[0]) 可以看到這條資料本身的資訊:

>>> print(response[1])
# <Hit(exam/24): {'name': '張三豐', 'address': '中國湖北省', 'age': 22}>

如果我們查看 type(response) 可以發現它來源于 <class 'elasticsearch_dsl.response.Response'> 定義了一個 iter() 方法,所以我們可以對這個物件使用迭代方法,

在這個方法內部它迭代的其實是 response.hits 屬性,也就是我們 es 查詢回傳的資料,

所以我們執行 response[0] 和 response.hits[0] 是等效操作,

獲取總數

因為我們上面的查詢操作沒有設定 size,所以默認最多回傳的是 10 條資料,但如果我們想要獲取符合我們查詢條件的總數,我們可以這樣獲取:

count = response.hits.total.value

單條資料詳情

上面介紹了我們可以通過 response[0] 獲得單條資料,對于單條資料,我們還可以獲取更多的詳情資訊,

hit = response.hits[0]

如果我們想一次性獲取回傳的資料的各個欄位及相應的值,我們可以使用 to_dict() 方法:

hit.to_dict()

# {'name': '張三豐', 'address': '中國', 'age': 21}

獲取單個值,比如 name,也可以直接:

print(hit.name)

也可以獲取資料的 meta 資訊,其中包含了這條資料所在的 index,id,匹配分值 score 等:

hit.meta

# {'index': 'exam', 'id': '23', 'score': 0.4700036, 'doc_type'...}

如果想獲取更多后端相關文章,可掃碼關注閱讀:
image

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/553573.html

標籤:其他

上一篇:Spring注解

下一篇:返回列表

標籤雲
其他(159818) Python(38173) JavaScript(25458) Java(18138) C(15231) 區塊鏈(8268) C#(7972) AI(7469) 爪哇(7425) MySQL(7213) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5873) 数组(5741) R(5409) Linux(5343) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4576) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2434) ASP.NET(2403) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1977) 功能(1967) Web開發(1951) HtmlCss(1948) C++(1922) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1878) .NETCore(1862) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • Python連接es筆記一之連接與查詢es

    > 本文首發于公眾號:Hunter后端 > 原文鏈接:[Python連接es筆記一之連接與查詢es](https://mp.weixin.qq.com/s/smp3VvWD6ChuFVuotQ9_zg) 有幾種方式在 Python 中配置與 es 的連接,最簡單最有用的方法就是定義一個默認的連接,如 ......

    uj5u.com 2023-05-28 07:55:24 more
  • Spring注解

    Spring框架提供了眾多注解,以下是Spring中常用的注解及其解釋: 1. `@Component`:用于標識一個類為Spring的組件,可以被自動掃描并注冊為Bean。 2. `@Repository`:用于標識一個類為資料訪問層(DAO)組件。 3. `@Service`:用于標識一個類為服 ......

    uj5u.com 2023-05-28 07:55:19 more
  • Python潮流周刊#3:PyPI 的安全問題

    你好,我是豌豆花下貓。這里記錄每周值得分享的 Python 及通用技術內容,部分為英文,已在小標題注明。(標題取自其中一則分享,不代表全部內容都是該主題,特此宣告。) ## 文章&教程 1、[掌握Python面向物件編程的關鍵:類與物件](https://segmentfault.com/a/119 ......

    uj5u.com 2023-05-28 07:49:59 more
  • go語言中如何實作同步操作呢

    # 1. 簡介 本文探討了并發編程中的同步操作,講述了為何需要同步以及兩種常見的實作方式:`sync.Cond`和通道。通過比較它們的適用場景,讀者可以更好地了解何時選擇使用不同的同步方式。本文旨在幫助讀者理解同步操作的重要性以及選擇合適的同步機制來確保多個協程之間的正確協調和資料共享的一致性。 # ......

    uj5u.com 2023-05-28 07:43:41 more
  • Java入門10(IO流)

    ## IO流(input/output) ? 資料運輸的載體或者中間鍵 ### 位元組流 #### 輸入位元組流(FileInputStream) ? 以位元組為最小單元,讀取任何型別的檔案,但是要注意字符集型別的轉換。 ```Java public static void testFileInputSt ......

    uj5u.com 2023-05-28 07:43:36 more
  • 如何通過Python將JSON格式檔案匯入redis?

    摘要:如果希望將 JSON 檔案匯入到 Redis 中,首先要做的就是連接到 redis 服務。 本文分享自華為云社區《Python將JSON格式檔案匯入 redis,多種方法》,作者: 夢想橡皮擦 。 在匯入前需要先確定你已經安裝 Redis,并且可以啟動相關服務。 windows 上啟動 red ......

    uj5u.com 2023-05-28 07:36:57 more
  • 一個mysql的group_concat導致的問題

    好久都沒有寫點東西了,是時候有點寫東西的必要了。 去年下年底離職了,躺了幾個月,最近又兜兜轉轉換了一家公司繼續當牛馬了,前段時間八股文背了好多,難受呀,不過我也趁著前段時間自己也整理了屬于我自己的八股文,有好幾萬字吧,哈哈哈,以后就不用到處去找八股文了。 說回正題,這個group_concat的問題 ......

    uj5u.com 2023-05-28 07:30:33 more
  • Spring注解

    Spring框架提供了眾多注解,以下是Spring中常用的注解及其解釋: 1. `@Component`:用于標識一個類為Spring的組件,可以被自動掃描并注冊為Bean。 2. `@Repository`:用于標識一個類為資料訪問層(DAO)組件。 3. `@Service`:用于標識一個類為服 ......

    uj5u.com 2023-05-28 07:06:05 more
  • Spring Boot + URule 規則引擎,可視化配置太爽了!

    作者:知了一笑\ 來源:juejin.cn/post/7210194936276680759 ## 一、背景 前段時間,在做專案重構的時候,遇到很多地方需要做很多的條件判斷。當然可以用很多的if-else判斷去解決,但是當時也不清楚怎么回事,就想玩點別的。于是乎,就去調研了規則引擎。 當然,市面上有 ......

    uj5u.com 2023-05-26 18:40:24 more
  • 性能測驗監控指標及分析調優 | 京東云技術團隊

    ### 一、哪些因素會成為系統的瓶頸? 1、CPU,如果存在大量的計算,他們會長時間不間斷的占用CPU資源,導致其他資源無法爭奪到CPU而回應緩慢,從而帶來系統性能問題,例如頻繁的FullGC,以及多執行緒造成的背景關系頻繁的切換,都會導致CPU繁忙,一般情況下CPU使用率 作者:京東健康 牛金亮 > ......

    uj5u.com 2023-05-26 18:39:10 more