主頁 > 後端開發 > 使用腳本收發 protobuf 協議資料

使用腳本收發 protobuf 協議資料

2023-06-06 13:50:59 後端開發

問題背景

最近做了一個 ipv6 相關的功能,發現使用 getifaddrs 獲取的本地 ipv6 地址有可能不是真實的網路 ipv6 地址:

例如上圖中通過 getifaddrs 獲得了多個本地 ipv6 地址,其中 <fe80> 開頭的已知是本地 ipv6 地址,被排除;還有 <2408> 這種,其實也是 "假 ipv6" 地址,對應的設備并不能訪問 ipv6 網路,

對于這種假 v6 地址,無法通過遍歷的方式進行列舉排除,而一旦將 v4 網路環境錯認為是 v6 環境,對后面的網路操作影響比較大,需要引入一種準確判斷當前網路是否有 ipv6 訪問能力的方法,為此 server 端同學專門給了一個判斷介面,

probe_v6_addr

出于安全考慮,這里只列出介面名稱部分:

http://xxx.xxxxxxxxxx.xxxxxxx.xxxxx.xxx/xxx/probe_v6_addr

訪問這個介面有兩種回傳,當不存在 v6 網路環境時:

no v6 addr

當存在時,回傳本機的 ipv6 地址:

$ curl -s http://xxx.xxxxxxxxxx.xxxxxxx.xxxxx.xxx/xxx/probe_v6_addr
+
%240e:304:8183:2bcc:c16d:22d0:74ba:23e??-
'2408:832e:c272:b36e:55bc:554a:8952:553e?,
&240e:3a0:7005:6ae2:d05a:754a:c21b:6c35??+
%240e:310:915:d939:9041:c01c:82db:a043??-
'2408:832e:c271:3851:6926:e953:e741:b1a3??+
%240e:378:1e0c:db62:7088:a216:87c:4ccd??OP46C3:/

雖然有部分二進制資訊干擾,但是 ipv6 地址部分還是看得比較清楚的,回傳的地址和 ifconfig 的結果可以相互印證:

$ ifconfig | grep inet6
          inet6 addr: fe80::fc8e:84ff:fec0:1534/64 Scope: Link
          inet6 addr: 240e:505:7e01:2994:f43c:5fc9:609e:5de6/64 Scope: Global
          inet6 addr: fe80::f43c:5fc9:609e:5de6/64 Scope: Link
          inet6 addr: fe80::8fd0:cd9e:52cd:5bc3/64 Scope: Link
          inet6 addr: 2409:8100:7b00:5781:a4a8:71ce:b11:3c5e/64 Scope: Global
          inet6 addr: fe80::a4a8:71ce:b11:3c5e/64 Scope: Link
          inet6 addr: ::1/128 Scope: Host
          inet6 addr: fe80::29f8:41f:7564:501d/64 Scope: Link
          inet6 addr: 240e:404:7e01:5d77:29f8:41f:7564:501d/64 Scope: Global
          inet6 addr: fe80::3d14:7716:4771:88fa/64 Scope: Link
          inet6 addr: 240e:304:8183:2bcc:c16d:22d0:74ba:23e/64 Scope: Global
          inet6 addr: 240e:304:8183:2bcc:d8c5:dce4:a89c:8a88/64 Scope: Global

其中 ipv6 地址240e:304:8183:2bcc:c16d:22d0:74ba:23e/64在兩邊都存在,

protobuf

上面的介面確實是基于二進制資料的協議,雖然是私有協議,但是采用了 protobuf 來進行規范,在提高性能的同時,也保留了一定的通用性,

但是這樣一來,往常慣用的 curl + shell 大法要失靈了,給測驗和驗證作業帶來了不小的麻煩,

不過好在有 proto 檔案,生成一段決議的 c++ 代碼也不是不可能:

> cat msg.proto
message ProbeIpv6Request {
    string xxxxx     = 1;
    string xxxx      = 2;
    string xxxxxxxx  = 3;
    string xxxxxxx   = 4;
}

message V6AddrType {
    string addrV6 = 1;
    uint32 portV6 = 2;
}

message ProbeIpv6Response {
    string              xxxxx    = 1;
    V6AddrType          selfAddr = 2;
    repeated V6AddrType brosAddr = 3;
}

這個 proto 檔案揭示了兩點:

  • 該介面也是有請求的:ProbeIpv6Request,不過可以省略
  • 該介面的回應 ProbeIpv6Response 主要包含兩部分:
    • selfAddr 是設備自己的地址,有且只有一個
    • brosAddr 是設備的廣播地址,可能存在多個 (repeated)
    • 地址都是由一個字串地址和一個整型埠組成

如果使用 protoc 程式根據 msg.proto 生成 c++ 代碼,再寫程式決議資料,就用不著寫這篇文章了,畢竟那種方式太牛刀殺雞了,下面演示一種使用 shell 腳本就能搞定 protobuf 協議的新方法,

pbjs

在介紹新方法之前,先介紹本文的主角 pbjs,首先是在 mac 上的安裝:

brew install node
brew install npm
npm install -g protobufjs
npm install -g pbjs

pbjs 是 nodejs 提供的,用來將 protobuf 二進制資料轉換為 json,所以需要先安裝 nodejs、npm 環境,linux 上的安裝大同小異,此處不再贅述,

執行成功后驗證 pbjs 是否安裝:

> pbjs
Usage: pbjs [options] <schema_path>

Options:
  -V, --version        output the version number
  --es5 <js_path>      Generate ES5 JavaScript code
  --es6 <js_path>      Generate ES6 JavaScript code
  --ts <ts_path>       Generate TypeScript code
  --decode <msg_type>  Decode standard input to JSON
  --encode <msg_type>  Encode standard input to JSON
  -h, --help           output usage information
> which pbjs
/Users/yunhai01/tools/node-v14.17.0-darwin-x64/bin/pbjs
> ls -lh /Users/yunhai01/tools/node-v14.17.0-darwin-x64/bin/pbjs
lrwxr-xr-x  1 yunhai01  staff    31B Apr 16 18:26 /Users/yunhai01/tools/node-v14.17.0-darwin-x64/bin/pbjs -> ../lib/node_modules/pbjs/cli.js

看起來這就是一個 node module 的軟鏈接,

pbjs 的功能有很多,help 資訊中已經羅列出來了,例如生成 js 代碼 (--es5/--es6),生成 ts 代碼 (--ts),不過最讓我感興趣的還是 --decode,意思是可以將資料決議為 json,下面用上一節的二進制資料做個練手,假設資料已經保存在名為 response.bin 的檔案:

> pbjs msg.proto --decode ProbeIpv6Response < response.bin
{
  "selfAddr": {
    "addrV6": "240e:304:8183:2bcc:c16d:22d0:74ba:23e",
    "portV6": 47832
  },
  "brosAddr": [
    {
      "addrV6": "240e:333:6b00:b00e:38db:2815:306b:3d9b",
      "portV6": 18947
    },
    {
      "addrV6": "240e:333:1707:ca6f:24d3:61ae:86cf:a6fa",
      "portV6": 18112
    },
    {
      "addrV6": "2409:8a38:9002:70b3:19a3:66a3:d778:65cc",
      "portV6": 18780
    },
    {
      "addrV6": "2408:8266:700:1a62:8ad0:4097:9220:577b",
      "portV6": 18595
    },
    {
      "addrV6": "240e:3a0:9001:4013:99c0:11c4:7d3b:e8e5",
      "portV6": 18319
    }
  ]
}

哈哈,果然成功,程序例外絲滑!

jq

有了 json 資料就好辦了,下面上 jq 提取設備 IP,假設已經將資料保存在了 response.json 檔案中:

> jq -r '.selfAddr.addrV6'  probe_v6.json
240e:304:8183:2bcc:c16d:22d0:74ba:23e

和之前猜測的 IP 地址結果一致,

結語

pbjs 不光可以用來決議回應,也可以用來構造 protobuf 格式的請求,主要就是依賴它的 --encode 引數:

pbjs msg.proto --encode ProbeIpv6Request < request.json > request.bin

注意 --decode/--encode 一次只能處理一個訊息型別,而協議檔案中可能包括多個,所以需要在這里為它們進行指定,之前指定的是 ProbeIpv6Response 訊息,這里改為 ProbeIpv6Request 訊息,

關于 request.json 檔案,簡單的可以直接手動構造,復雜的可以借助 jq --arg 動態生成,這方面詳細的資訊可以參考我之前寫的這幾篇文章:《用 shell 腳本做 tcp 協議模擬》、《使用 shell 腳本自動申請進京證 (六環外) 》,

至此 protobuf 二進制資料也不再是腳本不可觸控的區域,有這方面介面測驗需求的同學們快用起來吧 ~

后記

使用基于 pbjs 的腳本在 android 設備上驗證上述介面后,能正確回傳結果,并且發現了幾個小問題,為后面寫 c++ 代碼接入鋪平了道路,比起直接使用 adb 跑腳本,編譯 sdk 再打 apk 包驗證成本實在是太高了,pbjs 確確實實提升了我的效率,

參考

[1]. Protocol Buffers for JavaScript

[2]. 作業筆記:protobufjs使用教程,支持proto檔案打包成typescript或javascript腳本

 

本文來自博客園,作者:goodcitizen,轉載請注明原文鏈接:https://www.cnblogs.com/goodcitizen/p/handle_protobuf_data_by_shell_scripts.html

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/554423.html

標籤:C++

上一篇:驅動開發:內核掃描SSDT掛鉤狀態

下一篇:返回列表

標籤雲
其他(160435) Python(38206) JavaScript(25478) Java(18198) C(15237) 區塊鏈(8270) C#(7972) AI(7469) 爪哇(7425) MySQL(7234) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5873) 数组(5741) R(5409) Linux(5347) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4585) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2434) ASP.NET(2403) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1983) 功能(1967) HtmlCss(1952) Web開發(1951) C++(1931) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1879) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • 使用腳本收發 protobuf 協議資料

    服務器使用二進制的 protobuf 協議,如何使用腳本模擬請求?答案是將它轉成 json 再用 jq 處理,一起來看看吧~ ......

    uj5u.com 2023-06-06 13:50:59 more
  • 驅動開發:內核掃描SSDT掛鉤狀態

    在筆者上一篇文章`《驅動開發:內核實作SSDT掛鉤與摘鉤》`中介紹了如何對`SSDT`函式進行`Hook`掛鉤與摘鉤的,本章將繼續實作一個新功能,如何`檢測SSDT`函式是否掛鉤,要實作檢測`掛鉤狀態`有兩種方式,第一種方式則是類似于`《驅動開發:摘除InlineHook內核鉤子》`文章中所演示的通... ......

    uj5u.com 2023-06-06 13:50:45 more
  • 演算法 in Go:Binary Search(二分查找)

    # 演算法 in Go:Binary Search(二分查找) ## Binary Search(二分查找) ### Binary Search(二分查找) - 猜數 - 1、2、3、4、5、6、7、8 - 排好序一個集合,先從中間開始猜,根據提示就可以排除一半,在剩余的一半里,再從中間開始猜,依此類 ......

    uj5u.com 2023-06-06 08:54:03 more
  • day09-SpringCloud Sleuth+Zipkin-鏈路追蹤

    # SpringCloud Sleuth+Zipkin-鏈路追蹤 官網:[spring-cloud/spring-cloud-sleuth: Distributed tracing for spring cloud (github.com)](https://github.com/spring-cl ......

    uj5u.com 2023-06-06 08:53:40 more
  • IO流 p7 物件流-ObjectInputStream 和 ObjectOutputStream

    # 物件流ObjectInputStream和ObjectOutputStream ## 引言 - 看一個需求 1. 將int num=100這個 int 資料保存到檔案中,注意不是 100 數字,而是 int 100,并且,能夠從檔案中直接恢復 int 100; 2. 將Dog dog = new ......

    uj5u.com 2023-06-06 08:53:17 more
  • C++面試八股文:如何在堆上和堆疊上分配一塊記憶體?

    某日二師兄參加XXX科技公司的C++工程師開發崗位6面: > 面試官: 如何在堆上申請一塊記憶體? > > 二師兄:常用的方法有malloc,new等。 > > 面試官:兩者有什么區別? > > 二師兄:malloc是向作業系統申請一塊記憶體,這塊記憶體沒有經過初始化,通常需要使用memset手動初始化。 ......

    uj5u.com 2023-06-06 08:53:10 more
  • IO流 p6 BufferedInputStream 和 BufferedOutputStream

    # BufferedInputStream 和 BufferedOutputStream - BufferedInputStream ![](https://img2023.cnblogs.com/blog/3008601/202306/3008601-20230604103033021-44120 ......

    uj5u.com 2023-06-06 08:52:59 more
  • Java如何實作去重?這是在炫技嗎?

    大家好,我3y啊。由于去重邏輯重構了幾次,好多股東直呼看不懂,于是我今天再安排一波對代碼的決議吧。`austin`支持兩種去重的型別:**N分鐘相同內容達到N次**去重和**一天內N次相同渠道頻次**去重。 > **Java開源專案訊息推送平臺🔥推送下發【郵件】【短信】【微信服務號】【微信小程式】 ......

    uj5u.com 2023-06-06 08:52:51 more
  • Python生成器深度決議:構建強大的資料處理管道

    # 前言 生成器是Python的一種核心特性,允許我們在請求新元素時再生成這些元素,而不是在開始時就生成所有元素。它在處理大規模資料集、實作節省記憶體的演算法和構建復雜的迭代器模式等多種情況下都有著廣泛的應用。在本篇文章中,我們將從理論和實踐兩方面來探索Python生成器的深度用法。 ## 生成器的定義 ......

    uj5u.com 2023-06-06 08:52:32 more
  • 前后端分離架構下使用 Sa-Token 完成登錄認證

    ### 一、架構分析 目前絕大多數系統都已經采用 “前后端分離” 架構來設計了,傳統的Session模式鑒權也不再適合這種架構(或者需要額外寫很多的代碼來專門適配)。 Sa-Token 是一個 java 輕量級權限認證框架,專為前后端分離架構打造,主要解決登錄認證、權限認證、單點登錄、OAuth2、 ......

    uj5u.com 2023-06-06 08:52:28 more