本文節選自筆者博客：https://www.blog.zeeland.cn/archives/019hasaa

前言

如果你經常閱讀論文，那么你肯定會遇到以下幾個問題：

論文晦澀難懂看不明白怎么辦？
有很多論文需要看，沒有那么多精力怎么辦？
如何快速總結記錄論文的一些關鍵點為我所用？

關于上面的幾個問題，本文將會基于當前Python新興的大語言模型開發框架promptulate來演示使用如何用兩行代碼快速構建上手構建一個屬于自己的論文總結工具，

Promptulate

一個強大的大語言模型自動化與應用開發框架，支持智能決策、訊息持久化、外部工具呼叫、角色預設等功能，開箱即用，通過promptulate，你可以輕松構建起屬于自己的LLM應用程式，

專案地址: https://github.com/Undertone0809/promptulate
官方檔案: promptulate document

作為一個強大的大語言模型應用開發框架，其主要有以下特性：

大語言模型支持：支持不同型別的大語言模型的擴展介面
對話終端：提供簡易對話終端，直接體驗與大語言模型的對話
角色預設：提供預設角色，以不同的角度呼叫GPT
長對話模式：支持長對話聊天，支持多種方式的對話持久化
外部工具：集成外部工具能力，可以進行網路搜索、執行Python代碼等強大的功能
KEY池：提供API key池，徹底解決key限速的問題
智能代理人：集成ReAct，self-ask等高級Agent，結合外部工具賦能LLM
中文優化：針對中文語境進行特別優化，更適合中文場景
資料匯出：支持markdowm等格式的對話匯出
對話總結：提供API式的對話總結、翻譯、標題生成
高級抽象，支持插件擴展、存盤擴展、大語言模型擴展

在架構上，promptulate主要由以下幾部分組成：

Agent 更高級的執行器，負責復雜任務的調度和分發
framework 框架層，實作不同型別的prompt框架，包括最基礎的Conversation模型，還有self-ask和ReAct等模型，
llm 大語言模型，負責生成回答，可以支持不同型別的大語言模型
memory 負責對話的存盤，支持不同的存盤方式及其擴展，如檔案存盤、資料庫存盤等
tools 提供外部工具擴展呼叫，如搜索引擎、計算器等
preset roles 提供預設角色，進行定制化對話
provider 為framework和agent提供tools和其他細粒度能力的集成

Promptulate快速上手

安裝最新版

打開終端，輸入下面命令下載promptulate最新版，-U表示更新到最新版，如果你已經下載promptulate舊版本，那么執行此命令會更新到最新版，promptulate當前正處于快速發展階段，因此你可能需要經常更新最新版以享用最新的成果，

pip install -U promptulate

基本使用

下列檔案全部使用OPENAI GPT3.5進行測驗

KEY配置

在使用promptulate之前，你需要先匯入你的OPENAI_API_KEY

import os

os.environ['OPENAI_API_KEY'] = "your-key"

在你第一次使用的時候，需要使用os.environ["OPENAI_API_KEY"] 匯入"OPENAI_API_KEY" 的環境變數，但是在第一運行之后promptulate會進行快取，即后面再運行就不需要再匯入key了，如果你的key過期了，可以嘗試重新按照上面的方法匯入key，或者你也可以把cache檔案給洗掉掉，Windows的cache在當前目錄下，linux的cache在/tmp下，

LLM

詳細檔案請跳轉LLM

promptulate的架構設計可以輕松兼容不同的大語言模型擴展，在promptulate中，llm負責最基本的內容生成部分，因此為最基礎的組件，

下面的示例展示了如何使用OpenAI進行互動，

from promptulate.llms import OpenAI

llm = OpenAI()
answer = llm("請解釋一下引力波的放射與廣義相對論的必然關系")
print(answer)

輸出結果如下：

廣義相對論是一種描述引力如何影響時空的物理學理論，它指出當物質和能量聚集在一起時，它們彎曲了周圍的時空，引起了引力，質量和能量更大的物體會導致更大
的時空彎曲，這就是為什么地球會圍繞太陽旋轉，根據廣義相對論，當物質或能量在空間中運動時，它們會產生引力波，就像在水面上產生漣漪一樣，引力波是一種類
似電磁波的波動，但它們是由物質和能量的彎曲引起的，而電磁波是由電荷的振動引起的，引力波是極微弱的，但是當強烈的引力場存在（例如在引力天體碰撞或超新
星爆炸等事件中），它們可以被探測到，事實上，2015年，激光干涉引力波天文臺利用引力波探測器直接探測到了引力波，并為廣義相對論提供了強有力的證據，因
此，引力波的放射與廣義相對論必然關系緊密，通過引力波，我們可以更加深入地了解時空的性質，并進一步驗證這個理論，

Key池

promptulate為OpenAI進行特別優化，構建了Key池，如果你使用的是GPT3.5 5美元的賬號，一定會遇到限速的問題，這個時候，如果你有一堆Key，就可以很好的解決這個問題，promptulate的LRU KEY輪詢機制巧妙的解決了限速的問題，你可以使用LLM隨意地進行提問（前提是你有夠多的key），此外，如果你既有GPT4和GPT3.5
的KEY，KEY池也可以不同模型的KEY調度，你可以按照下面的方式將key匯入到你的key池中，

from promptulate.llms import OpenAI
from promptulate.utils import export_openai_key_pool

keys = [
    {"model": "gpt-3.5-turbo", "key": "xxxxx"},
    {"model": "gpt-3.5-turbo", "key": "xxxxx"},
    {"model": "gpt-3.5-turbo", "key": "xxxxx"},
    {"model": "gpt-4", "key": "xxxxx"},
]

export_openai_key_pool(keys)

llm = OpenAI()
for i in range(10):
    llm("你好")

上面的示例中，當你使用了export_openai_key_pool(keys)之后，cache會進行快取，因此在下一次執行的時候，你就無需再匯入key或key pool就可以使用OpenAI進行推理了，

需要注意的是，cache會初始化key pool中的資料，因此如果你的一些key失效了，可以嘗試重新執行該命令進行初始化操作，或者你可以使用如下洗掉key_pool中的指定key，

from promptulate.utils.openai_key_pool import OpenAIKey, OpenAIKeyPool

key_pool: OpenAIKeyPool = OpenAIKeyPool()
key_pool.delete("your key")

使用下面的方式可以進行查詢當前key_pool中的所有key，

from promptulate.utils.openai_key_pool import OpenAIKey, OpenAIKeyPool

key_pool: OpenAIKeyPool = OpenAIKeyPool()
keys = key_pool.all()
for key in keys:
    print(key)

輸入如下所示：

{'__name__': 'OpenAIKey', '__unique_id__': '62f56487-d528-4f5c-84bb-9c2a3df7354e', 'model': 'gpt-3.5-turbo', 'key': 'key1'}
{'__name__': 'OpenAIKey', '__unique_id__': 'ac3abd29-c62e-458d-b3cc-3f825594910f', 'model': 'gpt-3.5-turbo', 'key': 'key2'}
{'__name__': 'OpenAIKey', '__unique_id__': 'c90ab3c2-e6c0-4a16-a2f9-a298d6290218', 'model': 'gpt-3.5-turbo', 'key': 'key3'}
{'__name__': 'OpenAIKey', '__unique_id__': 'c13b1965-5034-4463-9409-2ad90ba1d260', 'model': 'gpt-3.5-turbo', 'key': 'key4'}

使用Promptulate構建論文總結工具

下面展示如何使用promptulate構建屬于自己的論文總結工具，

上面章節說到過，promptulate具有tools模塊，tools模塊為LLM提供了呼叫外部工具擴展的能力，可以說tools是走向智能化的第一步，通過tools來為LLM構建一套感知反饋系統，可以為LLM應用開發提供更多的可能性，

當前promptulate支持以下幾種工具：

DuckDuckGo Search: DDG搜索引擎
Arxiv: Arxiv論文檢索工具
Semantic Scholar: Semantic Scholar論文檢索工具，可以檢索論文、查詢論文參考文獻、查詢參考該論文的文獻
Python REPL: 可以執行python腳本
FileManager: 可以進行檔案讀寫
...

在promptulate中，為了構建更加智能的Agent，一些提供給Agent的Tool也是有大語言模型呼叫權限的，它們一般有一些簡單的能力處理功能，如果你有需要，你可以直接使用這些帶有LLM的Tool，本文將會介紹的PaperSummaryTool就是一個帶有大語言模型的Tool，

接下來我們使用PaperSummaryTool來演示一下給Tool賦能LLM之后的表現，下面的示例展示了使用PaperSummaryTool搜索論文attention is all you need

from promptulate.tools.paper.tools import PaperSummaryTool
from promptulate.utils.logger import get_logger, enable_log

enable_log()


def main():
    tool = PaperSummaryTool()
    result = tool.run("attention is all you need")
    # you can also input an arxiv id as follows
    # result = tool.run("2303.09014")
    print(result)


if __name__ == "__main__":
    main()

輸出結果如下

標題：注意力就是你所需要的

摘要：目前主流的序列轉換模型基于復雜的回圈或卷積神經網路，采用編碼器-解碼器結構，表現最好的模型還通過注意力機制連接編碼器和解碼器，我們提出了一種新的簡單網路架構——Transformer，僅基于注意力機制，完全摒棄了回圈和卷積，在兩個機器翻譯任務上的實驗表明，這些模型在質量上優于其他模型，同時更易于并行化，訓練時間顯著縮短，我們的模型在WMT 2014年英德翻譯任務上實作了28.4 BLEU的成績，超過了現有最佳結果，包括集成模型，提高了2個BLEU，在WMT 2014年英法翻譯任務中，我們的模型在8個GPU上訓練3.5天后，實作了新的單模型最優BLEU得分41.8，訓練成本僅為文獻中最佳模型的一小部分，我們證明Transformer在其他任務上具有很好的泛化能力，成功地將其應用于英語成分句法分析，無論是大規模還是有限的訓練資料，

關鍵詞：Transformer, attention mechanism, machine translation, BLEU score, parallelizable, training time, generalization.

關鍵見解：
- 傳統的序列轉換模型基于復雜的回圈或卷積神經網路，而最好的模型通過注意力機制連接編碼器和解碼器，
- 本文提出了一種新的簡單網路架構——Transformer，僅基于注意力機制，完全摒棄了回圈和卷積，在機器翻譯任務上，這種模型在質量上表現更好，同時更易于并行化，訓練時間顯著縮短，
- 本文的模型在WMT 2014英德翻譯任務上取得了28.4 BLEU的成績，在WMT 2014英法翻譯任務上取得了41.8 BLEU的成績，成為了單模型下的最佳結果，

經驗教訓：
- 注意力機制是一種有效的連接編碼器和解碼器的方式，可以提高序列轉換模型的性能，
- 簡單的網路架構也可以取得很好的效果，不一定需要復雜的回圈或卷積結構，
- Transformer模型具有很好的泛化能力，可以成功應用于其他任務，如英語成分句法分析，

相關建議：
- 進一步探究Transformer網路結構的優化方法，提高其在不同任務上的表現，
- 嘗試將Transformer應用于其他自然語言處理任務，如文本分類、命名物體識別等，
- 研究如何在Transformer中引入外部知識，如知識圖譜等，以提高其對語意的理解和表達能力，
- 探索如何將Transformer應用于多語言翻譯任務，以實作更加高效和準確的跨語言翻譯，
- 研究如何在Transformer中引入對抗訓練等方法，以提高其對抗攻擊的魯棒性，

相關論文：

[1] [Convolutional Sequence to Sequence Learning](https://www.semanticscholar.org/paper/43428880d75b3a14257c3ee9bda054e61eb869c0)

[2] [Massive Exploration of Neural Machine Translation Architectures](https://www.semanticscholar.org/paper/4550a4c714920ef57d19878e31c9ebae37b049b2)

[3] [A Structured Self-attentive Sentence Embedding](https://www.semanticscholar.org/paper/204a4a70428f3938d2c538a4d74c7ae0416306d8)

[4] [Factorization tricks for LSTM networks](https://www.semanticscholar.org/paper/79baf48bd560060549998d7b61751286de062e2a)

[5] [Structured Attention Networks](https://www.semanticscholar.org/paper/13d9323a8716131911bfda048a40e2cde1a76a46)

[6] [Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer](https://www.semanticscholar.org/paper/510e26733aaff585d65701b9f1be7ca9d5afc586)

[7] [Neural Machine Translation in Linear Time](https://www.semanticscholar.org/paper/98445f4172659ec5e891e031d8202c102135c644)

[8] [Can Active Memory Replace Attention?](https://www.semanticscholar.org/paper/735d547fc75e0772d2a78c46a1cc5fad7da1474c)

[9] [Xception: Deep Learning with Depthwise Separable Convolutions](https://www.semanticscholar.org/paper/5b6ec746d309b165f9f9def873a2375b6fb40f3d)

[10] [Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation](https://www.semanticscholar.org/paper/dbde7dfa6cae81df8ac19ef500c42db96c3d1edd)

輸出結果已經被排版成markdown格式的資料，因此很適合被渲染出來顯示，

此外，上面的例子中，含有多步的LLM推理（四次推理程序）和多次API呼叫（從Arxiv和Semantic Scholar中獲取論文、參考等相關資料），但是prompulate的事件總線并行機制大大化簡了推理總時間，平均推理時間保持在十幾秒（具體事件取決于網路環境），

因為采用并行機制，因此在使用有LLM能力的Tool或者Agent時會在同一時間內快速地多次呼叫API，如果你的key有限速問題，推薦你使用key-pool來解決key限速的問題（如果你是5美元的key），

總結

本文主要介紹了如何使用大語言模型開發框架promptulate構建一個論文總結助手，通過promptulate，我們還可以構建很多有意思的應用程式，如讓GPT呼叫搜索引擎，檔案檢索等，后續的文章會陸續更新，

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/556012.html

標籤：其他

上一篇：spring啟動流程 (1) 流程概覽

下一篇：返回列表

【promptulate專欄】ChatGPT框架——兩行代碼構建一個強大的論文總結助手

前言