1. 前言
在日常開發中,為了保證技術方案的質量,一般會在撰寫前進行調研。如果先前沒有相關領域的知識儲備,筆者的調研方式一般是先通過搜索引擎進行關鍵字查詢,然后再基于搜索的結果進行發散。這樣調研的結果受關鍵字抽象程度和搜索引擎排名影響較大,可能會存在偏差導致調研不充分。剛好大模型風靡有一段時間了,就想如果AI能自動檢索資料并進行內容總結,豈不美哉。避免重復造輪子,先在網上檢索了一下,發現剛好有一個工具“STORM”滿足訴求。
2. 什么是STORM?
?STORM是一個由斯坦福大學開發的基于大型語言模型(LLM)的知識管理系統,它能夠針對特定主題進行研究,并生成帶有引用的完整報告。系統分為預寫階段和寫作階段,通過互聯網研究收集參考資料并生成大綱,然后利用這些信息生成帶引用的全文。STORM通過視角引導提問和模擬對話來提高生成內容的質量,支持自定義檢索器和語言模型,以適應不同的使用場景?;镜膱绦辛鞒倘缦聢D:
??
3. 怎么使用STORM?
可以自己將倉庫Clone到本地編譯運行(需要設置openai_api_key)或者直接訪問STORM試用,下面使用直接訪問網頁的方式進行說明。
① 設置內容主題并描述撰寫的目的
主題設置為“代碼可視化”,并將撰寫目的設置為“介紹技術的核心概念和前沿應用”。
??
② 自動檢索互聯網相關資料
??
③ 使用LLM生成文章內容
??
④ 通過模擬對話優化生成內容
??
⑤ 展示生成內容
得到生成文章,可以下載為PDF格式。
??
4. 原理淺析
STORM通過兩個主要階段來生成帶有引用的長篇文章:
?預寫階段(Pre-writing stage):這個階段系統基于互聯網收集參考資料,并生成一個文章大綱。這是文章寫作的準備階段,幫助確定文章的結構和將要包含的關鍵點;
?寫作階段(Writing stage):有了大綱和參考資料,系統會利用這些資料生成完整的文章,并在文章中加入適當的引用。
??
STORM的優勢在于過程的自動化,特別是自動的提出好問題。但直接提示語言模型提出的問題效果并不理想,為了提高問題提問的深度和廣度,STORM采用了兩種策略:
?視角引導的問題提問(Perspective-Guided Question Asking):通過調查類似主題相關文章來發現不同的視角,并利用這些視角來控制提問的過程;
?模擬對話(Simulated Conversation):模擬了一個維基百科作者和一個互聯網主題專家之間的對話,使語言模型能夠更新對主題的理解并提出后續問題。
??
整個生成的執行流程如下,可以看到生成一篇文章會進行多趟的處理:
??
更多關于功能和原理的介紹可以閱讀論文:Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models。
5. 總結
使用STORM做技術調研相當的舒服,只需要拿到它生成的文章進行閱讀并對內容進行甄別(大模型存在幻覺問題),這極大的提升了工作效率。在大模型時代如果有人說他不知道怎么學習和查找資料,那么估計99.9999999...%的概率只是懶而已
審核編輯 黃宇
-
AI
+關注
關注
87文章
28821瀏覽量
266158 -
大模型
+關注
關注
2文章
2126瀏覽量
1965
發布評論請先 登錄
相關推薦
評論