香港科技大學工商管理學院（科大商學院）研究團隊成功開發本港首個專為金融界而設、應用於生成式人工智能（生成式AI）的開源大語言模型 — 「InvestLM」。

InvestLM可就金融相關題目跟用戶對話，回應質素更可媲美知名商業聊天機器人，包括OpenAI旗下的ChatGPT。研究團隊已公開該模型參數及開發過程所得見解，以支持業界及研究人員應用大語言模型相關技術。

建基於擁有逾數十億甚至百億個參數大語言模型（LLM）的AI聊天機器人，在處理不同類型的即時文本生成任務有出色表現。由於開發大語言模型需要動用龐大資源，通常需要大企業才能應付，而年初面世的開源大語言模型改變有關情況，讓算力資源有限的群體也能根據自身需求訓練大語言模型。

科大商學院研究團隊通過指令微調技術（instruction-finetuning），利用經精選的廣泛類型財經問答文本對開源基礎通用大語言模型LLaMA-65B進行訓練，開發出先進的財經領域開源大語言模型。

研究團隊指出，InvestLM的表現獲包括對沖基金經理及財經分析師的金融專家評為可媲美最先進商用大語言模型，如GPT-3.5、GPT-4和Claude-2等，印證InvestLM在理解金融文本的強大能力，同時具備提高金融專業人士工作效率的潛力，包括提供投資意見、撮寫財經文章、從文件報告中提取資料和總結等。相對於基礎通用大型語言模型LLaMA-65B，InvestLM在控制輸出「人工智能幻覺」內容方面有更好的表現。

科大商學院院長譚嘉因教授表示：「金融機構內部開發大語言模型，有助透過應用生成式AI取得競爭優勢，同時確保對專有資料及客戶數據有較佳管控。科大在擁抱生成式AI方面走在香港高等教育界前列，商學院這個大語言模型項目，不但為金融界於這發展迅速領域開展創新應用帶來啟發，更將性能卓越的財經大語言模型開放予各界使用。」

研究團隊成員之一、科大商學院資訊、商業統計及營運學系副教授楊毅表示：「金融領域的大語言模型，有的因屬於企業專有而未有公開，有的則質素偏低。據我們所知，InvestLM為首個開源財經領域大語言模型，獲金融界專業人士評為能夠按金融文本提供投資相關回應。通過分享針對生成金融文本對基礎模型進行微調所得的見解，期望這項目能夠為金融及其他領域的人士提供有用參考，以助把握生成式AI的潛力。」

研究團隊發現，相對於使用大量的通用指令訓練大語言模型，以領域特定（domain-specific）的高質素指令訓練大語言模型，對提高模型處理領域特定任務的能力更為有效；在算力有限的情況下，模型開發者通常使用規模較小的大語言模型作訓練，而棄用較大的模型。團隊亦發現，對於採用指令微調提升規模較小的大語言模型表現，成效高於規模較大的大語言模型。

有關InvestLM開發的更多資料，可參閱題為「InvestLM: A Large Language Model for Investment using Financial Domain Instruction Tuning」的研究論文。

InvestLM的模型參數可於github下載。

科大商學院院長譚嘉因教授（右）和副教授楊毅。（圖片來源：香港科技大學）

按此瀏覽原文

如欲知道更多教科相關消息，請留意京港Facebook專頁：https://www.facebook.com/BHKAEC