摘要:近日,SuperCLUE-Fin(SC-Fin)中文原生金融大模型測評基準正式發布,對國內外金融大模型的發展水平進行了全方位、多角度評估。
近日,SuperCLUE-Fin(SC-Fin)中文原生金融大模型測評基準正式發布,對國內外金融大模型的發展水平進行了全方位、多角度評估。智譜AI自主研發的新一代基座大模型GLM-4脫穎而出,躋身國內首批獲得A級評價的模型之列,依據模型表現,GLM-4位列第一梯隊,在國內大模型中排名第一。
本次測評涵蓋金融知識百科、金融理解認知、金融數理計算、合規與風險管理、投研應用以及投顧應用六大領域共計二十五項細分任務。測評人員通過模擬真實用戶與模型互動,采用單輪問答、多輪交互等多種形式,對模型的專業知識掌握、邏輯分析能力、語言表達清晰度、計算效率以及企業綜合業務分析、風險預測與管控等能力進行了詳盡檢驗。
測評結果顯示,在六類應用場景的二十五項細分任務中,GLM-4斬獲了一項A+及多項A級評價,彰顯出其在國內金融智能解決方案領域的領先技術水平與廣泛應用潛能。
總等級榜單
任務大類等級榜單
各任務等級榜單
金融知識百科榜單
金融數理計算榜單
合規與風險管理榜單
投顧應用榜單
根據測評榜單,從模型等級角度看,目前僅有GPT-4 Turbo在總成績中達到了A+的級別,國內的GLM-4與MoonShot-v1-128k等級達到A。從六類具體任務得分角度來看,各模型各類任務得分較為均衡,其中GLM-4表現較為優異,獲得了一項A+、三項A與兩項B,且與GPT-4 Turbo各任務等級相差較小。
測評結論指出,從金融大模型綜合能力上看,國內外頭部模型差距較小,體現了國內大模型在金融領域綜合能力上有一定的競爭力。在本次金融測評中,依據模型表現,GLM-4位列第一梯隊,其等級為A,僅低于GPT-4 Turbo,國內排名第一。從金融大模型專項能力上來看,真正實現大語言模型在金融領域的高度專業化水準仍然有一定的距離,提高金融大模型數據庫質量、完善模型對于金融學問題的解釋標準(尤其是依據國內標準),亦或為提升金融大模型性能的關鍵路徑。
關于智譜AI
智譜AI致力于打造新一代認知智能大模型,專注于做大模型的中國創新。公司于2020年底研發GLM預訓練架構,2021年訓練完成百億參數模型GLM-10B,同年利用MoE架構成功訓練出收斂的萬億稀疏模型,2022年合作研發了中英雙語千億級超大規模預訓練模型GLM-130B并開源。2023年,智譜 AI 推出千億基座對話模型ChatGLM并兩次升級,開源版本的 ChatGLM-6B 讓大模型開發者的本地微調和部署成為可能,在開源社區受到廣泛歡迎。
2024年1月,智譜AI推出新一代基座大模型GLM-4,整體性能相比上一代大幅提升,比肩世界先進水平。它支持更長上下文,具備更強多模態能力,推理速度更快,支持更高并發,大大降低推理成本。同時,GLM-4的智能體能力得到大幅提升,可根據用戶意圖,自動理解、規劃指令以完成復雜任務。GLMs 個性化智能體定制功能亦同時上線,用戶用簡單提示詞指令即能創建屬于自己的 GLM 智能體,由此任何人都能實現大模型的便捷開發。
基于全自研基座大模型的強大能力,智譜 AI 構建了極具競爭力的AIGC模型產品矩陣,包括AI提效助手智譜清言、高效率代碼模型CodeGeeX、多模態理解模型CogVLM和文生圖模型CogView等。
踐行Model as a Service市場理念,智譜AI致力于打造高效率、通用化的“模型即服務”開發新范式,通過大模型鏈接物理世界的億級用戶,為千行百業帶來持續創新與變革,加速邁向通用人工智能的時代。
7月10日上午,北京智譜華章科技有限公司(以下簡稱“智譜AI”)與君龍人壽保險有限公司(以下簡稱“君...
10月20日,由北京前沿金融監管科技研究院(FIRST)、浙江大學金融科技研究院(浙大AIF)、浙江...
11月17-20日,以“光儲新時代 雙碳新征程”的主題2024第七屆中國國際光伏與儲能產業大會將在中...
2024年11月11日,中國——領航電商平臺Shopee 11.11大促正式拉開帷幕,東南亞消費者熱...
投資家網(m.51baobao.cn)是國內領先的資本與產業創新綜合服務平臺。為活躍于中國市場的VC/PE、上市公司、創業企業、地方政府等提供專業的第三方信息服務,包括行業媒體、智庫服務、會議服務及生態服務。長按右側二維碼添加"投資哥"可與小編深入交流,并可加入微信群參與官方活動,趕快行動吧。