国产无遮挡色视频免费视频-国产五月色婷婷综合-国产五月婷婷-国产午夜不卡-曰批免费视频播放在线看片二-曰韩一级毛片

更多精彩 >

昆侖萬維開源R1V視覺思維鏈推理模型,開啟多模態思考新時代

2025-03-18 16:09:22   來源:財經網  作者: 

摘要:3月18日,昆侖萬維正式開源首款工業界多模態思維鏈推理模型SkyworkR1V,即日起開源模型權重和技術報告。

3月18日,昆侖萬維正式開源首款工業界多模態思維鏈推理模型Skywork R1V,即日起開源模型權重和技術報告。

1

開啟多模態思考新時代

繼OpenAI o1和DeepSeek-R1在全球掀起長思考模型熱潮后,大模型進入新技術范式。昆侖萬維秉持實現 AGI 的初心,積極貢獻開源社區,正式開源Skywork R1V多模態視覺推理模型,成為中國第一個開源「多模態推理模型」的企業。

什么是視覺推理模型?

視覺推理模型是一類能夠解決需要思維鏈(Chain-of-Thought)的視覺任務的模型,通過對視覺信息進行多步邏輯推理與分析,逐步推導出最終結果。這種模型不僅關注圖像內容的識別與理解,更強調通過層層遞進的推理路徑,實現復雜視覺問題的精準求解,例如視覺邏輯推理、視覺數學問題、圖像中的科學現象分析、醫學影像的診斷推理等,從而有效拓展了視覺大模型的應用邊界。

無論是日常繁瑣的工作任務、復雜的數據分析、難以解答的學術問題,還是前所未見的陌生場景,都可以交給Skywork R1V進行高效處理。

快速體驗下來,R1V的視覺理解和推理能力雙雙在線。這樣的模型能力是如何煉成的呢?

強大推理能力,刷新跨模態任務新高度

在Reasoning推理能力方面,Skywork R1V實現了模型的頂尖邏輯推理與數學分析能力。在權威的MATH500和AIME基準測試中,Skywork R1V分別取得了94.0和72.0的高分,明顯領先于行業內眾多主流模型。Skywork R1V在純文本復雜推理任務中展現出卓越性能,使其在邏輯推理和數學問題求解領域展現出人類專家級別的水準。

在Vision視覺理解能力方面,Skywork R1V成功地將其強大的文本推理與思維鏈推導能力高效遷移到視覺任務中。憑借創新的跨模態遷移技術與推理優化框架,Skywork R1V能夠高效解決需要多步視覺推理的問題,在MMMU與MathVista等視覺推理基準中分別取得了69和67.5的優異成績。這些結果不僅明顯超越了多個近似大小的開源競爭模型,更達到與規模更大的閉源模型媲美的水準,充分證實了Skywork R1V在需要視覺思維鏈推理的跨模態任務中的領先優勢。

Skywork R1V通過視覺與文本能力的深度融合和視覺思維鏈推理能力的突破,推動了多模態推理模型的進一步發展,標志著人工智能領域的又一重大進步。

目前,Skywork R1V已全面開源,期望助力全球范圍內更多視覺推理任務的學術研究與產業應用探索。

和開源同規模或更大規模模型的對比,Skywork R1V 38B體現出行業顯著優異的推理能力,以及領先的多模態視覺理解能力。如下圖,與開源同規模或更大規模模型的對比:

2

與閉源頭部模型性能對比,R1V 38B模型性能媲美甚至超越更大開源模型以及主流閉源模型。如下圖,與開源大尺寸模型與閉源專有模型的對比:

3

三大核心技術創新,引領視覺推理新突破

Skywork R1V能夠達到當前的性能高度,依賴于以下三項關鍵技術創新:

1、文本推理能力的多模態高效遷移

昆侖萬維團隊首次提出利用Skywork-VL的視覺投影器,無需重新訓練語言模型和視覺編碼器,即可實現文本推理能力的高效遷移到視覺任務,同時保留了優秀的原本推理文本能力(AIME 72.0,MATH500 94.0)。

2、多模態混合式訓練(IterativeSFT+GRPO)

通過結合迭代監督微調(Iterative SFT)和GRPO強化學習,分階段對齊視覺-文本表征,實現跨模態任務的高效融合,極大提升跨模態任務的表現。推動模型在MMMU基準達到69分的能力,同時在MathVista達到67.5分,與更大規模的閉源模型基本持平。通過反復迭代地利用高質量數據與高難度數據的組合,實現模型持續的知識鞏固與錯誤糾正,顯著提升了多模態推理的精度與泛化性能。

圖丨多模態混合式訓練(來源:Skywork R1V技術報告)

圖丨多模態混合式訓練(來源:Skywork R1V技術報告)

3、自適應長度思維鏈蒸餾

團隊提出了一種基于視覺-文本復雜度的自適應推理鏈長度控制機制,動態優化模型推理過程,避免模型“過度思考”,提升推理效率。結合多階段自蒸餾策略,進一步提升了數據生成與推理過程的質量,促進了模型在復雜多模態任務中的表現。

圖丨自適應長度思維鏈蒸餾(來源:Skywork R1V技術報告)

圖丨自適應長度思維鏈蒸餾(來源:Skywork R1V技術報告)

Skywork R1V在訓練過程中創新性地采用了三階段方法,使得文本端強大的推理能力得以高效遷移至視覺任務上,具體訓練流程如下:

1、STEP1 視覺語言表征的初始對齊

訓練時首先使用輕量級的視覺適配器(MLP)連接視覺編碼器(ViT)與語言模型,在已有的200萬條常規多模態數據上進行訓練,使得MLP初步學習如何將圖像特征映射至語言空間。這一階段僅訓練MLP適配器,視覺編碼器和語言模型參數保持凍結不變,快速、高效地實現視覺與語言表征的初步對齊。

2、STEP2 推理能力遷移

利用第一階段訓練好的MLP適配器,直接將視覺編碼器與原始的強推理語言模型(R1-distilled-Qwen-32B)連接,形成Skywork-R1V視覺推理模型。雖然此時語言模型的參數發生了改變,但得益于語言模型架構的高度相似性和MLP的泛化能力,重新組裝后的模型已能表現出一定的視覺推理能力,初始性能即達到業內同等規模的先進水平。

3、STEP3 視覺與文本模態精準對齊

最后,采用創新的“混合優化框架”,進一步精準對齊視覺和語言模態的表征。這一階段分為兩大步驟:迭代監督微調(Iterative SFT)和群組相對策略優化(GRPO)強化學習。在整個訓練過程中,Skywork-R1V還創新性地引入了“自適應長度思維鏈蒸餾技術”,動態優化推理鏈長度,防止模型過度思考,從而提升了推理效率和質量。

通過以上的訓練策略,Skywork R1V在視覺推理任務上取得突破性進展,并在多個公開評測基準中達到或超過了現有領先模型的性能。

此外,Skywork團隊多模態理解模型也在進行"全面貫通"的進化,將視覺多模態擴展為全模態模型,引入語音理解能力。當前,全模態模型往往受限于特定領域不僅需要獨立訓練多個專業模型,更面臨跨模態協同的算力挑戰。

基于R1V模型,Skywork團隊設計了一種靈活在R1V中擴展語音理解模態的方式,從而實現一個全模態思考大模型,該在單個模型中同時實現圖像、視頻、語音的全模態理解能力,并在語音和視覺理解評測中斬獲多項SOTA成績。我們將陸續公布測評成績、開源全模態思考大模型。

持續開源回饋社區,堅定邁向AGI

2023年10月以來,昆侖萬維陸續開源了百億級大語言模型「天工」Skywork-13B系列、數字智能體全流程研發工具包AgentStudio、4000億參數MoE超級模型、2千億稀疏大模型Skywork-MoE、推理模型Skywork-o1-Open等。2025年2月18日,昆侖萬維同時將SOTA級別的SkyReels-V1和SkyReels-A1進行開源。

在語言生成模型、AI Agent、推理模型、視頻生成模型等相繼開源、多點開花之后,我們正式開源Skywork R1V多模態推理模型,在文本-視覺多模態推理方向再下一城,成為中國第一家開源多模態思考模型的企業。

中國企業過去一年在AI領域的開源貢獻,讓全世界AI從業者和開發者享受到了技術共享帶來的普惠發展。DeepSeek的開源為AI行業提供了新的發展范本,多項開源成果顯著降低了AI技術的應用門檻、促進全球AI技術的民主化。昆侖萬維作為中國AI領軍企業,我們將持續開源優秀的模型、數據集等,共建開發者生態、加速技術創新、降低應用門檻、推動技術平權和AI行業發展。

此文內容為企業供稿,僅供參考。


猜你喜歡

昆侖萬維開源面向AI短劇創作的視頻生成模型SkyReels-V1,重塑AI短劇行業格局

昆侖萬維創新創業

2月18日,昆侖萬維開源中國首個面向AI短劇創作的視頻生成模型SkyReels-V1、中國首個SOT...

2025-02-18

昆侖萬維發布Matrix-Zero世界模型,開啟空間智能新時代

昆侖萬維創新創業

2月14日,昆侖萬維正式推出 Matrix-Zero世界模型,成為中國第一家同時推出3D場景生成和可...

2025-02-14

昆侖萬維「天工大模型4.0」o1版(Skywork o1)正式啟動邀請測試

昆侖萬維智能+

今天,昆侖萬維正式推出具有復雜思考推理能力的系列模型——“天工大模型4.0” o1版(Skywork...

2024-11-27

昆侖萬維推出“天工大模型4”4o版(Skywork 4o)

昆侖萬維智能+

從「天工大模型1.0」的研發到「天工大模型3.0」的發布,再到今天的「天工大模型4.0」階段,我們堅...

2024-11-20

上海華瑞銀行董事長曹彤參加“踐行多邊主義,推動全球金融治理改革”論壇

金融科技華瑞銀行

“金融是國民經濟的血脈,是國家核心競爭力的重要組成部分,金融高質量發展是推進中國式現代化的內在要求。...

2024-10-28

江蘇藻鏈制定國際標準 引導全球微藻產業發展

創新創業江蘇藻鏈

江蘇藻鏈生態科技公司引領微藻產業革命,高起點進軍環保領域。

2024-10-28

女性經期健康新趨勢:衛生巾的大健康時代來臨

大消費自由點

本次論壇圍繞女性經期健康與微生態平衡、女性私護升級等核心熱點問題展開了廣泛而深入的交流。

2024-10-28

上善若水 未來相見 | 2024《大國品牌》國牌盛典圓滿落幕

峰會大國品牌

今天,站在歷史與未來的交匯點上,2024《大國品牌》國牌盛典以“上善若水 未來相見”為主題,匯聚近2...

2024-10-28

企業專享低至5折,京東上線“企業會員日”推出低價好服務

京東大消費

“又便宜又好”的京東11.11正在火熱進行中。

2024-10-28

浩鯨科技亮相2024中國算力大會推出智算一體化運營方案

金融科技浩鯨科技

當前,浩鯨科技一體化算力互聯服務支撐體系支撐下,與中國信通院共同為國家(上海)新型互聯網交換中心(S...

2024-10-28

匯正財經資深投顧趙立勇:低空經濟乘勢起飛,如何積極落子新賽道

創新創業匯正財經

隨著低空經濟首次被寫入政府工作報告,這一新興領域迅速成為投資界的熱門話題。低空經濟不僅代表了中國經濟...

2024-10-28

深度 | 原股東被破產重整疑云叢生,大富科技董事投下反對票

上市公司大富科技

10月16日,大富科技發布公告稱,因執行《合并重整計劃》,蚌埠投資集團有限公司獲得大富科技控股股東配...

2024-10-28

大小模型協同,浩鯨科技中標中國聯通政企智能化項目

金融科技浩鯨科技

隨著智能化浪潮掀起,浩鯨科技不斷打磨AI及大模型技術賦能運營商拓展政企市場,本項目浩鯨科技將為中國聯...

2024-10-28

斬獲智創獎!浩鯨科技電力大模型推動電力行業數智化變革

創新創業浩鯨科技

會上,浩鯨科技著重展示了獲獎方案“大模型賦能電力數智化發展”,全方位闡釋浩鯨科技在電力大模型價值場景...

2024-10-28

投資家網(m.51baobao.cn)是國內領先的資本與產業創新綜合服務平臺。為活躍于中國市場的VC/PE、上市公司、創業企業、地方政府等提供專業的第三方信息服務,包括行業媒體、智庫服務、會議服務及生態服務。長按右側二維碼添加"投資哥"可與小編深入交流,并可加入微信群參與官方活動,趕快行動吧。

沙特天空塔投資設立專項基金帶領中國氫能獨角獸扎根沙特

2016年注冊于北京的中氫新能技術有限公司,下設位于大興的裝備制造公司、位于海淀區的技術研究院、材料...

挑戰奔馳的明星車企,突然“翻車”了

一度無比高光的理想汽車,猝不及防遭遇重挫。

深圳天使母基金姚小雄:將來股權投資行業競爭是服務能力的競爭

2024年1月10日,由投資家網主辦,財經銳眼、有時間協辦,北京微金科技有限公司承辦的“第十二屆股權...

避免卡脖子,硬科技如何“逆境”突圍?

2024年1月10日,由投資家網主辦,財經銳眼、有時間協辦,北京微金科技有限公司承辦的“第十二屆股權...

VC/PE眼中的“專精特新”

2024年1月10日,由投資家網主辦,財經銳眼、有時間協辦,北京微金科技有限公司承辦的“第十二屆股權...

第二屆中匈可再生能源、新材料商業投資峰會將盛大啟幕

第二屆中匈可再生能源、新材料商業投資峰會將盛大啟幕

第二屆中匈可再生能源、新材料商業投資峰會于2025年4月9日在匈牙利布達佩斯盛大啟幕。

雕刻耐心|第18屆中國投資年會·有限合伙人峰會在滬召開

雕刻耐心|第18屆中國投資年會·有限合伙人峰會在滬召開

“中國投資年會”作為私募股權行業的年度盛會,已成功舉辦了18屆,吸引了全國VC/PE領域從業者的廣泛...

雕刻耐心|第18屆中國投資年會·有限合伙人峰會即將啟幕

雕刻耐心|第18屆中國投資年會·有限合伙人峰會即將啟幕

2024年的一級市場,“耐心”是最高命題,也引發了持續全年的討論。

不響不輟|第18屆中國投資年會·年度峰會在滬召開

不響不輟|第18屆中國投資年會·年度峰會在滬召開

5月8-10日,由投中信息、投中網主辦的“第18屆中國投資年會·年度峰會”在上海外灘W酒店盛大召開。

主站蜘蛛池模板: 视频一区欧美 | 国产精品午夜性视频 | 久草视频资源在线 | 91欧洲在线视精品在亚洲 | 国产成人在线免费视频 | 大陆精品自在线拍国语 | 正在播真实出轨炮对白 | 亚洲三级免费 | 国产又色又爽黄的网站免费 | 精品国产香蕉在线播出 | 国产精品路边足疗店按摩 | 亚洲国产精品久久精品成人 | 国内精自品线一区91 | 亚洲日本aⅴ片在线观看香蕉 | 三级做人爱c视频18三级 | 欧美三级黄 | 女子张开腿让男人桶视频 | 久草在线视频首页 | 欧美精品人爱a欧美精品 | 亚洲第一男人天堂 | 精品欧美高清一区二区免费 | 欧美一区二区三区免费 | 亚洲理论片在线观看 | 超级香蕉97视频在线观看一区 | 国产在亚洲线视频观看 | 亚洲精品久久一区毛片 | 国产三级做爰高清视频a | 免费人成黄页网站在线观看 | 中文字幕有码在线播放 | chinese宾馆自拍hd | 免费观看一级欧美大 | 国产成人毛片视频不卡在线 | 综合爱爱网 | 性欧美精品孕妇 | 日韩欧一级毛片在线播无遮挡 | 国产亚洲一区二区在线观看 | 国产日韩在线观看视频 | 女让张开腿让男人桶视频 | 亚洲欧美成人在线 | 亚洲最大成人 | 中文字幕一区二区三区精彩视频 |