国产无遮挡色视频免费视频-国产五月色婷婷综合-国产五月婷婷-国产午夜不卡-曰批免费视频播放在线看片二-曰韩一级毛片

更多精彩 >

星動紀元端到端原生機器人大模型ERA-42正式亮相,引領具身大模型進入靈巧操作時代

2024-12-23 12:32:36   來源:華夏晚報  作者: 

摘要:這是業(yè)界首次僅通過同一個具身大模型就實現了五指靈巧手像人手一樣使用多種工具完成上百種靈巧復雜操作任務,展現了ERA-42行業(yè)領先的通用、靈巧操作能力。

導語:近期,星動紀元端到端原生機器人大模型ERA-42正式亮相,即“紀元原生機器人大模型”,寓意著不斷探索宇宙萬物的終極答案,展示了其與自研五指靈巧手星動XHAND1結合后的靈巧操作能力,已學會了使用不同工具完成100多種復雜靈巧的操作任務,并且持續(xù)在同一個模型下學習新的技能。例如,拿起桌上螺釘鉆鉆緊螺釘、用錘子敲打釘子、將水杯扶正后再往水杯中倒水等任務。

圖片1.jpg

基于ERA-42,星動XHAND1能用不同工具完成多種靈巧操作新任務

這是業(yè)界首次僅通過同一個具身大模型就實現了五指靈巧手像人手一樣使用多種工具完成上百種靈巧復雜操作任務,展現了ERA-42行業(yè)領先的通用、靈巧操作能力。模型不需要任何預編程技能,完全基于其強大的泛化和自適應力,能在不到2小時內通過收集少量數據就學會執(zhí)行新的任務。同時,ERA-42還在快速不斷學習更多新技能中。

圖片2.jpg

基于ERA-42,星動XHAND1可完成100多種精細化、智能化的五指靈巧手操作任務

ERA-42也是世界范圍內首個真正的五指靈巧手具身大模型,開啟了具身大模型的通用靈巧操作時代。

1. “真正”的具身大模型才是開啟通用具身智能體的密鑰,需要具備以下三個要素:

一是統(tǒng)一一個模型泛化多種任務和環(huán)境:通過構建一個統(tǒng)一的原生模型,融合視覺、語言、觸覺和身體姿態(tài)等全模態(tài)信息,實現對不同任務和環(huán)境的泛化能力。

二是端到端:從接收全模態(tài)數據,到生成最終輸出(如決策、動作等),通過一個簡潔的神經網絡鏈路完成。該過程無需人為設計特征、預編程或干預處理步驟,使得具身智能體能夠實時適應不同任務和環(huán)境,顯著提升靈活性與開發(fā)效率。

三是Scaling up(規(guī)模化):真正的統(tǒng)一的端到端算法才允許模型通過持續(xù)的數據積累實現自我完善,使得具身大模型在數據量指數級增長的同時,不僅提升性能,還能在未知任務中展現卓越的自適應和泛化能力。

例如,被行業(yè)廣泛熟知的Physical Intelligence (簡稱PI)發(fā)布的π0模型就具備上述要素,是典型的真正意義上的端到端具身大模型。

2. 星動紀元ERA-42是國內首個真正意義上的端到端原生機器人大模型,比肩世界領先水平

早期,星動紀元和PI幾乎同期采用了端到端算法來提升其原生機器人大模型性能,PI推出的π0模型,通過結合互聯網規(guī)模的視覺-語言預訓練與機器人操作數據集后訓練,使得機器人能夠在人類環(huán)境中自主執(zhí)行多種復雜任務,這是機器人從特定任務的“專家”向多任務的“通才”發(fā)展歷程上的重要一步,也是具身大模型領域的一個里程碑。

圖片3.jpg

星動紀元早期發(fā)布的研究成果和Physical Intelligence (PI)幾乎不謀而合

星動論文HiRT: Enhancing Robotic Control with Hierarchical Robot Transformers發(fā)表在CoRL2024

而后,星動紀元又探索了另一條訓練道路,采用大規(guī)模視頻數據學習策略,涵蓋無標注的視頻數據、公開各類形態(tài)機器人的數據、人類活動數據以及遙操作數據等。并且,在上述數據的使用上,星動紀元不是直接模仿視頻里的人怎么去做,而是學習行動之后會產生什么樣的結果。這種方式使得學習效果不受限于數據質量,能大大降低數據收集成本,解決了數據消耗量巨大、需要大量高質量數據的行業(yè)難題。

此外,星動紀元的技術團隊已將世界模型融入原生機器人大模型中,使得模型不僅具備行動能力,還具備了對物理世界的理解能力,能夠對未來行動軌跡進行預測。

圖片4.jpg

后期,星動紀元探索了融合世界模型的原生機器人大模型

星動論文Prediction with Action: Visual Policy Learning via Joint Denoising Process發(fā)表在NeurIPS 2024

還能迅速響應外部干擾,并在任務執(zhí)行過程中持續(xù)自適應優(yōu)化行為,直至任務完成。提升了機器人執(zhí)行任務的高效性和準確性。

星動紀元打造的端到端原生機器人大模型ERA-42憑借其預測能力,模型具備強大的泛化、自適應和規(guī)模化能力。結合星動紀元為AI打造的全新硬件平臺,可快速實現具身智能體軟硬件協同進化和商業(yè)化落地。

3. 星動紀元端到端原生機器人大模型ERA-42引領具身大模型進入通用靈巧操作時代

1)相比夾爪,星動XHAND1已經可以完成100多種精細化、智能化的復雜靈巧操作任務

相比夾爪,基于ERA-42能力,五指靈巧手能夠真正像人手一樣使用更多種多樣的工具,完成更通用、靈巧性更強、復雜度更高的百種以上操作任務。

圖片5.jpg

基于ERA-42,五指靈巧手星動XHAND1相比夾爪能使用更多不同工具執(zhí)行更靈巧操作

2)星動紀元原生機器人大模型ERA-42能理解物理世界和預測未來

融合世界模型后,ERA-42具備對物理世界的理解以及對未來的預測的能力,從而大幅提升了泛化能力和任務成功率。

例如,下圖中上方的圖片展示了真實物理世界中打開冰箱的逐幀操作,下方的圖片則為ERA-42生成的環(huán)境建模與對打開冰箱任務的逐幀預測。可以看到兩張圖片非常接近,說明模型預測非常準確。這與其他機器人大模型直接學習行動、而忽視對世界本身理解的方式,或者僅將世界模型用于生成仿真數據的方式,存在本質的區(qū)別。

圖片6.jpg

真實世界執(zhí)行任務和ERA-42預測執(zhí)行任務對比圖

3)星動紀元原生機器人大模型ERA-42具備更強泛化能力

基于大規(guī)模視頻數據的預訓練,只需采集少部分數據,基于ERA-42的泛化能力,短時間內通過單一的策略靈巧手就能學會執(zhí)行新的操作任務。此前,星動紀元技術團隊就通過這種訓練方式采集簡單的紅黃藍方塊抓取數據,成功實現了從未見過的多樣化物體(如胡蘿卜、茄子等)的抓取泛化,并相對其他模型算法在泛化任務上顯著提升了成功率。

圖片7.jpg

通過簡單彩色方塊的抓取數據實現多樣化物體的泛化抓取操作

4)星動紀元原生機器人大模型ERA-42具備更強自適應性

由于融合了世界模型,ERA-42不管在單任務上,還是長序列任務上都展現出了業(yè)內領先的強大抗干擾能力。

5)星動紀元原生機器人大模型ERA-42初步體現“Scaling效應”

并且研究結果表明,隨著模型規(guī)模的擴大,任務成功率也明顯提升,初步體現了和大語言模型訓練中類似的“Scaling效應”,即模型規(guī)模與性能之間的正相關性。

圖片8.jpg

“Scaling效應”顯示模型與機器人性能呈現正相關性

4.星動紀元端到端原生機器人大模型ERA-42和為AI打造的全新硬件平臺協同進化,共建原生具身智能體

構建通用具身智能體需要軟硬件協同迭代,就像人類的腦和身體是從小到大同步協同成長的一樣。

圖片9.jpg

構建原生通用具身智能體=原生機器人大模型+為AI定義的硬件平臺協同進化

因此,星動紀元打造了為AI定義的全新硬件平臺。以星動自研推出的五指靈巧手星動XHAND1為例,共有12個主動自由度,并采用純電驅方式,且每個自由度都有對應的驅動源,實現全自主五指關節(jié)驅動,能執(zhí)行高精度任務。星動XHAND1每個手指配備一個高分辨率(>100點)觸覺陣列傳感器,提供精確的三維力觸覺和溫度信息。單手最大握力能達80N,負載可達25kg。

圖片10.jpg

星動XHAND1 —— 全自驅 真自由

星動XHAND1在作業(yè)能力上展現出的高性能在協同ERA-42后,為實現復雜靈巧操作任務奠定了基礎。

依托ERA-42,星動紀元通用人形機器人執(zhí)行任務的通用性和泛化性將大幅提升,結合此前發(fā)布的在復雜多樣的地形上穩(wěn)定行走和奔跑的運動性能,配合上下肢協同作業(yè)能力,潛在應用場景也將更加多元化,真正實現原生的通用具身智能體的產業(yè)化落地。


猜你喜歡

騰訊云助力香港天星銀行全面上云,預計每年節(jié)省數百萬IT成本

創(chuàng)新創(chuàng)業(yè)騰訊云

在騰訊云的全力支持下,香港天星銀行于2024年12月14日成功實現全量業(yè)務搬遷上云。目前,天星銀行已...

2小時前

2024最炸裂營銷實驗:陽光新能源攜手小紅書玩轉社交種草與生態(tài)閉環(huán)

創(chuàng)新創(chuàng)業(yè)陽光新能源

作為在新能源開發(fā)領域深耕多年的龍頭企業(yè),陽光新能源始終堅持“多發(fā)電 更友好”的價值主張,旗下的“陽光...

2小時前

原創(chuàng)

打出“研發(fā)+運營+投資”組合拳,電魂網絡夯實競爭優(yōu)勢

創(chuàng)新創(chuàng)業(yè)電魂網絡

稻盛和夫的阿米巴經營模式,豐田的JIT生產模式、Shein的小單快返經營模式,都被當作上述企業(yè)成功的...

2小時前

從氣候與基因等多維度著手 溯源中華文化萬年發(fā)展歷程

創(chuàng)新創(chuàng)業(yè)東莞觀音山

在全球化進程不斷深入、不同文明頻繁對話的當下,準確探尋中華民族的文化根源,喚醒深厚的歷史記憶,已經成...

8小時前

保利半島1號,世界灣海生活方式的新答案

文化傳媒保利半島1號

為海而來,伴海而居,每個人的心中都藏著一片憧憬的蔚藍。

2024-12-19

順豐:首家A+H綜合物流服務提供商,11月供應鏈及國際業(yè)務收入增長21.65%

上市公司順豐控股

12月19日晚,順豐控股(002352.SZ)披露了2024年11月經營簡報。

2024-12-19

原創(chuàng)

中國銀河“私募+”服務進行時:助力星耀管理人走進上市公司

金融科技中國銀河

在多變復雜、波動放大的市場環(huán)境下,機構投資者如何應對市場挑戰(zhàn),確保投資決策的穩(wěn)健性,正是行業(yè)關注的焦...

2024-12-19

中國零售業(yè)巨變:胖東來崛起,阿里大撤退

隨著新零售板塊的接連虧損,強如阿里也不得不割肉止損出局。

2024-12-19

星宇林樹棟出席第二屆智能車載光峰會,解讀智能車燈多元場景與全鏈合作

上市公司星宇股份

12月18日,由中國汽車工程學會、中國汽車工業(yè)協會指導,中國智能網聯汽車產業(yè)創(chuàng)新聯盟(CAICV)、...

2024-12-19

超7成未成年人周游戲時長不足3小時, 游戲行業(yè)實踐互聯網未保有效路徑

創(chuàng)新創(chuàng)業(yè)騰訊游戲

在2024年游戲產業(yè)年會“產業(yè)發(fā)展分論壇”上,中國音像與數字出版協會游戲工委發(fā)布最新數據,自2021...

2024-12-19

TCL實業(yè)即將亮相CES 2025“科技春晚” 展現科技不凡力量

上市公司TCL

2025年1月7日至10日,國際消費類電子產品展覽會(CES 2025)將在美國拉斯維加斯拉開帷幕。

2024-12-19

要綜合整治“內卷式”惡性競爭,對汽車意味著什么?

創(chuàng)新創(chuàng)業(yè)中國汽車產業(yè)

這是一條讓中國汽車產業(yè)絕大多數從業(yè)者聽了都覺得感到振奮的新聞。

2024-12-19

央企北新防水不合格、包銀高鐵防水材料部分不合格,防水究竟有多重要?

創(chuàng)新創(chuàng)業(yè)防水行業(yè)

近期,防水行業(yè)不合格產品的兩個負面事件,成為業(yè)界關注焦點。

2024-12-19

叮當健康榮獲“2024中國大健康新質生產力代表企業(yè)TOP10”

醫(yī)療健康叮當健康

叮當健康則憑借科技創(chuàng)新、模式創(chuàng)新、專業(yè)健康服務等維度的優(yōu)異表現,榮獲“2024中國大健康新質生產力代...

2024-12-19

投資家網(m.51baobao.cn)是國內領先的資本與產業(yè)創(chuàng)新綜合服務平臺。為活躍于中國市場的VC/PE、上市公司、創(chuàng)業(yè)企業(yè)、地方政府等提供專業(yè)的第三方信息服務,包括行業(yè)媒體、智庫服務、會議服務及生態(tài)服務。長按右側二維碼添加"投資哥"可與小編深入交流,并可加入微信群參與官方活動,趕快行動吧。

分化浪潮中的堅守與突破 | 第19屆中國投資年會,即將啟幕

分化浪潮中的堅守與突破 | 第19屆中國投資年會,即將啟幕

在時代的浩渺長河中,“分化”宛如一條隱匿的脈絡,貫穿于萬物的生長、發(fā)展與變遷。從生命的進化到文明的演...

第二屆中匈可再生能源、新材料商業(yè)投資峰會將盛大啟幕

第二屆中匈可再生能源、新材料商業(yè)投資峰會將盛大啟幕

第二屆中匈可再生能源、新材料商業(yè)投資峰會于2025年4月9日在匈牙利布達佩斯盛大啟幕。

雕刻耐心|第18屆中國投資年會·有限合伙人峰會在滬召開

雕刻耐心|第18屆中國投資年會·有限合伙人峰會在滬召開

“中國投資年會”作為私募股權行業(yè)的年度盛會,已成功舉辦了18屆,吸引了全國VC/PE領域從業(yè)者的廣泛...

主站蜘蛛池模板: 国产欧美日韩在线观看一区二区三区 | 国产成人亚洲综合欧美一部 | 白嫩美女一级毛片免费看 | 在线观看一二三区 | 亚洲欧美中文字幕在线网站 | a级毛片网站 | 色涩亚洲| 欧美精品另类hdvideo | 国产一区三区二区中文在线 | 国产成人综合95精品视频免费 | 国产小片 | 一本大道香蕉大vr在线吗视频 | 久久99国产精品久久欧美 | 国产精品系列在线一区 | 日韩一级在线视频 | 国产成人精品一区二区免费 | 亚洲国产一区二区三区最新 | 日本久久伊人 | 综合 欧美 亚洲日本 | 97国产在线播放 | 亚洲欧美精品久久 | 在线观看欧美一区 | 免费一级a毛片在线播放 | www黄网站| 91热久久免费频精品动漫99 | 成人综合在线视频 | 日韩精品一区二区三区视频 | 国产亚洲一区在线 | 国产自产v一区二区三区c | 日韩欧美一中字暮 | 成人免费一级毛片在线播放视频 | 成人午夜毛片 | 国产精品午夜性视频网站 | 亚洲系列中文字幕一区二区 | 亚洲欧美精品一区 | 亚洲国产精品一区二区三区 | 国产一区二区在线视频播放 | 99视频在线观看免费 | 色狠狠色综合吹潮 | 亚洲国产天堂久久综合图区 | 婷婷久久久五月综合色 |