Figure AI 在與 OpenAI 終止合作后,果然發布了大新聞,這家人形機器人公司從外接大模型的方式,轉入本地具身大模型來完成機器人的感知、交互與操作,充分展現了本體具身大模型與外接互聯網大模型的優勢。

根據 Figure AI 有限的技術分享,他最新推出的 Helix 系統是基于視覺-語言-行動(VLA)端到端整體架構演進的一套快慢系統。

借助 Helix,Figure AI 將端到端 VLA 模型運行到自家的雙足人形機器人 Figure 02 上,實現了面向場景任務的泛化性。

在 Figure AI 官方展示視頻中,機器人一邊用頭部追蹤手部,一邊調整軀干姿勢,同時能夠精確抓取物體。

這種多自由度協調在高維動作空間中極具挑戰性,而 Helix 可以做到完美平衡。

究其本質,Helix 是一個能夠對整個人形上身(包括手腕、軀干、頭部和各個手指)進行高速率連續控制的 VLA 模型,作為 Figure AI 的超級大腦,它完成了所有事情:

像人類一樣用眼睛觀察、用耳朵聽、用手操作,并在沒有特別訓練的情況下完成全新的任務,有精準的控制能力。

這在視頻中得到了充分展現:Helix 驅動的機器人成功抓取數千種新物體,僅需一句「拿起 [X]」,當指令為「拿起沙漠物品」時,它能識別玩具仙人掌并完成抓取。

「Helix 表現出了強大的物體泛化能力,只需用自然語言詢問,就能撿起數千種形狀、大小、顏色與材料特性各異的新奇家居用品,而這些物品在此前的訓練中從未見過。」Figure AI 的創始人兼 CEO 布雷特·艾德考克認為。

Figure AI 此番高舉高打的端到端 VLA 架構,實際在硅谷也是非常新的技術。

伯克利機器人行業的頂級團隊創辦的 PI,在 2024 年 6 月、10 月分別發表了 OpenVLA、PI-0,奠定了端到端 VLA 的圣杯標準,當時獲得極大反響。

但這個技術不只是硅谷頂級團隊的專利,中國科研力量也在端到端 VLA 舞臺上展露過實力。

2024 年 6 月,比 PI 早發表的,針對操作機器人的 RoboMamba 端到端具身大模型,由北大,智平方等合力推出。

這一模型不僅比 PI 的 OpenVLA 更早公開應用,還在未見任務(Unseen Task)的泛化能力上顯著超越 Google 的 RT 系列模型,進一步鞏固了中國在大模型原創力上的國際聲譽。

這是業界能看到的,唯一初創公司參與的端到端 VLA 工作被國際專家認可。

圖注:圖源 RoboMamba 論文

圖注:論文介紹了一個名為 RoboMamba 的多模態狀態空間模型,旨在提高機器人的推理和操作能力,同時保持高效的微調和推理

論文創新性地將視覺編碼器與高效的 Mamba 語言模型集成,構建了全新的端到端機器人多模態大模型。

端到端的背后,是對量產的深入理解。在場景多變的情況下,如何用數據驅動的方式完成系統升級迭代,如何對數據,模型結構,訓練方法實現系統級別 AI 突破。這些關鍵問題困住了大量具身智能領域的入局者。

小鵬、OPPO前首席科學家,微軟總部研究員,國家級創新領軍人才郭彥東,是首次提出端到端 VLA 架構的人,這來自于他在產業、行業多年的深耕積累,以及他在 AI 原創領域的硬核研發能力。依托技術的先發布局,和大量人工智能軟硬一體化結合的量產經驗,幫助智平方率先做到了這一點,成為國內最早進行真正商業落地的通用智能機器人公司。

本質上,能做好 VLA 端到端的公司具備對大模型前沿技術的硬核創新能力,其間的點滴積累如能應用到整個 AI+硬件行業,會成為極具價值的存在。

免責聲明：市場有風險，選擇需謹慎！此文僅供參考，不作買賣依據。

標簽：