本報(bào)訊 (記者 劉琴)近日,由中國電子技術(shù)標(biāo)準(zhǔn)化研究院基于編制中的國家標(biāo)準(zhǔn)《人工智能具身智能大模型系統(tǒng)技術(shù)要求》正式發(fā)布“求索”具身智能測評基準(zhǔn)EIBench,同時邀請多家國內(nèi)頂尖具身智能團(tuán)隊(duì)參與首次測評。
在本次測評中,北京人形機(jī)器人創(chuàng)新中心的XR-1模型成為唯一一個通過測試的VLA(視覺-語言-動作)模型,獲CESI-CTC-20251103具身智能測試證書,也成為了全國首個獲此殊榮的VLA模型。
據(jù)悉,“求索”具身智能測評基準(zhǔn)EIBench,是針對具身智能數(shù)據(jù)難復(fù)用、模型泛化性差、安全難保障等產(chǎn)業(yè)痛點(diǎn)推出的首個具身智能領(lǐng)域評測基準(zhǔn),聚焦數(shù)據(jù)格式、具身智能大模型、安全及可信賴度等,形成基于國家標(biāo)準(zhǔn)的測評指標(biāo)體系。該標(biāo)準(zhǔn)在模型側(cè)主要面向VLA和VLM(視覺-語言模型)兩類具身智能大模型,這也代表著我國具身智能行業(yè)發(fā)展在規(guī)范化和標(biāo)準(zhǔn)化的方向上邁出了關(guān)鍵一步。
作為基于視覺、語言和動作等多模態(tài)數(shù)據(jù)集進(jìn)行訓(xùn)練的大模型,VLA能夠打破傳統(tǒng)具身智能系統(tǒng)中“感知-決策-執(zhí)行”的模塊分離局限,實(shí)現(xiàn)端到端閉環(huán),同時借助大規(guī)模基礎(chǔ)模型的泛化能力,能夠?qū)崿F(xiàn)跨任務(wù)、跨機(jī)器人和零樣本的適應(yīng)能力;也因?yàn)閂LA 模型能夠理解自然語言指令,可以使人與具身智能體之間的交互更加自然、高效。
根據(jù)介紹,EIBench在數(shù)據(jù)格式方面推動打造統(tǒng)一數(shù)據(jù)格式;其次,模型方面,形成了“三個一”的測評準(zhǔn)則:
一條標(biāo)準(zhǔn)化流程,實(shí)現(xiàn)可復(fù)現(xiàn)的公平評測——建設(shè)了評測任務(wù)確定-訓(xùn)練數(shù)據(jù)采集-模型定向訓(xùn)練-任務(wù)真機(jī)測試-測試結(jié)果分析的標(biāo)準(zhǔn)化流程。
一個綜合任務(wù)庫,覆蓋多維度復(fù)雜場景——設(shè)置了“單臂操作”、“雙臂異步操作”和“雙臂協(xié)同操作”3種難度等級,覆蓋移動、放置、推、拉、傾斜、按壓、插入、旋轉(zhuǎn)等8類核心動作單元,全面考核模型基礎(chǔ)物理交互能力。
一套測試指標(biāo),量化模型綜合性能——建立了多維度量化指標(biāo)體系,包括任務(wù)成功率、平均執(zhí)行用時、人工干預(yù)次數(shù)、危險(xiǎn)操作次數(shù)及指令跟隨率等,全面覆蓋任務(wù)完成能力、執(zhí)行效率、自主可控性及安全可靠性等核心要求,反映模型在實(shí)際場景中的綜合性能表現(xiàn)。
北京人形創(chuàng)新中心相關(guān)負(fù)責(zé)人告訴記者,在測試中,XR-1模型共在天工2.0、UR、Franka等三款機(jī)器人上,針對取放、推拉、旋轉(zhuǎn)、插入等雙臂技能進(jìn)行基礎(chǔ)測試,以及物體顏色、位置、姿態(tài),環(huán)境亮度、色溫,背景、干擾物等七大維度的泛化測試。每項(xiàng)測試定量采集40-50條少量數(shù)據(jù),在每個任務(wù)每項(xiàng)測試維度進(jìn)行10次以上的真機(jī)測試,測試全程由中國電子技術(shù)標(biāo)準(zhǔn)化研究院專家參與,在流程設(shè)計(jì)和實(shí)際執(zhí)行層面均做到了標(biāo)準(zhǔn)化公平可復(fù)現(xiàn)。
“本次XR-1成為唯一通過測試的具身VLA模型,具有著里程碑式的意義。標(biāo)準(zhǔn)確立后,能夠推動具身智能產(chǎn)業(yè)生態(tài)的良性發(fā)展和可持續(xù)創(chuàng)新,創(chuàng)新中心未來將繼續(xù)以技術(shù)突破與產(chǎn)業(yè)實(shí)踐,推動具身智能加速邁向‘最聰明和最好用’的新高度?!北本┤诵螜C(jī)器人創(chuàng)新中心相關(guān)負(fù)責(zé)人說。
友情鏈接: 政府 高新園區(qū)合作媒體
Copyright 1999-2025 中國高新網(wǎng)chinahightech.com All Rights Reserved.京ICP備14033264號-5
電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證060344號主辦單位:《中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào)》社有限責(zé)任公司