人工智能領(lǐng)域長(zhǎng)期面臨一項(xiàng)核心挑戰(zhàn)：如何讓機(jī)器像人類(lèi)一樣自然理解視覺(jué)場(chǎng)景中的物體位置。傳統(tǒng)方法依賴坐標(biāo)數(shù)字定位，如同用經(jīng)緯度描述位置，不僅復(fù)雜低效，且在處理高分辨率圖像時(shí)易產(chǎn)生大量冗余數(shù)據(jù)。近日，一支跨機(jī)構(gòu)研究團(tuán)隊(duì)提出革命性解決方案，其開(kāi)發(fā)的MolmoPoint系統(tǒng)通過(guò)模擬人類(lèi)視覺(jué)指向行為，實(shí)現(xiàn)了更精準(zhǔn)、高效的物體定位能力。

該研究突破性引入"定位標(biāo)記"分層機(jī)制，將定位過(guò)程分解為三個(gè)遞進(jìn)階段：區(qū)域標(biāo)記首先鎖定大致范圍，子區(qū)域標(biāo)記進(jìn)一步縮小目標(biāo)區(qū)域，最終由位置標(biāo)記確定精確點(diǎn)位。這種設(shè)計(jì)靈感源自人類(lèi)視覺(jué)認(rèn)知模式——無(wú)需計(jì)算坐標(biāo)，直接通過(guò)視覺(jué)注意力聚焦目標(biāo)。實(shí)驗(yàn)數(shù)據(jù)顯示，新方法在自然圖像定位任務(wù)中達(dá)到70.7%的準(zhǔn)確率，較傳統(tǒng)方法提升12個(gè)百分點(diǎn)，同時(shí)將數(shù)據(jù)標(biāo)記量從8個(gè)壓縮至3個(gè)，顯著降低計(jì)算資源消耗。

研究團(tuán)隊(duì)特別設(shè)計(jì)的相對(duì)位置編碼機(jī)制，使系統(tǒng)具備"記憶"能力。模型在生成連續(xù)指向時(shí)，會(huì)參考前序位置信息，形成邏輯連貫的定位序列。例如在描述畫(huà)面元素時(shí)，系統(tǒng)能自然表達(dá)"花朵位于樹(shù)木左側(cè)"的相對(duì)關(guān)系，而非孤立標(biāo)注坐標(biāo)。為防止過(guò)度定位，團(tuán)隊(duì)創(chuàng)新開(kāi)發(fā)"停止指向"機(jī)制，當(dāng)畫(huà)面中無(wú)相關(guān)物體時(shí)自動(dòng)終止操作，避免無(wú)效計(jì)算。

針對(duì)不同應(yīng)用場(chǎng)景，研究團(tuán)隊(duì)推出三款專(zhuān)用模型：MolmoPoint-8B實(shí)現(xiàn)圖片視頻通用處理，MolmoPoint-GUI-8B專(zhuān)攻界面元素定位，MolmoPoint-Vid-8B聚焦動(dòng)態(tài)目標(biāo)追蹤。在圖形界面測(cè)試中，系統(tǒng)通過(guò)分析3.6萬(wàn)張合成界面截圖和200萬(wàn)個(gè)標(biāo)注點(diǎn)，成功適配各類(lèi)數(shù)字界面設(shè)計(jì)，在ScreenSpotPro基準(zhǔn)測(cè)試中取得61.1%的準(zhǔn)確率。視頻追蹤任務(wù)中，結(jié)合真實(shí)場(chǎng)景與3D渲染數(shù)據(jù)訓(xùn)練的模型，在人工評(píng)估中獲得59.1%的勝率，特別在處理物體遮擋和快速運(yùn)動(dòng)時(shí)表現(xiàn)優(yōu)異。

這項(xiàng)技術(shù)突破帶來(lái)多重效益。效率方面，新方法使存儲(chǔ)需求降低62%，推理速度提升3倍；泛化能力上，模型無(wú)需重新訓(xùn)練即可適應(yīng)不同分辨率圖像，包括訓(xùn)練時(shí)未接觸的8K超高清畫(huà)面。樣本效率實(shí)驗(yàn)顯示，使用相同訓(xùn)練數(shù)據(jù)時(shí)，新方法性能提升18%，且訓(xùn)練收斂速度加快40%。研究團(tuán)隊(duì)通過(guò)消融實(shí)驗(yàn)證實(shí)，相對(duì)位置編碼對(duì)視頻追蹤至關(guān)重要，分層標(biāo)記結(jié)構(gòu)使小物體識(shí)別準(zhǔn)確率提升25%。

實(shí)際應(yīng)用價(jià)值已獲多領(lǐng)域驗(yàn)證。在機(jī)器人領(lǐng)域，配備該系統(tǒng)的機(jī)械臂能精準(zhǔn)抓取微小零件，定位誤差控制在0.5毫米內(nèi)；輔助技術(shù)方面，視覺(jué)導(dǎo)航系統(tǒng)可實(shí)時(shí)識(shí)別障礙物并規(guī)劃路徑，幫助視障用戶獨(dú)立出行；醫(yī)療影像分析中，系統(tǒng)能自動(dòng)標(biāo)記腫瘤邊界，將醫(yī)生閱片時(shí)間縮短70%。教育軟件開(kāi)發(fā)商正將其用于智能教具開(kāi)發(fā)，通過(guò)實(shí)時(shí)追蹤學(xué)生視線焦點(diǎn)，動(dòng)態(tài)調(diào)整教學(xué)內(nèi)容呈現(xiàn)方式。

技術(shù)實(shí)現(xiàn)層面，研究團(tuán)隊(duì)采用混合精度訓(xùn)練和梯度累積技術(shù)，使千億參數(shù)模型在單臺(tái)GPU上完成訓(xùn)練。消息樹(shù)數(shù)據(jù)結(jié)構(gòu)的應(yīng)用，使訓(xùn)練數(shù)據(jù)組織效率提升5倍。值得關(guān)注的是，所有研究成果已完全開(kāi)源，包括預(yù)訓(xùn)練模型、訓(xùn)練代碼和全部數(shù)據(jù)集，為開(kāi)發(fā)者提供完整工具鏈。這種開(kāi)放態(tài)度推動(dòng)社區(qū)迅速涌現(xiàn)出20余個(gè)衍生項(xiàng)目，涵蓋自動(dòng)駕駛、工業(yè)檢測(cè)等多個(gè)領(lǐng)域。

與傳統(tǒng)坐標(biāo)定位相比，MolmoPoint系統(tǒng)更接近人類(lèi)視覺(jué)認(rèn)知本質(zhì)。研究論文指出，這種"直覺(jué)式理解"路徑不僅提升性能，更使AI系統(tǒng)行為模式更易被人類(lèi)理解。當(dāng)機(jī)器不再依賴機(jī)械的數(shù)字坐標(biāo)，而是通過(guò)視覺(jué)注意力直接"看"到目標(biāo)時(shí)，人機(jī)協(xié)作的流暢度將產(chǎn)生質(zhì)的飛躍。這項(xiàng)研究為視覺(jué)語(yǔ)言模型發(fā)展開(kāi)辟新范式，其核心思想正啟發(fā)更多團(tuán)隊(duì)探索類(lèi)腦視覺(jué)處理機(jī)制。