跟科幻片一樣！OpenAI只用13天給機器人加上了GPT，從此無比“接近人類”

火遍硅谷、OpenAI重金押注的人形機器人Figure 01，現(xiàn)在會看會聽，能和人類自由對話了。當?shù)貢r間3月13日早晨，初創(chuàng)公司Figure AI在X放出這段最新demo。效果十分炸裂，總共展示了以下幾組行為：1.首先詢問機器人能看見什么，F(xiàn)igure 01清晰描述了一切，包括視角正中的紅蘋果、放有杯碟的瀝水架、以及站在面前的工作人員和他搭在桌上的右手。2.接著工作人員問，“可以給我點吃的嗎？”Figure 01把蘋果拿起遞過去，并按照要求，一邊清理工作人員剛傾倒在桌面的紙團，一邊解釋剛剛的行為：“我給了你蘋果，因為我覺得這是桌上唯一能吃的東西?！比缓笞匀欢坏匕咽蘸迷诨@子里的紙團給回工作人員。3.“根據(jù)現(xiàn)在所見，你面前的碟子應(yīng)該到哪兒去？”Figure 01思考片刻做出判斷：杯碟應(yīng)該歸置進晾曬架，而后按指令放好。4.最后一步，讓它自己評價任務(wù)完成的怎么樣。Figure 01自信地回答道：“我覺得我做得很不錯！蘋果找到了新主人，垃圾清理了，桌面上的東西各歸各位。”這里的Figure 01是3月9日更新版本，由OpenAI技術(shù)加持。從兩周前雙方宣布合作，決定共同開發(fā)下一代人形機器人AI模型，推進機器人學習邊界，到現(xiàn)在面前這個科技感滿滿的“人形GPT”僅僅用了13天。而且據(jù)Figure AI創(chuàng)始人Bratt Adcock稱，所有這些行為都沒有經(jīng)過遠程操作，而是通過機器人的自我學習而來。并且以正常的1.0倍速連續(xù)拍攝，沒有加速、沒有剪輯，所見即所得?？梢愿惺艿揭曨l中Figure 01的速度已經(jīng)快要接近人類。具體來看，此次Figure 01體現(xiàn)出的炸裂能力有：1. 識別周圍環(huán)境，準確描述視覺體驗。視頻開頭它說看到桌上的蘋果和面前站著的人類。2. 推理和決策下一步行動。例如“桌子上的盤子和杯子很可能需要放在瀝水架上”。3. 將模棱兩可的請求翻譯成一些與上下文相關(guān)的行為。比如將對方說的“我餓了，有沒有吃的”轉(zhuǎn)換成“遞給這個人一個蘋果”的行動。4. 用語言解釋推理過程，比如“蘋果是這里唯一能吃的”。5. 反思自己的記憶做出判斷，即在視頻最后回顧了全套行為，并且基于常識進行評價。那這一切又是怎么完美實現(xiàn)的呢？領(lǐng)導該項目的高級AI工程師Corey Lynch發(fā)文解釋了背后原理。他表示，F(xiàn)igure 01正是通過與OpenAI提供的大模型連接起來，才被賦予了這些天秀的“有趣新功能”。他們將機器人攝像頭拍攝到的圖像和機載麥克風捕捉的語音，轉(zhuǎn)錄為文本輸入到由OpenAI預訓練的大型多模態(tài)模型中。該模型能夠理解圖像和文本，在處理整個對話歷史、包括過去的圖像后做出語言回應(yīng)，這些回應(yīng)再通過文本轉(zhuǎn)語音最終傳遞給人類。所有行為都由神經(jīng)網(wǎng)絡(luò)視覺運動轉(zhuǎn)換器策略驅(qū)動。以10Hz頻率輸入機載圖像，交給大模型處理，大模型推理預測下一步行為，將像素映射到200Hz、24個自由度的動作（包括手腕姿勢和手指關(guān)節(jié)角度），直接輸出結(jié)果。整個過程依靠端到端的機器人控制，而無需經(jīng)過中間過程的編碼。更新后的Figure 01優(yōu)越之處還在于，接入的OpenAI大模型能理解歷史對話，為機器人提供了強大的短期記憶。從而理解上下文語義，做出準確的判斷和執(zhí)行。比如demo里甄別過杯子盤子應(yīng)該放回瀝水架后，工作人員下達指令：“Can you put them there?” 這其中代指的“它們”和“那兒”是很模糊的。但是經(jīng)過預訓練的模型通過分析對話歷史記錄，就能促使Figure 01迅速形成答案并輸出動作：1）將杯子放在瀝水架上2）將盤子放在瀝水架上。除此以外，機器人基于視覺運動策略學習到的行為執(zhí)行更快速、反應(yīng)更靈敏，相比之下有些行為提前手動指定是很難的，比如在任何位置操縱一個可變形的袋子。同時，一個整體的全身控制器能確保Figure 01保持平衡，時刻處于安全穩(wěn)定的動態(tài)中。除人工智能加持外，F(xiàn)igure 01還垂直整合了由專業(yè)工程師設(shè)計的所有系統(tǒng)，包括電機、固件、熱力學組件、電子設(shè)備、中間件操作系統(tǒng)、電池系統(tǒng)、動作傳感器、機械和結(jié)構(gòu)。對于此次更新，網(wǎng)友們反應(yīng)極度熱烈。有人說，能做出一個能幫你刷碗打掃屋子的智能機器人已經(jīng)贏了。還有人已經(jīng)想象到了商業(yè)化適用場景，“Figure機器人似乎可以成為盲人群體的向?qū)А?。更有網(wǎng)友不留情面地cue波士頓動力“該回實驗室給機器人研究點新舞步了”。Figure機器人的智能化之強，也讓人感嘆和它對視8秒會不會被暴揍?！?3天內(nèi)如此驚人的成績，等不及要看接下來會發(fā)生什么了！”而攜手Figure AI提供燃料，將其推上神壇的OpenAI，也被網(wǎng)友稱為“難以抗衡的合作關(guān)系”，建議波士頓動力火速更換合作伙伴。Figure AI最新估值是13天前的26億美元，而今兩周過去，估值應(yīng)該是多少？網(wǎng)友：“不可估量”。Figure AI曾在上月27號宣布，獲得來自微軟、英偉達、OpenAI以及亞馬遜創(chuàng)始人貝佐斯等投資人約6.75億美元的新一輪融資，成為馬斯克“擎天柱”機器人之外最受投資人們追捧的AI人形機器人。據(jù)Figure AI稱，他們的目標是造出真正的通用機器人，替代人類執(zhí)行危險或機械化的工作，并最終實現(xiàn)“行走的AI智能體”，自主執(zhí)行日常任務(wù)。從如今OpenAI入局后這短短兩周結(jié)果來看，這一目標仿佛變得更近。而OpenAI在人工智能產(chǎn)業(yè)中全面撒網(wǎng)加大部署這一步，似乎又走對了。很多人說閉上眼已經(jīng)可以把Figure 01在自己身邊的體驗具象化。機器人不再是實驗室里可看不可得的觀賞品那天，也許比我們想象的更快到來?，F(xiàn)在是2024年的3月，幾個月后會前進到哪一步？倒計時開始。??硅星人｜AI hacker house系列活動??「AI人格體搭建賽 」首站來襲！掃描下方二維碼報名參賽，豐厚現(xiàn)金大獎等你來拿！