這次我們來看一個機(jī)器人操作技能學(xué)習(xí)方向的典型進(jìn)展讓機(jī)器人“摸麻將”“擠牙膏”。乍看像是生活小實(shí)驗(yàn)其實(shí)背后是具身智能里非常關(guān)鍵的觸覺感知與力控操作問題。機(jī)器人如果只能靠視覺識別物體很難完成需要“手感”的任務(wù)——麻將牌的厚度差異、牙膏管口對準(zhǔn)、力度控制都依賴觸覺反饋和力覺控制。這個方向解決的正是在視覺之外給機(jī)器人補(bǔ)上接近人類的物理交互能力。本文不只講概念會落到具體的部署思路和驗(yàn)證流程環(huán)境怎么搭、數(shù)據(jù)怎么采、策略怎么訓(xùn)、模型怎么測、接口怎么調(diào)、顯存和性能怎么看以及常見的坑在哪里。適合做具身智能、機(jī)器人操作、強(qiáng)化學(xué)習(xí)、仿真數(shù)據(jù)采集或者想評估“機(jī)器人觸覺”技術(shù)棧能否落到自己項(xiàng)目的讀者。1. 核心能力速覽能力項(xiàng)說明項(xiàng)目方向具身智能 / 機(jī)器人操作技能學(xué)習(xí)核心任務(wù)觸覺感知、力控操作、物體識別、策略學(xué)習(xí)代表性實(shí)驗(yàn)摸麻將觸覺識別、擠牙膏力控與對齊支撐技術(shù)視覺感知、觸覺傳感、力/力矩控制、模仿學(xué)習(xí)、強(qiáng)化學(xué)習(xí)硬件要求機(jī)械臂/靈巧手/觸覺傳感器GPU 用于策略訓(xùn)練運(yùn)行平臺Linux 為主支持仿真環(huán)境與真實(shí)機(jī)器人部署啟動方式訓(xùn)練腳本 推理服務(wù) / 仿真環(huán)境 真機(jī)部署API 服務(wù)可封裝為策略推理接口需按實(shí)際項(xiàng)目實(shí)現(xiàn)批量任務(wù)支持批量數(shù)據(jù)采集與批量推理需設(shè)計(jì)任務(wù)隊(duì)列適合場景機(jī)器人抓取、裝配、精細(xì)操作、遙操作數(shù)據(jù)采集、具身智能研究參數(shù)說明項(xiàng)目具體實(shí)現(xiàn)取決于團(tuán)隊(duì)開源版本和你的硬件選型。顯存占用、訓(xùn)練時長、推理延遲都需要以實(shí)際環(huán)境和模型配置為準(zhǔn)下面會給出通用測算方法。2. 技術(shù)背景摸麻將和擠牙膏為什么是硬指標(biāo)機(jī)器人操作任務(wù)可以分成兩類一類是“看得見的操作”比如抓杯子、推箱子視覺信息基本夠用另一類是“摸得著的操作”比如把麻將牌翻面、擠出適量牙膏需要感知接觸力、滑動、材質(zhì)差異。后者正是當(dāng)前機(jī)器人學(xué)習(xí)從仿真走向真實(shí)場景的難點(diǎn)。摸麻將的難度在于麻將牌表面紋理、牌面朝向、牌與牌之間的間隙不能只靠 RGB 圖像判斷。觸覺傳感器能提供壓力分布和震動信號幫助機(jī)器人判斷牌面是正面還是背面、是否夾緊、是否滑動。這個過程本質(zhì)上是一個多模態(tài)感知問題視覺給全局觸覺給局部力控給交互反饋。擠牙膏的難度在于力和軌跡的聯(lián)合控制。牙膏管是軟體形變物體擠壓力度過大會噴出過多過小則擠不出來同時還要讓牙膏落在牙刷上而不是桌面上。這個任務(wù)要求機(jī)器人在接觸不精確的情況下通過力反饋動態(tài)調(diào)整動作而不是執(zhí)行一段固定軌跡。從控制角度看這屬于力位混合控制從學(xué)習(xí)角度看這需要策略網(wǎng)絡(luò)融合觸覺序列和力覺序列。所以這類項(xiàng)目的價值不在“摸麻將”本身而在于驗(yàn)證了一套通用的技術(shù)路線多模態(tài)數(shù)據(jù)采集、觸覺/力覺表征學(xué)習(xí)、策略訓(xùn)練、真實(shí)世界部署。這套路線可以遷移到家電裝配、醫(yī)療操作、精密抓取、家庭服務(wù)等場景。3. 適用場景與使用邊界這個方向適合以下場景機(jī)器人精細(xì)操作研究需要讓機(jī)械臂或靈巧手完成接觸類任務(wù)。具身智能數(shù)據(jù)平臺建設(shè)需要大規(guī)模采集多模態(tài)操作數(shù)據(jù)。服務(wù)機(jī)器人功能開發(fā)家庭場景中整理桌面、操作日用品。工業(yè)裝配前瞻驗(yàn)證螺絲擰緊、插拔、軟管對接等力控要求高的工序。高校實(shí)驗(yàn)室教學(xué)用仿真環(huán)境跑通模仿學(xué)習(xí)或強(qiáng)化學(xué)習(xí)流程。不適合的場景純視覺任務(wù)不需要接觸反饋沒必要引入觸覺傳感器和力控方案。極端高速產(chǎn)線對節(jié)拍要求極高觸覺感知和策略推理的延遲可能不達(dá)標(biāo)。沒有硬件條件但有算力限制的環(huán)境可以先做仿真但要提前評估 sim-to-real 的差距。使用邊界和合規(guī)提醒涉及真機(jī)數(shù)據(jù)采集時要確保實(shí)驗(yàn)區(qū)域有安全圍欄或急停裝置避免機(jī)器人對人或物造成傷害。如果采集的數(shù)據(jù)包含人臉、個人物品或特定環(huán)境信息必須獲得授權(quán)并在處理后進(jìn)行脫敏。策略模型如果用于生產(chǎn)環(huán)境需要做充分的邊界測試機(jī)器人操作涉及人身安全不能只跑通 demo 就上線。觸覺傳感器和力控硬件的采購要確認(rèn)合規(guī)渠道避免使用來源不明的固件或數(shù)據(jù)。4. 環(huán)境準(zhǔn)備與前置條件下面是通用環(huán)境檢查清單具體版本建議按你實(shí)際選用的框架調(diào)整。4.1 硬件清單機(jī)械臂建議 6 軸以上支持外部力控接口或末端力/力矩傳感器。靈巧手或夾爪根據(jù)任務(wù)選型摸麻將可以用二指夾爪加觸覺貼片擠牙膏需要更靈活的末端。觸覺傳感器可選電阻式、電容式或光學(xué)式觸覺傳感器輸出壓力分布圖或接觸力序列。相機(jī)RGB-D 相機(jī)用于視覺感知Realsense、Azure Kinect 等都可以。計(jì)算設(shè)備GPU 訓(xùn)練服務(wù)器建議顯存 8GB 以上實(shí)際根據(jù)模型規(guī)模調(diào)整真機(jī)推理可另配一臺工控機(jī)。4.2 軟件依賴操作系統(tǒng)Ubuntu 20.04 或 22.04 是通用選擇。Python3.8 到 3.10取決于訓(xùn)練框架要求和 ROS 版本。ROS / ROS2用于機(jī)器人通信和傳感器數(shù)據(jù)采集。仿真環(huán)境MuJoCo、Isaac Gym、Gazebo 或 Isaac Sim 均可按團(tuán)隊(duì)熟悉度選擇。深度學(xué)習(xí)框架PyTorch具身智能領(lǐng)域使用較多。機(jī)器人控制庫MoveIt、ros_control、ikfast 等按機(jī)械臂型號選擇。4.3 磁盤與端口數(shù)據(jù)采集會占用大量空間建議預(yù)留 200GB 以上 SSD用于存放觸覺序列、RGB-D 視頻和力覺日志。訓(xùn)練腳本啟動前檢查端口占用常見可視化端口包括 6006TensorBoard、8000推理 API等。5. 部署與啟動方式因?yàn)闆]有統(tǒng)一的現(xiàn)成一鍵包這里給出通用工程流程。你可以把它拆成四個階段環(huán)境搭建、仿真或真機(jī)數(shù)據(jù)采集、策略訓(xùn)練、推理部署。5.1 創(chuàng)建 Python 虛擬環(huán)境# 創(chuàng)建虛擬環(huán)境Python 版本按項(xiàng)目要求調(diào)整 python3 -m venv embodied_env source embodied_env/bin/activate # 安裝基礎(chǔ)依賴實(shí)際包名按項(xiàng)目說明替換 pip install torch torchvision pip install numpy opencv-python pyyaml pip install ros-noetic-desktop # 如果使用 ROS1需先配置 ROS 源注意ROS 安裝建議先按其官網(wǎng)步驟配置 apt 源不要在虛擬環(huán)境中直接 pip 安裝 ros 包容易沖突。5.2 啟動仿真環(huán)境以 MuJoCo 為例# 啟動仿真場景具體腳本需要按項(xiàng)目結(jié)構(gòu)調(diào)整 python sim_env.py --scene mahjong_table --robot franka --headless False啟動后應(yīng)能觀察到桌面、麻將牌和機(jī)械臂模型。此時可以先手動控制機(jī)器人執(zhí)行一次夾取驗(yàn)證碰撞檢測和傳感器反饋是否正常。5.3 啟動訓(xùn)練服務(wù)# 訓(xùn)練策略網(wǎng)絡(luò)參數(shù)按實(shí)際項(xiàng)目配置 python train.py --config configs/mahjong_touch.yaml --gpu 0訓(xùn)練開始后觀察日志輸出的 loss 曲線和成功率指標(biāo)。如果 loss 不下降優(yōu)先檢查輸入特征是否標(biāo)準(zhǔn)化、獎勵信號是否正確。5.4 啟動推理服務(wù)# 將訓(xùn)練好的策略部署為推理接口 python deploy.py --checkpoint ./checkpoints/model_best.pt \ --port 8000 \ --device cuda:0推理服務(wù)會接收當(dāng)前觀測數(shù)據(jù)輸出動作指令。測試時可以先輸入一段仿真觀測確認(rèn)返回動作維度是否與機(jī)械臂控制接口匹配。6. 數(shù)據(jù)采集與訓(xùn)練流程機(jī)器人的“手感”依賴數(shù)據(jù)。真實(shí)機(jī)器人收集一次“摸麻將”的完整軌跡包括 RGB 圖、深度圖、觸覺壓力分布、關(guān)節(jié)角度、力/力矩反饋然后和時間戳對齊。這個過程建議寫成可復(fù)用的數(shù)據(jù)采集腳本。# 數(shù)據(jù)采集偽代碼需要按實(shí)際機(jī)器人 SDK 調(diào)整 import time import cv2 import numpy as np def collect_episode(robot, camera, tactile, duration5): episode { rgb: [], depth: [], tactile: [], joints: [], ft: [], timestamps: [] } start time.time() while time.time() - start duration: rgb, depth camera.read() episode[rgb].append(rgb) episode[depth].append(depth) episode[tactile].append(tactile.read_pressure_map()) episode[joints].append(robot.get_joint_state()) episode[ft].append(robot.get_force_torque()) episode[timestamps].append(time.time() - start) time.sleep(0.02) # 50Hz 采樣 # 可選保存深度圖或觸覺圖用于可視化 return episode # 單次采集示例 # data collect_episode(robot, camera, tactile, duration5) # np.save(./data/episode_001.npy, data)采集時的關(guān)鍵點(diǎn)觸覺傳感器數(shù)據(jù)和關(guān)節(jié)數(shù)據(jù)要做到時間戳對齊否則訓(xùn)練時模型會學(xué)到錯誤關(guān)聯(lián)。每次任務(wù)開始前讓機(jī)器人回到固定初始位姿保證樣本方差來自任務(wù)本身而不是初始狀態(tài)漂移。記錄力/力矩?cái)?shù)據(jù)的量程避免飽和數(shù)據(jù)直接進(jìn)網(wǎng)絡(luò)。每隔一段時間人工檢查采集質(zhì)量刪掉夾取失敗、傳感器連接不穩(wěn)定的壞樣本。訓(xùn)練流程一般包括兩個階段第一階段做單模態(tài)編碼。RGB 圖通過視覺主干編碼觸覺壓力圖通過一個小型卷積網(wǎng)絡(luò)編碼力/力矩序列通過 MLP 編碼然后在特征層拼接。第二階段做策略學(xué)習(xí)?？梢允褂媚７聦W(xué)習(xí)先將人工示教或遙操作數(shù)據(jù)做成 (觀測, 動作) 對訓(xùn)練策略網(wǎng)絡(luò)也可以使用強(qiáng)化學(xué)習(xí)在仿真中不斷試錯用獎勵函數(shù)引導(dǎo)機(jī)器人學(xué)會“摸”和“擠”的動作。# 訓(xùn)練配置示例實(shí)際路徑和參數(shù)需要按項(xiàng)目調(diào)整 # configs/mahjong_touch.yaml data: train_dir: ./data/train val_dir: ./data/val batch_size: 32 num_workers: 4 model: visual_backbone: resnet18 tactile_encoder: conv2d hidden_dim: 256 action_dim: 7 train: epochs: 100 lr: 0.0003 save_dir: ./checkpoints sim: reward_type: contact_success max_steps: 200這里有幾個容易踩的坑觸覺圖的分辨率比較低不要用太大的視覺主干容易過擬合。力/力矩值單位要統(tǒng)一推薦做歸一化。模仿學(xué)習(xí)里動作誤差不要只用 MSE要加接觸成功率指標(biāo)。強(qiáng)化學(xué)習(xí)里稀疏獎勵會導(dǎo)致訓(xùn)練很慢建議設(shè)計(jì)階段性獎勵。7. 功能測試與效果驗(yàn)證部署完成后要按功能模塊逐一驗(yàn)證。測試前先確認(rèn)機(jī)器人處于安全狀態(tài)急?？捎谩?.1 觸覺識別測試測試目標(biāo)機(jī)器人能否通過觸覺信號區(qū)分不同物體。操作步驟準(zhǔn)備 3 到 5 個不同材質(zhì)或紋理的物體如麻將對牌、海綿塊、塑料卡片。讓機(jī)器人用末端輕觸物體每次記錄觸覺傳感器輸出。運(yùn)行訓(xùn)練好的觸覺分類模型判斷物體類別。判斷標(biāo)準(zhǔn)分類準(zhǔn)確率在干凈測試集上達(dá)到 90% 以上。有材質(zhì)差異時觸覺特征可視化應(yīng)能形成明顯聚類。如果是同一物體不同位置輸出應(yīng)保持類別穩(wěn)定。失敗排查觸覺信號噪聲大檢查傳感器是否固定牢靠減少夾爪震動。分類混淆增加樣本數(shù)量或去掉飽和樣本。7.2 力控操作測試測試目標(biāo)機(jī)器人能否完成需要“手感”的連續(xù)動作。操作步驟設(shè)置一個固定目標(biāo)比如從軟管中擠出 1cm 牙膏到指定位置。讓機(jī)器人執(zhí)行力控策略觀察擠壓力度曲線。記錄是否出現(xiàn)過沖、打滑、失穩(wěn)。判斷標(biāo)準(zhǔn)擠出量誤差在合理范圍內(nèi)。接觸力曲線平穩(wěn)沒有超過預(yù)設(shè)閾值。機(jī)器人能在接觸失敗時自動退避并重試。失敗排查力度過大降低力控增益或減小目標(biāo)力上限。動作抖動增加低通濾波或降低控制頻率。牙膏位置偏移檢查視覺目標(biāo)識別坐標(biāo)系是否對齊。7.3 綜合操作測試測試目標(biāo)端到端跑通“識別 操作”流程。操作步驟相機(jī)識別桌面物體位置。機(jī)器人移動到目標(biāo)附近。觸覺傳感器接觸物體。策略網(wǎng)絡(luò)根據(jù)觸覺與力覺輸出連續(xù)動作。完成操作后回到初始位姿。判斷標(biāo)準(zhǔn)成功率不低于訓(xùn)練時的驗(yàn)證指標(biāo)。單次任務(wù)耗時在可接受范圍內(nèi)。連續(xù)運(yùn)行 10 次以上沒有機(jī)械異常或通信斷流。這里要特別說明不同環(huán)境的成功率差異很大仿真中 95% 的成功率遷移到真機(jī)可能只有 70%。最終要以你的真機(jī)實(shí)測為準(zhǔn)。8. 接口 API 與批量任務(wù)機(jī)器人操作策略訓(xùn)練好之后實(shí)際工程通常需要把它封裝成服務(wù)供上層調(diào)度系統(tǒng)調(diào)用。比如產(chǎn)線或者家庭服務(wù)系統(tǒng)發(fā)送“對桌面麻將進(jìn)行分類”“將牙膏擠到牙刷上”的任務(wù)策略服務(wù)返回動作序列或控制指令。# 后端 Flask 示例需要按實(shí)際部署結(jié)構(gòu)調(diào)整 from flask import Flask, request, jsonify import numpy as np app Flask(__name__) # 加載模型 # model load_policy(./checkpoints/model_best.pt) app.route(/predict, methods[POST]) def predict(): data request.get_json() # 接收觀測數(shù)據(jù) rgb np.array(data[rgb]) tactile np.array(data[tactile]) ft np.array(data[ft]) # 推理動作 # action model.act(rgb, tactile, ft) action [0.1, -0.2, 0.3, 0.0, 0.0, 0.0, 0.5] # 示例輸出 return jsonify({action: action, success: True}) if __name__ __main__: app.run(host0.0.0.0, port8000)調(diào)用請求示例curl -X POST http://127.0.0.1:8000/predict \ -H Content-Type: application/json \ -d { rgb: [], tactile: [], ft: [] }批量任務(wù)要優(yōu)先考慮三件事輸入數(shù)據(jù)打包把多個樣本組合成一個批次推理服務(wù)要根據(jù)最大批大小設(shè)置動態(tài) padding避免觸覺序列長度不一致報(bào)錯。任務(wù)隊(duì)列使用 Redis 或文件目錄做任務(wù)隊(duì)列采集腳本持續(xù)往隊(duì)列寫數(shù)據(jù)推理服務(wù)從隊(duì)列消費(fèi)并輸出結(jié)果。失敗重試對機(jī)器人操作失敗的任務(wù)要區(qū)分“傳感器異?！焙汀安呗詧?zhí)行失敗”前者直接終止后者可以設(shè)置重試上限。批量數(shù)據(jù)采集的場景下建議把采集任務(wù)拆成“采集進(jìn)程”和“質(zhì)檢進(jìn)程”。采集進(jìn)程只負(fù)責(zé)按固定頻率記錄數(shù)據(jù)質(zhì)檢進(jìn)程每 50 條抽樣檢查一次畫面質(zhì)量和觸覺信號分布發(fā)現(xiàn)異常就告警。這樣能避免跑了一整夜數(shù)據(jù)后發(fā)現(xiàn)一半樣本不可用。9. 資源占用與性能觀察機(jī)器人操作學(xué)習(xí)和純 NLP 模型不同資源瓶頸往往不只是 GPU還有傳感數(shù)據(jù)流和控制頻率。硬件資源占用需要按實(shí)際環(huán)境測試下面給出一套觀察方法。9.1 觀察哪些指標(biāo)顯存占用訓(xùn)練時用nvidia-smi -l 1觀察記錄峰值占用。關(guān)鍵看模型編碼器大小和 batch size而不是只看整體顯存容量。GPU 利用率如果利用率低于 60%可能是數(shù)據(jù)加載或傳感器讀取拖慢了訓(xùn)練。CPU 占用觸覺圖像預(yù)處理、點(diǎn)云處理都在 CPU 上多進(jìn)程采集時會明顯提升 CPU 占用?？刂蒲舆t從傳感器數(shù)據(jù)進(jìn)入進(jìn)程到執(zhí)行器收到指令的時間抓取任務(wù)通常要求控制在 100ms 以內(nèi)精細(xì)力控要求可能更高。9.2 如何估算顯存需求顯存需求 視覺編碼器參數(shù)量 × 梯度狀態(tài) 觸覺編碼器參數(shù)量 × 梯度狀態(tài) 單樣本特征大小 × batch size × 2。實(shí)際操作中先設(shè)置 batch_size 1 測試然后逐步增大。如果出現(xiàn) CUDA OOM優(yōu)先減少 batch_size 或降低視覺輸入分辨率而不是直接換 24G 大卡。9.3 降低資源占用的方法視覺輸入分辨率從 640×480 降到 320×240觸覺特征基本不受影響。減少觸覺特征圖的采樣頻率從 50Hz 降到 30Hz。使用 Grad-CAM 或特征可視化確認(rèn)哪些輸入通道是冗余的。推理階段使用 TensorRT 或 ONNX Runtime 加速減少 GPU 占用。多進(jìn)程采集時避免把 RGB 圖和觸覺圖同時存儲在同一磁盤目錄容易造成 IO 瓶頸。10. 常見問題與排查方法問題現(xiàn)象可能原因排查方式解決方案觸覺傳感器讀數(shù)為 0傳感器未接線或驅(qū)動未加載查看設(shè)備管理列表檢查傳感器 SDK 是否能枚舉設(shè)備重新插拔安裝對應(yīng)驅(qū)動訓(xùn)練 loss 不下降輸入特征未歸一化打印輸入數(shù)據(jù)的均值和方差對所有特征做標(biāo)準(zhǔn)化仿真訓(xùn)練成功率很高真機(jī)掉點(diǎn)嚴(yán)重sim-to-real 差距大對比仿真和真機(jī)的觸覺圖像分布、力控范圍引入域隨機(jī)化增加材質(zhì)摩擦系數(shù)擾動GPU 顯存不足batch size 太大查看 CUDA OOM 日志降低 batch size或關(guān)閉無關(guān)進(jìn)程機(jī)器人力控制抖動控制頻率不匹配或力控增益過大查看力/力矩曲線是否有振蕩降低增益增加濾波API 推理超時模型過大或觸發(fā)批處理阻塞記錄單次推理耗時改用異步推理或縮小模型批量采集后樣本亂序時間戳未對齊檢查各傳感器數(shù)據(jù)長度統(tǒng)一采用主時鐘時間戳丟棄未對齊樣本機(jī)器人執(zhí)行時碰撞桌面視覺標(biāo)定誤差檢查相機(jī)到機(jī)器人基座的坐標(biāo)變換重新手眼標(biāo)定最值得注意的問題是“仿真里一切正常真機(jī)一跑就崩”。這是具身智能項(xiàng)目的常態(tài)不是 bug。排查順序是先看標(biāo)定再看傳感器數(shù)據(jù)分布最后看策略模型的泛化能力。很多時候問題不在模型而在輸入數(shù)據(jù)分布和訓(xùn)練時不一致。11. 最佳實(shí)踐與合規(guī)提醒這里給出工程化建議盡量幫讀者少走彎路。11.1 項(xiàng)目工程建議第一次跑通先開仿真不要直接上真機(jī)。仿真可以驗(yàn)證代碼邏輯也能讓你熟悉框架的接口。保留一套“最小可運(yùn)行配置”。哪怕只是“機(jī)器人回到初始位姿 采集一次觸覺數(shù)據(jù) 輸出一次預(yù)測”也要單獨(dú)存檔。數(shù)據(jù)目錄按raw / processed / train / val / checkpoint分層管理觸覺數(shù)據(jù)和 RGB 數(shù)據(jù)分開存儲避免目錄混亂。真機(jī)訓(xùn)練前固定相機(jī)、光源、桌面位置減少外部變量。這對模仿學(xué)習(xí)的成功率影響很大。訓(xùn)練腳本和推理腳本要支持實(shí)驗(yàn)參數(shù)復(fù)現(xiàn)建議把隨機(jī)種子、設(shè)備 ID、數(shù)據(jù)路徑都寫進(jìn)配置文件。11.2 合規(guī)與安全提醒真機(jī)操作必須有安全圍欄或急停按鈕嚴(yán)禁在沒有監(jiān)護(hù)的情況下長時間自動運(yùn)行。觸覺數(shù)據(jù)、圖像數(shù)據(jù)如果采集自真實(shí)環(huán)境要注意隱私保護(hù)涉及人臉、私人產(chǎn)所的內(nèi)容必須脫敏。機(jī)器人操作模型如果涉及醫(yī)療、精密裝配等領(lǐng)域不能只依賴單一模型輸出要有安全校驗(yàn)層。不要用未經(jīng)授權(quán)的數(shù)據(jù)集訓(xùn)練模型使用開源數(shù)據(jù)集時確認(rèn)許可協(xié)議。發(fā)布到生產(chǎn)環(huán)境前建議做傳感器異常注入測試、任務(wù)失敗恢復(fù)測試確保異常鏈路可控。12. 總結(jié)與下一步這個項(xiàng)目最值得嘗試的點(diǎn)是它把“視覺感知”和“觸覺感知”放進(jìn)了同一條策略學(xué)習(xí)鏈路。摸麻將和擠牙膏只是載體背后解決的是機(jī)器人在接觸不確定環(huán)境中的穩(wěn)定操作問題。相比純視覺抓取這類任務(wù)對數(shù)據(jù)采集、傳感器對齊和策略泛化能力要求明顯更高也更能反映機(jī)器人從“看見”到“做到”的差距。建議第一次驗(yàn)證的路徑是先在仿真中跑通觸覺分類和力控策略再遷移到單軸或低自由度簡單任務(wù)確認(rèn)數(shù)據(jù)時間戳、力控反饋、策略循環(huán)都沒有問題后再擴(kuò)展成完整的“摸麻將”或“擠牙膏”任務(wù)流程。最容易踩的坑有三個傳感器數(shù)據(jù)不同步、真機(jī)和仿真輸入分布不一致、控制延遲導(dǎo)致力控震蕩。這三個問題會消耗大量調(diào)試時間提前在數(shù)據(jù)采集腳本里做時間戳對齊和分布可視化能省很多事。后續(xù)值得繼續(xù)擴(kuò)展的方向包括多模態(tài)大模型統(tǒng)一處理視覺和觸覺特征、機(jī)器人遙操作數(shù)據(jù)平臺構(gòu)建、大規(guī)模仿真域隨機(jī)化遷移、以及從單一操作技能向多技能組合推進(jìn)。如果這個方向持續(xù)開源后續(xù)很可能會逐步統(tǒng)一數(shù)據(jù)格式和評估基準(zhǔn)跟蹤這部分進(jìn)展對實(shí)際項(xiàng)目選型會有直接幫助。