1. 先把你要做哪一類AR這件事定下來第一次讓一個虛擬方塊穩(wěn)穩(wěn)停在自己家茶幾上大概是想入門AR開發(fā)的人最想體驗的那個瞬間。但真正動手之后你會發(fā)現(xiàn)卡住你的從來不是增強現(xiàn)實這四個字背后的數(shù)學(xué)而是工程配置、版本對齊、真機調(diào)試這些看起來毫無美感的部分。我?guī)н^幾批零基礎(chǔ)的同學(xué)做AR練手項目最后放棄的人里九成不是因為算法沒搞懂而是因為打包出來黑屏、或者地面上那個方塊一直漂來漂去找不到人問。所以這篇內(nèi)容我想按真正能跑起來的順序來講而不是按教科書的順序。適合誰看有最基礎(chǔ)的編程概念知道變量、函數(shù)、事件循環(huán)是什么、沒做過三維開發(fā)、也沒接觸過AR的人。看完你應(yīng)該能獨立做出一個掃描桌面、點一下屏幕、在桌面上放一個物體、用手勢縮放旋轉(zhuǎn)它的完整小應(yīng)用并且知道為什么每一步要這么做。在裝任何軟件之前有個問題必須先回答清楚你到底要做哪一類AR。這個問題不問清楚后面裝環(huán)境大概率白裝。AR不是一個單一技術(shù)它是一組能力不同能力對硬件、對框架版本、對設(shè)備的要求完全不一樣。選錯路線的典型表現(xiàn)是教程跟著做了三天最后發(fā)現(xiàn)你要的效果所在的那套能力你手上這臺測試機根本不支持或者你選的框架壓根沒提供這個接口。1.1 四條常見路線以及它們各自吃什么硬件我通常把零基礎(chǔ)能接觸到的AR需求拆成四條路線這個分法不一定學(xué)術(shù)上嚴謹?shù)こ躺戏浅：糜谩５谝粭l是平面檢測加物體放置也就是識別地面、桌面這些水平或垂直面然后在上面擺東西。這條路的本質(zhì)是同步定位與地圖構(gòu)建SLAM設(shè)備一邊估計自己在空間里的位置一邊構(gòu)建環(huán)境地圖順便把地圖里近似平坦的區(qū)域擬合成平面。它吃的是設(shè)備的攝像頭、慣性測量單元IMU和算力絕大多數(shù)中端以上的手機都支持不需要特殊硬件。第二條是圖像/標(biāo)記跟蹤識別一張?zhí)囟ǖ膱D片、海報、卡片識別到之后在圖片上方疊內(nèi)容。它的原理是預(yù)先對目標(biāo)圖片做特征提取運行時用相同算法提取攝像頭畫面的特征做匹配。這條路對硬件要求最低甚至老機型也能跑缺點是必須見過這張圖光照太暗或者角度太斜就認不出來。第三條是面部跟蹤識別面部關(guān)鍵點和表情通常用于虛擬試戴、濾鏡。它需要人臉檢測能力深度攝像頭是加分項但不是必須。第四條是WebAR不裝App瀏覽器打開鏈接就能用。它的優(yōu)勢是傳播成本極低劣勢是能力和性能都被瀏覽器限制復(fù)雜的三維渲染基本別想。我列個表把這幾條路線的關(guān)鍵差異擺在一起你做選型的時候可以直接對著看。路線核心能力硬件門檻跨端表現(xiàn)典型適用場景平面檢測空間定位、平面擬合、錨點中端以上手機深度傳感器可選iOS/Android 兩端都有原生能力家具擺放、虛擬量尺、互動展陳圖像跟蹤特征匹配、六自由度姿態(tài)估計很低兩端支持良好包裝盒互動、說明書、卡片游戲面部跟蹤關(guān)鍵點檢測、表情系數(shù)中等兩端支持良好虛擬試戴、濾鏡、互動玩偶WebAR依賴瀏覽器的有限能力看瀏覽器實現(xiàn)差異最大掃碼即玩的營銷頁、輕量演示需要提醒一句這四條路線在工程上不是互斥的一個應(yīng)用里可以同時開平面檢測和圖像跟蹤但每多開一項能力性能預(yù)算和調(diào)試復(fù)雜度都會上一個臺階。零基礎(chǔ)階段我強烈建議只挑一條走通別一上手就全都要。1.2 選路線時我常問的三個判斷問題與其糾結(jié)技術(shù)名詞不如回答三個具體問題答案基本能推出路線。第一個問題你的內(nèi)容需要知道自己在空間里的哪個位置嗎如果只是把一張海報變成會動的動畫內(nèi)容不需要知道自己離墻多遠那圖像跟蹤就夠了別碰SLAMSLAM的調(diào)試成本是它的好幾倍。反過來如果你要把一個虛擬沙發(fā)擺進客廳并且能從不同角度走過去看那就必須走平面檢測這條線沒有第二條路。第二個問題用戶是專門打開你的應(yīng)用還是掃個碼就看前者可以接受裝App、接受權(quán)限彈窗、接受請緩慢移動設(shè)備的引導(dǎo)流程后者不行用戶從掃碼到看到內(nèi)容如果超過五秒流失率會非常難看。這個判斷直接決定你是做原生應(yīng)用還是做WebAR。第三個問題你的目標(biāo)設(shè)備清單里最老的那臺是什么這一條最容易被忽略。AR應(yīng)用不是開發(fā)機跑得動就行你要考慮用戶手里那臺用了三年的中端機。平面檢測在低端機上的表現(xiàn)是平面識別慢、物體漂移明顯、發(fā)熱嚴重。如果你的用戶群設(shè)備跨度大要么降低效果預(yù)期要么在應(yīng)用里做能力檢測和降級。提示能力檢測不是可選項。上線前一定要在代碼里判斷當(dāng)前設(shè)備是否支持AR會話不支持時給出明確提示而不是讓用戶對著黑屏發(fā)呆。1.3 為什么我建議小白從平面檢測起步雖然圖像跟蹤技術(shù)門檻更低、更容易一次跑通但我仍然建議零基礎(chǔ)的人從平面檢測開始練手理由不是它簡單而是它把AR開發(fā)里最核心的幾個概念一次性暴露給你會話Session、跟蹤對象Trackable、錨點Anchor、姿態(tài)Pose、射線檢測Raycast。這幾個概念在面部跟蹤、圖像跟蹤里同樣存在只是名字和用法略有差異。你把這套心智模型建立起來換能力只是換API。反過來如果從圖像跟蹤入門你很可能會寫出一個能跑但完全不理解為什么能跑的Demo等到要加平面檢測的時候之前那套代碼幾乎全部要重寫。我在實際項目里見過太多這種返工。另外還有一個現(xiàn)實原因平面檢測的調(diào)試反饋最直觀。物體放上去穩(wěn)不穩(wěn)、漂不漂、跟著手機轉(zhuǎn)的時候跟不跟得住肉眼一看就知道。這對建立調(diào)試直覺非常重要。2. 開發(fā)環(huán)境搭建真正容易卡住人的三個環(huán)節(jié)環(huán)境搭建這部分網(wǎng)上的教程普遍寫得太順好像點幾下就裝好了。實際情況是零基礎(chǔ)的人在這一步花掉整個項目一半時間都很正常。我把常見的卡點歸成三類硬件與系統(tǒng)、版本對齊、工程配置。這三類問題的排查思路完全不同混在一起想會非常痛苦。2.1 硬件與系統(tǒng)那些教程里不會寫的隱性要求先說測試設(shè)備。移動端AR開發(fā)必須用真機模擬器和編輯器里的預(yù)覽都不能替代真機驗證因為攝像頭、IMU、以及底層的空間定位能力在編輯器里都是模擬的模擬數(shù)據(jù)不會告訴你平面識別到底準(zhǔn)不準(zhǔn)。這一條沒有例外。設(shè)備選擇上有個細節(jié)值得說帶深度傳感器比如飛行時間傳感器或激光雷達的機型在平面檢測的啟動速度和低光照表現(xiàn)上明顯更好因為它有額外的深度信息輔助。但你的應(yīng)用不能依賴深度傳感器因為大部分用戶手里沒有。開發(fā)階段用帶深度的機器調(diào)試會給你過于樂觀的體驗建議至少留一臺不帶深度傳感器的中端機做對照測試。系統(tǒng)版本方面Android端平面檢測能力對系統(tǒng)版本有下限要求一般要求7.0以上iOS端也有對應(yīng)的下限。這不是框架的限制是底層運行時能力的限制改代碼解決不了。所以工程里的最低系統(tǒng)版本一定要設(shè)對設(shè)低了運行時會直接失敗。還有一個隱性要求是攝像頭權(quán)限和傳感器可用性。有些設(shè)備雖然系統(tǒng)版本夠但攝像頭被其他應(yīng)用占用、或者系統(tǒng)里禁用了某些傳感器AR會話會啟動失敗。這類失敗在日志里的表現(xiàn)通常很含糊后面第4節(jié)我會給出具體的排查順序。2.2 引擎與AR框架的版本對齊這是最大的坑零基礎(chǔ)做AR最省事的組合是一個跨平臺三維引擎 一個跨平臺AR框架?？缙脚_AR框架的價值在于它把iOS和Android兩套完全不同的底層AR能力抽象成同一套接口你寫一份代碼兩端都能跑。如果不做這層抽象你得寫兩套完全不同的實現(xiàn)零基礎(chǔ)基本不可能。但跨平臺框架有個代價它和引擎版本是強綁定的?？蚣艿拿總€大版本都要求引擎在某個版本區(qū)間內(nèi)裝錯了就是一堆編譯錯誤或者運行時找不到接口。我見過最多的場景是跟著一個兩年前的教程做教程里的框架版本和老引擎配套而你裝了最新引擎結(jié)果組件名字都變了教程里的步驟根本對不上。下面這張表是我整理出的常見配套關(guān)系做項目時可以直接對照具體小版本號以官方發(fā)布說明為準(zhǔn)這里給的是大方向引擎版本線配套AR框架大版本需要特別注意的地方2021.3 LTS5.x教程資料最多組件命名是舊的一套2022.3 LTS5.x 或 6.x6.x 在該版本線上支持有限保守選5.x2023.2 及以上6.x核心組件已改名老教程全部對不上這張表里最值得盯的是最后一行的那句核心組件已改名。在框架5.0之后原來那個負責(zé)管理AR相機和設(shè)備姿態(tài)的組件舊名是 ARSessionOrigin被替換成了新的命名XR Origin結(jié)構(gòu)調(diào)整過。這意味著你從網(wǎng)上找到的任何一篇2021年前后的教程里面讓你新建一個ARSessionOrigin的步驟在新版本里是找不到的。這不是你操作錯了是版本變了。提示安裝框架時優(yōu)先用引擎自帶的包管理器安裝別手動往工程里拖壓縮包。手動拖入的包不會參與依賴解析后續(xù)升級或卸載會留下大量孤立文件報錯信息還特別難讀。2.3 一個最小工程的必開配置清單環(huán)境裝好之后新建工程接下來的配置項是決定能不能跑起來的關(guān)鍵。我把它們列成清單逐條核對不要跳。第一組包與插件。在包管理器里裝好AR框架本體。然后打開工程設(shè)置里的XR插件管理XR Plug-in Management在對應(yīng)平臺頁簽下勾選AR插件。這一步漏掉的表現(xiàn)是場景里一切正常打包出去一片黑日志里提示沒有可用的AR提供方。這個坑幾乎每個新手都會踩一次。第二組渲染管線。用內(nèi)置渲染管線還是通用渲染管線URP會影響AR相機背景畫面的顯示方式。用URP的話需要額外處理相機背景否則會出現(xiàn)虛擬物體正常但看不到真實世界的現(xiàn)象。零基礎(chǔ)階段如果只是想跑通用內(nèi)置管線最省事如果要做正式項目建議一開始就上URP因為后面做后處理和性能優(yōu)化會方便很多晚改的成本更高。第三組平臺設(shè)置。Android端要把腳本后端切到IL2CPP、目標(biāo)架構(gòu)勾選ARM64、最低API等級設(shè)到AR能力要求的版本之上。iOS端要在打包設(shè)置里填好相機權(quán)限的用途說明否則應(yīng)用一啟動請求相機權(quán)限就會直接崩。這兩條都是硬性的缺一個都跑不起來。第四組場景結(jié)構(gòu)。一個能跑的最小場景里必須有四樣?xùn)|西會話組件負責(zé)啟動和停止AR會話、相機管理組件負責(zé)把虛擬相機和真實設(shè)備姿態(tài)對齊、平面管理組件負責(zé)接收并管理檢測到的平面、以及一個用來接收點擊的邏輯腳本。這四樣缺一個要么沒畫面要么點不動。配置完這四組先別急著做交互直接打包到真機跑一次。這一步的目的不是看效果是驗證環(huán)境通了。如果此時能看到真實世界的畫面哪怕什么都沒有說明相機鏈路、權(quán)限、插件全部正常后面出問題就可以排除掉一大片范圍。這個先驗證最小閉環(huán)的習(xí)慣能幫你省掉大量時間。3. 第一個能跑通的Demo從平面檢測到物體落位環(huán)境通了之后我們來做真正的功能。這一節(jié)我會把為什么這么寫講清楚因為平面檢測這塊有太多人抄了代碼但完全不知道自己在抄什么一旦效果不對就無從下手。3.1 平面檢測到底在做什么很多人以為平面檢測是識別出桌子這個物體。不是的。它的實際過程大致是三步。第一步從攝像頭畫面里提取特征點。特征是畫面中那些有明顯紋理差異的角點、邊緣交匯處比如桌角的木紋、地磚的縫隙。純白的墻面幾乎沒有特征點所以你在白墻前面怎么晃都識別不出平面這不是bug。第二步靠特征點在連續(xù)幀之間的位移結(jié)合設(shè)備的加速度計和陀螺儀數(shù)據(jù)反推出相機自身在空間中的運動軌跡。這一步就是SLAM里的定位部分也是為什么框架會反復(fù)提示你緩慢移動設(shè)備——移動太慢特征點位移不明顯移動太快特征點匹配不上都會導(dǎo)致跟蹤丟失。第三步把積累下來的三維特征點做平面擬合找出那些近似共面的大片區(qū)域輸出成平面對象附帶位置、朝向、邊界多邊形和尺寸。理解這三步之后很多玄學(xué)問題就有解釋了為什么識別慢因為特征點積累需要時間。為什么在純色桌面上一放就漂因為特征點太少位置估計不穩(wěn)。為什么光照太暗效果差因為特征點提取依賴圖像對比度。3.2 射線檢測與錨點物體為什么能釘在地上平面檢測出來之后用戶點屏幕我們需要知道他點的是空間里的哪個位置。做法是從屏幕點擊位置發(fā)一條射線穿過AR相機和已經(jīng)檢測到的平面求交交點就是目標(biāo)位置。這就是射線檢測。但只在交點位置實例化一個物體是不夠的。你會發(fā)現(xiàn)物體放上去之后隨著你走動它會慢慢偏移走得越遠偏得越多。原因是每幀的空間定位都有微小誤差誤差會累積。解決方式是給物體掛一個錨點錨點告訴系統(tǒng)這個虛擬物體和現(xiàn)實世界里的這塊區(qū)域是綁定的請你在每次重新定位時把它一起修正。有了錨點物體就會跟著平面的位姿更新而更新穩(wěn)定性會好很多。下面這段是放置邏輯的核心實現(xiàn)基于跨平臺AR框架的常見API你可以直接對照自己的版本改using System.Collections.Generic; using UnityEngine; using UnityEngine.XR.ARFoundation; using UnityEngine.XR.ARSubsystems; using UnityEngine.EventSystems; public class PlaceOnPlane : MonoBehaviour { public GameObject prefab; private ARRaycastManager raycastManager; private ARAnchorManager anchorManager; private readonly ListARRaycastHit hits new ListARRaycastHit(); void Awake() { raycastManager GetComponentARRaycastManager(); anchorManager GetComponentARAnchorManager(); } void Update() { if (Input.touchCount 0) return; Touch touch Input.GetTouch(0); if (touch.phase ! TouchPhase.Began) return; // 點在UI上時不要觸發(fā)放置否則按鈕和放置會同時響應(yīng) if (EventSystem.current ! null EventSystem.current.IsPointerOverGameObject(touch.fingerId)) return; // 只和平面多邊形內(nèi)部求交避免打到平面邊緣外側(cè) if (!raycastManager.Raycast(touch.position, hits, TrackableType.PlaneWithinPolygon)) return; ARRaycastHit hit hits[0]; ARPlane plane hit.trackable as ARPlane; if (plane null) return; // 關(guān)鍵一步把物體掛到錨點上而不是直接放在世界坐標(biāo) ARAnchor anchor anchorManager.AttachAnchor(plane, hit.pose); if (anchor null) return; Instantiate(prefab, anchor.transform.position, anchor.transform.rotation, anchor.transform); } }這段代碼里有三個地方值得單獨說。第一個是TrackableType.PlaneWithinPolygon這個過濾條件。如果不加過濾射線可能打到平面的無限延伸面上也就是打到桌子邊緣外面懸空的空氣里用戶會覺得我明明點在桌子外面怎么東西飄在半空。加上這個條件只有真正落在已識別平面多邊形內(nèi)部才算命中。第二個是UI穿透判斷。沒有這段判斷你在屏幕上放一個重置按鈕點按鈕的同時也會在地上放一個物體。這是新手最常見的體驗問題而且很難自己想明白原因。第三個是AttachAnchor的返回值必須判空。在某些情況下比如平面剛被系統(tǒng)合并或移除錨點創(chuàng)建會失敗。不判空直接使用會得到一個空引用異常而這個異常在真機上往往表現(xiàn)為偶爾點一下沒反應(yīng)或者應(yīng)用直接閃退非常難查。3.3 交互層縮放、旋轉(zhuǎn)與選中反饋物體放上去之后如果只能看不能動體驗會很怪?；A(chǔ)的交互我建議就做三個單指拖動移動、雙指捏合縮放、雙指旋轉(zhuǎn)。實現(xiàn)思路上有個簡單可靠的做法單指拖動時不要直接改物體的世界坐標(biāo)而是重新做一次射線檢測把物體移動到新的交點位置。這樣物體永遠貼在平面上不會出現(xiàn)拖到半空的情況。雙指縮放則取兩指間距離的變化比例直接乘到物體的縮放上同時做一次上下限鉗制避免縮到看不見或者大到穿模?？s放這里有個容易忽略的問題縮放比例要以物體的初始尺寸為基準(zhǔn)而不是每幀累乘。累乘的寫法在手指移動快的時候會失控因為觸摸采樣和渲染幀率不同步。正確做法是記錄手勢開始時的初始縮放值每幀用初始值 × 當(dāng)前距離 / 起始距離來賦值。選中反饋也值得花十分鐘做一下。最簡單的方式是選中時給物體加一個描邊或者換一個材質(zhì)顏色同時把之前選中的物體恢復(fù)。別小看這個沒有選中反饋的AR應(yīng)用用戶完全不知道自己操作的是哪一個物體。4. 真機調(diào)試階段的典型故障與排查鏈路這一節(jié)是我認為整篇內(nèi)容里最有價值的部分。前面所有步驟照著做大概率能過但真機調(diào)試階段的問題千奇百怪而且網(wǎng)上的答案往往互相矛盾。我的建議是按鏈路順序排查不要憑感覺猜。4.1 打包后黑屏或攝像頭無畫面一條固定的排查順序黑屏是最高頻的問題。我按從外到內(nèi)的順序排前面的排除了再往后走這樣不會亂。第一層權(quán)限。應(yīng)用啟動時有沒有彈出相機權(quán)限請求如果沒有彈窗說明權(quán)限聲明沒配對。Android端要檢查清單文件里的相機權(quán)限聲明是否被自動注入iOS端要檢查打包設(shè)置里的相機用途說明是否填寫。權(quán)限聲明缺失的表現(xiàn)就是啟動后立刻失敗不會有任何畫面。第二層AR插件是否啟用。打開工程設(shè)置里的XR插件管理確認當(dāng)前目標(biāo)平臺對應(yīng)的AR插件處于勾選狀態(tài)。注意這里是按平臺分別配置的你在Android頁簽勾了切到iOS頁簽還得再勾一次。切平臺后忘記重新勾選是昨天還好好的今天就不行了的經(jīng)典原因。第三層最低版本與架構(gòu)。Android的最低API等級如果低于AR能力要求AR會話會創(chuàng)建失敗。目標(biāo)架構(gòu)如果只勾了32位某些依賴庫會加載失敗。這兩個都在打包設(shè)置里一次配好不用再動。第四層場景里的會話組件是否被禁用。有時候為了調(diào)試其他功能把會話組件臨時關(guān)掉了忘了打開。表現(xiàn)就是有相機畫面但沒有AR跟蹤。第五層渲染管線配置。如果用的是URP檢查AR相機背景的渲染方式是否配置正確。配置錯誤的表現(xiàn)比較特殊能看到虛擬物體但背景是純色而不是真實畫面。這五層里前兩層能解決八成以上的黑屏問題。如果五層都排除了還是黑屏去看真機日志日志里通常會明確寫出沒有可用的AR提供方或者會話創(chuàng)建失敗這類關(guān)鍵詞直接搜這幾個詞比逐行看日志效率高得多。4.2 平面識別慢、物體漂移成因不同解法也不同這兩個現(xiàn)象經(jīng)常被混為一談但成因完全不同。識別慢指的是對著桌面晃了半天還不出平面。常見原因有三個環(huán)境太暗或太亮導(dǎo)致特征點提取困難桌面是純色或反光材質(zhì)玻璃桌面是重災(zāi)區(qū)因為反光和透明都會破壞特征匹配設(shè)備移動方式不對要么太快要么太慢。前兩個只能換環(huán)境第三個可以在界面上加引導(dǎo)——用一個動畫提示用戶緩慢平移設(shè)備這個小小的引導(dǎo)能顯著提升首次使用成功率成本幾乎為零。還有一個容易忽略的原因是平面管理組件的檢測模式設(shè)置。有些模式會主動合并相鄰平面合并過程需要更多觀測數(shù)據(jù)表現(xiàn)就是平面出來得晚。如果你追求快速反饋可以調(diào)成更激進的檢測模式代價是平面邊界可能不夠精確。物體漂移指的是物體放上去之后會慢慢移動、或者跟著視角變化游走。這個問題的成因通常不在平面檢測而在錨點沒有被正確使用。很多Demo代碼直接在世界坐標(biāo)實例化物體省掉了錨點那一步在小空間里短時間看不出問題一旦走動起來就原形畢露。檢查方式很簡單把物體實例化成錨點的子物體看漂移是否明顯改善。如果用了錨點還是漂那就要看平面本身是不是穩(wěn)定。平面在被系統(tǒng)重新識別、合并、分割的時候位姿會更新掛在上面錨點的物體自然跟著動。這個現(xiàn)象在小尺寸平面上尤其明顯比如一張A4紙大小的區(qū)域因為小平面觀測數(shù)據(jù)少位姿估計不穩(wěn)定。解決辦法是引導(dǎo)用戶掃描更大面積或者等平面穩(wěn)定幾秒后再允許放置。4.3 兩端表現(xiàn)不一致從我這兒好好的到可控跨平臺開發(fā)里最消耗耐心的一類問題是同一份代碼一端正常一端異常。我遇到過幾種典型情況列出來供你對照?，F(xiàn)象常見原因處理方向一端能識別平面另一端完全沒反應(yīng)目標(biāo)平臺的AR插件未啟用或系統(tǒng)版本低于要求檢查該平臺的插件勾選與最低版本設(shè)置一端物體貼地另一端懸空或陷進地面兩端對平面朝向的約定不同代碼里沒做歸一化檢查放置時的旋轉(zhuǎn)處理別寫死某個固定朝向一端流暢另一端卡頓掉幀兩端渲染配置或紋理壓縮格式差異統(tǒng)一渲染管線配置紋理按平臺選壓縮格式一端手勢靈敏另一端遲鈍觸摸事件坐標(biāo)系或屏幕DPI處理不同手勢閾值用屏幕比例計算不要用固定像素值最后一行那條特別值得說。我見過一個項目縮放的手勢閾值寫的是固定像素距離結(jié)果在高分辨率設(shè)備上手感極好在低分辨率設(shè)備上要手指張很大才開始縮放。正確的做法是把閾值和屏幕尺寸掛鉤比如用屏幕短邊的百分比作為閾值單位。提示跨端問題最有效的排查手段是在同一時刻、同一環(huán)境下、兩臺設(shè)備并排跑。分別跑的時候你會懷疑是不是環(huán)境光線變了并排跑能立刻排除掉這個變量。5. 從能跑的Demo到敢給人用的應(yīng)用Demo能跑和能交給別人用中間隔著的距離比想象中大。這一節(jié)講三件我認為最關(guān)鍵的事光照、性能、內(nèi)容資產(chǎn)。5.1 光照估計虛擬物體落地的關(guān)鍵虛擬物體漂不漂亮是一回事像不像真的在場景里是另一回事。決定像不像的第一因素不是模型精度是光照匹配。AR框架一般提供光照估計能力從攝像頭畫面里估計出環(huán)境光的亮度和色溫然后你去調(diào)整場景里主光源的強度和顏色去匹配它。啟用之后的效果差異非常明顯——虛擬物體不再是一個亮度和環(huán)境脫節(jié)的貼紙而是會隨著真實環(huán)境變暗、變暖。更進階的一步是環(huán)境探針Environment Probe和實時反射。它能讓虛擬物體表面的高光反射出周圍環(huán)境的顏色這個在金屬材質(zhì)和玻璃材質(zhì)上效果拔群。但如果你的目標(biāo)設(shè)備跨度大我建議做成可開關(guān)的選項因為它對性能有一定要求。還有陰影。真實物體是投影的沒有陰影的虛擬物體看起來永遠是浮在地上的。移動端的實時陰影開銷不小一個性價比很高的折中方案是用一張預(yù)先烘焙的圓形軟陰影貼圖貼在物體正下方的平面上。它不精確但視覺心理上足以讓物體站住幾乎零開銷。等性能有余量了再換真陰影。5.2 移動端性能預(yù)算怎么定性能這塊我給一個我常用的預(yù)算表按中端機的目標(biāo)來你可以對著自己的設(shè)備調(diào)整。項目建議預(yù)算說明目標(biāo)幀率穩(wěn)定30幀優(yōu)先掉幀會讓跟蹤抖動比畫質(zhì)低更影響體驗單場景三角面總數(shù)控制在10萬以內(nèi)模型堆到幾十萬面在手機上必然卡同屏繪制調(diào)用數(shù)盡量少于100用材質(zhì)合批和貼圖集來壓紋理單邊尺寸不超過2048移動端再大收益很小內(nèi)存卻漲得厲害實時陰影光源數(shù)最多1個多個實時陰影光源在移動端基本不可接受后處理謹慎啟用抗鋸齒優(yōu)先其他效果按需這張表里最容易超標(biāo)的是繪制調(diào)用數(shù)。零基礎(chǔ)的人做AR習(xí)慣一個物體一個材質(zhì)場景里放十幾個模型繪制調(diào)用就炸了。壓制的辦法是盡量共用材質(zhì)、把多張小圖合到一張貼圖集里、靜態(tài)的裝飾物合并成一個網(wǎng)格。這些操作在引擎里都有現(xiàn)成工具花半天學(xué)一下收益很大。另外還有一個AR特有的性能陷阱平面可視化對象本身的開銷。為了讓用戶看到我識別到平面了大家都會給平面加一個半透明的可視化網(wǎng)格。檢測到的平面越多這些網(wǎng)格就越多開銷會悄悄漲上去。建議做成一個掃描時顯示、放置后自動隱藏的邏輯既省性能又讓畫面更干凈。5.3 模型資產(chǎn)的來源與瘦身零基礎(chǔ)的人最容易在模型上下載一堆高精度資源導(dǎo)進引擎之后幀率斷崖式下跌。移動端AR的模型我的經(jīng)驗標(biāo)準(zhǔn)是單個物體的三角面盡量控制在幾萬以內(nèi)紋理用壓縮格式動畫盡量用骨骼動畫而不是逐幀。模型來源有幾個方向一是自己用建模軟件做學(xué)習(xí)成本高但可控二是用程序化生成的幾何體方塊、圓柱這類先驗證功能功能性Demo完全不需要精細模型三是使用開放授權(quán)的模型資源注意看清授權(quán)范圍特別是商用場景。不管從哪里來導(dǎo)入后都要做一遍瘦身刪掉看不見的內(nèi)部結(jié)構(gòu)、合并同材質(zhì)部件、降低紋理分辨率、烘焙掉不需要的實時光照。還有一個常被忽略的點是默認姿態(tài)。不同來源的模型坐標(biāo)系朝向和縮放單位各不相同導(dǎo)入后常常出現(xiàn)物體躺著、或者尺寸像一棟樓。建議在代碼里做一層歸一化讀取模型的包圍盒按目標(biāo)真實尺寸自動縮放這樣換模型不用改代碼。6. 走通第一個Demo之后接下來練什么跑通平面放置之后很多人會陷入下一步做什么的迷茫。我給一個簡單的練手順序從易到難每一步都能獨立成為一個小作品。第一步做圖像跟蹤。找一張有豐富紋理的圖別用純色別用大面積重復(fù)圖案預(yù)先處理成識別庫運行時識別到就在圖上疊一個內(nèi)容。這一步能讓你理解識別庫和實時匹配的關(guān)系工作量不大但效果很直觀。第二步做多物體管理與狀態(tài)持久化。在一個場景里放置多個物體能選中、能刪除、能拖動并且退出應(yīng)用再進能恢復(fù)之前放的東西。這一步會逼你處理數(shù)據(jù)結(jié)構(gòu)和序列化是Demo到應(yīng)用的必經(jīng)之路。第三步做一次完整的用戶引導(dǎo)流程。包括啟動時檢測設(shè)備是否支持AR、提示用戶移動設(shè)備掃描環(huán)境、檢測到平面后提示可以放置、跟蹤丟失時提示恢復(fù)。這套引導(dǎo)看起來是體驗設(shè)計實際上它對成功率的提升比任何算法優(yōu)化都大因為AR應(yīng)用的失敗大多發(fā)生在最初的十秒。第四步嘗試加一個輕量的服務(wù)端能力。比如讓兩個設(shè)備看到同一個虛擬物體擺在同一位置多人共享空間錨點或者把放置結(jié)果保存下來同步到另一個設(shè)備。這一步會引入網(wǎng)絡(luò)同步和坐標(biāo)系對齊的問題難度明顯上一個臺階但做完之后你對AR的理解會完全不一樣。最后分享一個我在實際操作中體會到的小技巧每加一個新功能都先在只有幾何體的極簡場景里驗證驗證通過再往正式場景里搬。AR的調(diào)試鏈路很長編輯器、打包、真機、環(huán)境光線在復(fù)雜場景里排查一個新功能的問題你會同時面對十幾個變量。用幾何體搭一個實驗室場景能讓你把變量一個個摘出來。這個習(xí)慣我保持了幾年每次都能省下大量時間。