戰(zhàn))
m4s 這個(gè)后綴絕大多數(shù)前端同學(xué)第一次撞見都是在瀏覽器開發(fā)者工具的網(wǎng)絡(luò)面板里一堆按序號(hào)排列、大小幾百 KB 到幾 MB 不等、Content-Type 寫著video/iso.segment或application/octet-stream的請(qǐng)求。它們既不是普通的 mp4也不是 ts單獨(dú)拿一個(gè)出來雙擊打不開播放器直接報(bào)錯(cuò)。這套下載與合并方案就是圍繞這種分片格式展開的搞清楚 m4s 到底是什么、為什么視頻網(wǎng)站要把一個(gè)完整視頻剁成幾百塊、怎么按正確順序把音軌和視頻軌分別拉下來、最后用 FFmpeg 拼成一個(gè)能正常播放的 mp4。它解決的是“素材到手是一堆碎片沒法直接用”的問題適合三類人看想給自己有權(quán)限的公開課、自己上傳的內(nèi)容做離線備份的普通用戶需要研究流媒體協(xié)議、想在自己項(xiàng)目里實(shí)現(xiàn)類似分片播放的前端或后端開發(fā)者以及做音視頻處理、經(jīng)常要處理 fMP4 素材的同學(xué)。整個(gè)方案不依賴任何特殊工具核心就是瀏覽器加一個(gè)幾十行的腳本加一條 FFmpeg 命令。1. 先搞清楚 m4s 到底是什么東西1.1 為什么播放器熱衷于把一個(gè)視頻拆成幾百個(gè)小文件很多人第一次看到幾十上百個(gè)分片請(qǐng)求第一反應(yīng)是“這網(wǎng)站有病吧直接給一個(gè)文件不好嗎”。實(shí)際上拆片是流媒體播放的必然選擇背后有幾層很實(shí)在的工程理由。第一層是按需加載。一個(gè) 40 分鐘的視頻完整文件可能是 1.5 GB但用戶大概率看不到第 12 分鐘就劃走了。如果一次性下發(fā)整個(gè)文件絕大部分流量是浪費(fèi)的。拆成 5 秒到 10 秒一片之后播放器只要往下要用戶即將看到的那幾片首幀時(shí)間能壓到幾百毫秒。第二層是自適應(yīng)碼率。同一路視頻網(wǎng)站通常會(huì)準(zhǔn)備 360P、480P、720P、1080P 甚至更高的多個(gè)版本每個(gè)版本各自切分片。網(wǎng)絡(luò)好的時(shí)候播放器要高清分片進(jìn)電梯信號(hào)掉下來就切到低清分片的同一時(shí)間點(diǎn)繼續(xù)播用戶幾乎無感。這個(gè)“切”的動(dòng)作前提就是內(nèi)容被切成了對(duì)齊的、可替換的片段。第三層是CDN 緩存效率。千兆大文件在邊緣節(jié)點(diǎn)上命中率很難做因?yàn)橛脩粽?qǐng)求的字節(jié)范圍各不相同而固定大小的分片天然適合緩存邊緣節(jié)點(diǎn)緩存命中率能拉到很高。第四層是斷點(diǎn)續(xù)傳和容錯(cuò)。中間某一片網(wǎng)絡(luò)抖動(dòng)失敗了重試那一片就行代價(jià)幾 MB 而不是幾百 MB。所以你在網(wǎng)絡(luò)面板看到的“碎片”不是網(wǎng)站偷懶而是 DASH 這套流媒體協(xié)議大部分視頻網(wǎng)站用的是它或者與其思路一致的方案的正常工作形態(tài)。理解這一點(diǎn)之后你的抓取思路就順了你要做的不是“找到那個(gè)大文件”而是“把這堆分片按順序收齊”。提示m4s 只是一個(gè)后綴習(xí)慣它本質(zhì)上是 fMP4fragmented MP4的媒體分片。有些站點(diǎn)會(huì)把它寫成.mp4、.m4f、.cmfv甚至有站點(diǎn)干脆不帶擴(kuò)展名判斷依據(jù)要看響應(yīng)頭和文件頭不是看后綴。1.2 init 分片與 media 分片一個(gè)管說明書一個(gè)管數(shù)據(jù)拆包之后你會(huì)發(fā)現(xiàn)視頻軌的請(qǐng)求序列里第一個(gè)永遠(yuǎn)是那個(gè)只有幾 KB 的小文件后面的才是幾百 KB 到幾 MB 的大文件。這個(gè)小文件就是init 分片初始化分片后面的是media 分片媒體分片。用生活中的類比我更喜歡這么解釋init 分片像是一份樂譜的“曲譜說明頁”它告訴你這首曲子有幾個(gè)聲部、每個(gè)聲部用什么樂器、節(jié)拍是多少、小節(jié)怎么劃media 分片則是真正的一頁頁音符。你把后面的音符頁全拿到了但沒有前面的說明頁演奏者不知道該怎么解讀這些音符于是播放器直接報(bào)錯(cuò)。這就是為什么單拎一個(gè) media 分片出來雙擊打不開——它缺了“說明書”。從 ISO BMFFMP4 的容器規(guī)范的盒子結(jié)構(gòu)看這個(gè)區(qū)別非常具體init 分片里包含ftyp文件類型聲明 brand比如iso6、dash和moovmovie box。moov下面掛著traktrak里的mdia/minf/stbl中有stsdstsd里就是那個(gè)關(guān)鍵的編碼描述比如avc1盒子里面帶著 SPS/PPS。還有mvex它聲明“這是一個(gè)分片文件后面每個(gè)片段自己帶自己的元信息”。media 分片里則是moofmovie fragment box加mdatmedia data box的重復(fù)組合。moof里有mfhd分片序號(hào)、traftrack fragmenttraf下的tfhd說明這屬于哪個(gè) tracktfdt給出這一段在整條時(shí)間軸上的解碼起始時(shí)間base media decode time單位是 timescaletrun則記錄這一片里有多少個(gè) sample、每個(gè) sample 的時(shí)長(zhǎng)和大小。mdat就是真正的壓縮數(shù)據(jù)流。tfdt這個(gè)盒子值得單獨(dú)拎出來說因?yàn)樗呛竺媾挪橐舢嫴煌降牡谝滑F(xiàn)場(chǎng)。它記錄的是一個(gè)絕對(duì)時(shí)間戳如果分片下載漏了或者順序亂了這個(gè)時(shí)間戳序列就斷了合并出來的文件輕則畫面跳動(dòng)重則直接解不出來。1.3 m4s 和普通 mp4 的差別到底在哪普通 mp4 是“一次性把索引和媒體數(shù)據(jù)都給你”的結(jié)構(gòu)ftypmoov含完整的 sample tablestts、stsc、stco一個(gè)不少mdat。播放器讀完moov就知道全片的每一個(gè) sample 在文件的哪個(gè)字節(jié)可以直接 seek。fMP4 則把moov簡(jiǎn)化成了“空殼”把 sample table 分散到每個(gè)moof里。這種設(shè)計(jì)對(duì)網(wǎng)絡(luò)播放很友好邊下邊解析但對(duì)本地合并提出了一個(gè)要求你必須把 init 分片放在最前面media 分片按mfhd序號(hào)或tfdt時(shí)間戳升序排列拼接順序錯(cuò)一位就完了。還有一點(diǎn)很多人沒意識(shí)到視頻網(wǎng)站的音軌和視頻軌是完全獨(dú)立的兩條流各自有獨(dú)立的 init 分片、獨(dú)立的分片序列、獨(dú)立的編號(hào)規(guī)則。你在網(wǎng)絡(luò)面板里看到的兩組請(qǐng)求大概率一組是視頻一組是音頻它們的分片數(shù)量通常不一樣——因?yàn)橐糗壌a率低、每片時(shí)長(zhǎng)可能不同。這就是為什么必須“分別下載最后合并”而不是“下載一個(gè)帶聲音的視頻”。2. 前端視角的抓取思路從頁面到網(wǎng)絡(luò)面板2.1 頁面里那份播放描述數(shù)據(jù)是怎么到前端的站在前端開發(fā)的角度看播放器拿到播放地址的過程通常是這樣的頁面加載時(shí)服務(wù)端在 HTML 里注入一段 JSON或者播放器初始化時(shí)發(fā)一個(gè)請(qǐng)求去換取這份描述然后前端把它交給播放核心。這份描述里最關(guān)鍵的字段是 DASH 清單部分形如一個(gè)數(shù)組每一項(xiàng)代表一條可用流。每條流上你會(huì)看到這些字段baseUrl分片的基礎(chǔ)地址后面的分片號(hào)會(huì)拼上去backupUrl備用地址數(shù)組主線路不通時(shí)可以試這個(gè)initializationinit 分片的相對(duì)路徑或完整地址indexRange/segmentBase說明索引信息在文件里的字節(jié)區(qū)間codecs編碼標(biāo)識(shí)比如avc1.640032、hev1.1.6.L120.90、av01.0.08M.08bandwidth這一路的大致碼率單位 bpswidth/height分辨率mimeTypevideo/mp4或audio/mp4id軌道標(biāo)識(shí)有些站點(diǎn)的音視頻靠這個(gè)字段配對(duì)。音頻軌的字段結(jié)構(gòu)基本一致但codecs會(huì)變成mp4a.40.2AAC-LC之類。從實(shí)操角度說你不需要逆向任何加密邏輯——這些信息在你打開頁面、播放器完成初始化之后已經(jīng)存在于前端內(nèi)存或者已經(jīng)加載的腳本數(shù)據(jù)里了。你需要做的是找到它、讀懂它、按它給的地址去取分片。這也是我把它叫“前端甜點(diǎn)”的原因所有拼裝邏輯都在客戶端跑瀏覽器能拿到的你通過開發(fā)者工具也能看到?jīng)]有黑盒。注意這里討論的抓取前提是你訪問的內(nèi)容本身是公開可獲取的、或者你自己擁有訪問權(quán)限的。任何需要繞過權(quán)限校驗(yàn)的做法都不在本方案范圍內(nèi)也不該做。2.2 網(wǎng)絡(luò)面板篩選三步鎖定真正的媒體請(qǐng)求打開開發(fā)者工具的網(wǎng)絡(luò)面板先播放幾秒然后按下面的順序篩第一步按類型篩。選Media分類如果沒抓到東西就切到XHR/Fetch再不行就選All然后按 Size 倒序。大部分站點(diǎn)的分片請(qǐng)求會(huì)落在 Media 或 XHR 里。第二步按體積排序。分片請(qǐng)求的體積特征非常明顯幾百 KB 到幾 MB而且大小彼此接近同一路流的碼率穩(wěn)定。你會(huì)看到幾十上百條記錄名字里帶數(shù)字序列。這一步能過濾掉 90% 的干擾請(qǐng)求。第三步看請(qǐng)求 URL 的結(jié)構(gòu)。同一路流的分片 URL 差異通常只在最后一段數(shù)字前面的路徑完全一致。找到這個(gè)規(guī)律你就拿到了“URL 模板”后面腳本直接按模板生成就行。這里有個(gè)常見誤區(qū)有人會(huì)去抓m3u8或者清單文件然后發(fā)現(xiàn)里面全是加密的或者根本對(duì)不上。對(duì)于 DASH 方案清單信息其實(shí)已經(jīng)在播放描述數(shù)據(jù)里了不需要額外去拉。反倒是有些站點(diǎn)會(huì)把分片地址做一次重定向你需要勾上“保留日志”并允許重定向才能看到最終的真實(shí)地址。2.3 請(qǐng)求頭里的三個(gè)字段少一個(gè)就 403分片請(qǐng)求能成功靠的不只是 URL。我用下來最關(guān)鍵的是三個(gè)頭請(qǐng)求頭作用缺失后果Referer校驗(yàn)來源頁防盜鏈的第一道關(guān)直接 403或者返回一個(gè)幾百字節(jié)的錯(cuò)誤 JSONUser-Agent部分站點(diǎn)做基礎(chǔ)客戶端識(shí)別可能返回降級(jí)內(nèi)容或空響應(yīng)Range聲明需要的字節(jié)區(qū)間一般不影響但有些站點(diǎn)依賴它做分片尋址Referer是坑最多的一個(gè)。很多站點(diǎn)做了嚴(yán)格的來源校驗(yàn)?zāi)闵倭诉@個(gè)頭服務(wù)器返回的不是 403 就是一段看起來像正常響應(yīng)的錯(cuò)誤體——大小可能只有一兩百字節(jié)。如果腳本沒做校驗(yàn)?zāi)銜?huì) happily 地把它存成.m4s最后合并時(shí)報(bào)一堆“moov atom not found”。我自己的習(xí)慣是先在瀏覽器里復(fù)制一條成功的分片請(qǐng)求用curl完整復(fù)現(xiàn)一遍確認(rèn)能拿到正確大小的文件再把這套頭搬進(jìn)腳本。這一步花五分鐘能省掉后面一小時(shí)的排查。curl -H Referer: https://example.com/ \ -H User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) \ -H Range: bytes0- \ -o test.m4s \ https://example.com/media/seg-00001.m4s2.4 命名規(guī)律與排序別栽在字符串排序上分片編號(hào)的常見形式有三種純數(shù)字0、1、2……、補(bǔ)零數(shù)字00001、00002……、以及時(shí)間戳或者混合 ID。補(bǔ)零的還好純數(shù)字的如果直接按字符串排序10會(huì)排在2前面合并出來的視頻就是亂序的。我的處理方式統(tǒng)一是下載時(shí)按數(shù)字編號(hào)保存成固定寬度的文件名比如00001.m4s、00002.m4s這樣無論后面用ls、通配符還是腳本拼接順序都不會(huì)錯(cuò)。這一步看似瑣碎但它是我踩過最蠢也最費(fèi)時(shí)間的坑之一——某次合并完發(fā)現(xiàn)畫面在 8 分鐘處開始瘋狂跳幀查了半小時(shí)才意識(shí)到是排序問題。還有一種情況是分片不是從 0 或 1 開始的可能從 100 開始也可能中間有跳號(hào)缺片。所以腳本里一定要做連續(xù)性檢查拿到編號(hào)列表之后先算一遍最小值和最大值看看總數(shù)對(duì)不對(duì)缺了哪幾個(gè)心里有數(shù)再動(dòng)手。3. 下載與合并的實(shí)操流程3.1 準(zhǔn)備工作工具清單與目錄結(jié)構(gòu)整個(gè)流程需要的工具很少我把清單列清楚方便你對(duì)照準(zhǔn)備工具用途備注瀏覽器開發(fā)者工具抓分片地址、看請(qǐng)求頭、讀播放描述任何現(xiàn)代瀏覽器都可以Python 3.8跑批量下載腳本只用標(biāo)準(zhǔn)庫加requests就夠requests帶請(qǐng)求頭下載、支持流式寫入pip install requestsFFmpeg音視頻合并、格式轉(zhuǎn)封裝建議 5.0 以上版本ffprobe檢查合并結(jié)果的時(shí)長(zhǎng)、流信息隨 FFmpeg 一起裝目錄結(jié)構(gòu)我習(xí)慣這么分好處是同一個(gè)視頻的素材集中管理出問題好回溯work/ ├─ video/ │ ├─ 00000.m4s # init 分片 │ ├─ 00001.m4s │ └─ ... ├─ audio/ │ ├─ 00000.m4s # init 分片 │ ├─ 00001.m4s │ └─ ... └─ out/ └─ result.mp4注意00000.m4s這個(gè)位置專門留給 init 分片。很多腳本會(huì)把 init 也當(dāng)成普通分片編號(hào)結(jié)果合并時(shí)它排到中間去了直接導(dǎo)致文件損壞。3.2 批量拉取分片并發(fā)、重試、斷點(diǎn)續(xù)傳三件套最樸素的寫法是一個(gè)for循環(huán)串行下但幾百個(gè)分片串行跑下來非常慢而且中間任何一個(gè)網(wǎng)絡(luò)抖動(dòng)都會(huì)中斷。我用的腳本加了三個(gè)保護(hù)有限并發(fā)、指數(shù)退避重試、秒傳跳過。import os import time import requests from concurrent.futures import ThreadPoolExecutor, as_completed HEADERS { Referer: https://example.com/, User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64), Accept: */*, } URL_TMPL https://example.com/media/seg-{i:05d}.m4s def fetch_one(i, outdir, retry4): path os.path.join(outdir, f{i:05d}.m4s) # 秒傳已存在且非空就跳過 if os.path.exists(path) and os.path.getsize(path) 1024: return path, skip for attempt in range(retry): try: with requests.get(URL_TMPL.format(ii), headersHEADERS, timeout(5, 30), streamTrue) as r: r.raise_for_status() tmp path .part with open(tmp, wb) as f: for chunk in r.iter_content(chunk_size64 * 1024): if chunk: f.write(chunk) os.replace(tmp, path) return path, ok except Exception as e: if attempt retry - 1: raise RuntimeError(fseg {i} failed: {e}) time.sleep(1.5 ** attempt) # 1.5s, 2.25s, 3.4s... def batch(start, end, outdir, workers6): os.makedirs(outdir, exist_okTrue) with ThreadPoolExecutor(max_workersworkers) as pool: futures {pool.submit(fetch_one, i, outdir): i for i in range(start, end)} for fut in as_completed(futures): i futures[fut] try: path, status fut.result() print(f[{status}] {i} - {path}) except Exception as e: print(f[FAIL] {i}: {e}) if __name__ __main__: batch(1, 241, ./video, workers6)幾個(gè)參數(shù)的選擇理由我展開說一下并發(fā)數(shù)為什么是 6 而不是 20。這類 CDN 通常對(duì)單 IP 有隱性的速率限制并發(fā)太高反而會(huì)觸發(fā)限速表現(xiàn)是后半程每個(gè)請(qǐng)求都被拖到十幾秒。4 到 8 之間是比較穩(wěn)的區(qū)間實(shí)測(cè) 6 并發(fā)比 20 并發(fā)整體耗時(shí)更短。我試過 16 并發(fā)下一個(gè) 200 片的視頻前 60 片很順后面全部超時(shí)重試總體反而慢了一倍。重試為什么要退避。立即重試大概率撞上同一個(gè)問題。1.5 ** attempt的間隔是 1.5 秒、2.25 秒、3.4 秒足夠讓服務(wù)端的瞬時(shí)壓力緩過來。如果四次都失敗那就是地址或者請(qǐng)求頭的問題再重試沒意義了該停下來查。為什么要寫.part臨時(shí)文件再os.replace。這是防止下載中途中斷留下半截文件。下次跑腳本時(shí).part文件不會(huì)被認(rèn)為是“已完成的分片”而完整的文件才會(huì)被跳過。這個(gè)細(xì)節(jié)在幾百個(gè)分片的場(chǎng)景里能省掉大量重復(fù)勞動(dòng)。超時(shí)為什么拆成兩個(gè)數(shù)。timeout(5, 30)表示連接超時(shí) 5 秒、讀取超時(shí) 30 秒。連接建立快說明服務(wù)器在讀取給足時(shí)間是因?yàn)閱纹赡軒?MB慢網(wǎng)絡(luò)下需要緩沖。3.3 下載完先別急著合并三步校驗(yàn)分片下完之后直接合并是把運(yùn)氣當(dāng)能力。我固定做三步校驗(yàn)?zāi)軘r下絕大部分問題。第一步數(shù)量對(duì)賬。拿到的最小分片號(hào)和最大分片號(hào)之間文件數(shù)是否等于max - min 1。缺片是合并后畫面跳段的最常見原因。第二步體積異常檢查。正常分片的大小分布是相對(duì)集中的。寫幾行腳本算出中位數(shù)把小于中位數(shù) 10% 的文件挑出來——這些大概率是錯(cuò)誤響應(yīng)體。我遇到過服務(wù)端在限流時(shí)返回一個(gè) 200 狀態(tài)的 JSON 錯(cuò)誤大小 187 字節(jié)如果不檢查它會(huì)安靜地混進(jìn)分片序列。import os, statistics files sorted(os.listdir(./video)) sizes [os.path.getsize(os.path.join(./video, f)) for f in files if f.endswith(.m4s)] med statistics.median(sizes) suspicious [f for f in files if os.path.getsize(os.path.join(./video, f)) med * 0.1] print(中位數(shù):, med, 可疑:, suspicious)第三步文件頭魔數(shù)檢查。用 Python 讀每個(gè)文件的前 16 個(gè)字節(jié)正常的分片開頭應(yīng)該是ftyp、moof、styp或者sidx這幾個(gè)盒子名。讀到{開頭的那是個(gè) JSON讀到!DO開頭的那是 HTML 錯(cuò)誤頁。這一步能百分之百確認(rèn)文件是不是真的媒體數(shù)據(jù)。with open(path, rb) as f: head f.read(16) box head[4:8].decode(latin-1) assert box in (ftyp, moof, styp, sidx), f{path} 不是有效分片: {head!r}提示這三步加起來不到兩分鐘但它把“合并后才發(fā)現(xiàn)問題”的返工成本從半小時(shí)壓到了兩分鐘。養(yǎng)成習(xí)慣之后你會(huì)發(fā)現(xiàn)自己幾乎不再需要debug合并結(jié)果。3.4 音視頻合并FFmpeg 命令逐條拆解兩個(gè)方向的素材都下好了最后一步是合成。最常用的命令是這一條ffmpeg -i video/merged_video.m4s \ -i audio/merged_audio.m4s \ -map 0:v:0 -map 1:a:0 \ -c copy \ -movflags faststart \ out/result.mp4我逐段解釋這些參數(shù)因?yàn)槊恳粭l都是有理由的不是抄來的-i兩個(gè)輸入視頻在前音頻在后。順序重要因?yàn)楹竺?map要靠索引引用。-map 0:v:0 -map 1:a:0明確指定“取第 0 個(gè)輸入的第一個(gè)視頻流”和“取第 1 個(gè)輸入的第一個(gè)音頻流”。不寫-map的時(shí)候 FFmpeg 會(huì)走默認(rèn)流選擇大多數(shù)情況沒問題但如果分片里混進(jìn)了字幕軌或者多余的音軌默認(rèn)選擇可能挑錯(cuò)。寫死是最穩(wěn)的。-c copy是核心不重新編碼只做容器層的封裝轉(zhuǎn)換。這意味著合并速度極快幾個(gè) GB 的文件也就幾十秒畫質(zhì)零損失。代價(jià)是它要求輸入和輸出容器兼容——這也是后面會(huì)講到的某些編碼格式塞進(jìn) mp4 會(huì)有麻煩。-movflags faststart把moov盒子挪到文件開頭適合邊下邊播的場(chǎng)景。本地播放其實(shí)無所謂但如果你要把文件放到網(wǎng)頁上、或者用一些對(duì)索引位置敏感的播放器這個(gè)參數(shù)能救命。還有一種情況你的分片是分開的還沒拼成一個(gè)整段的 m4s。這時(shí)候不用先拼FFmpeg 支持用 concat 協(xié)議直接把一堆文件當(dāng)輸入ffmpeg -f concat -safe 0 -i video_list.txt \ -f concat -safe 0 -i audio_list.txt \ -map 0:v:0 -map 1:a:0 -c copy out/result.mp4video_list.txt里每行一個(gè)file 00001.m4s。注意-safe 0是為了放開路徑限制因?yàn)槟J(rèn)的 concat 只允許相對(duì)路徑。這條路的好處是不產(chǎn)生中間文件省磁盤。合并完一定要用ffprobe驗(yàn)一下ffprobe -v error -show_entries formatduration,size \ -show_entries streamcodec_name,width,height,duration \ -of defaultnoprint_wrappers1 out/result.mp4重點(diǎn)看三件事視頻時(shí)長(zhǎng)和音頻時(shí)長(zhǎng)是否一致差個(gè)幾十毫秒正常差幾秒就是有問題、codec_name是不是你以為的那個(gè)、width/height對(duì)不對(duì)。這三項(xiàng)里任何一項(xiàng)不對(duì)說明前面的環(huán)節(jié)出錯(cuò)了。3.5 純二進(jìn)制拼接一條不用裝 FFmpeg 的野路子如果你的需求只是拿到一個(gè)能播的文件而且音視頻軌你打算分開存或者你只要視頻不要音頻其實(shí)可以完全不用 FFmpeg——直接把 init 分片和所有 media 分片按順序二進(jìn)制拼起來就行。cat video/00000.m4s video/00001.m4s video/00002.m4s ... out/video.mp4或者用通配符前提是你已經(jīng)補(bǔ)零命名cat video/*.m4s out/video.mp4這條路能成立是因?yàn)?fMP4 本身就是“可順序解析”的格式播放器從ftyp開始讀讀到moov拿到編碼描述之后每遇到一個(gè)moofmdat就解一段。整個(gè)文件不需要回退尋址所以簡(jiǎn)單拼接在理論上就是合法的。但它有三個(gè)明確的限制我用下來必須提醒第一cat的通配符順序依賴文件名排序必須是補(bǔ)零命名否則10排在2前面拼出來是廢的。第二這樣拼出來的文件沒有mframovie fragment random access盒子部分播放器做精確 seek 時(shí)可能不準(zhǔn)表現(xiàn)為拖動(dòng)進(jìn)度條后卡一下或者跳回。多數(shù)主流播放器能兜住但不是全部。第三也是最關(guān)鍵的這樣拼出來的文件只有視頻沒有聲音或只有聲音沒有視頻。你得單獨(dú)拼一份音頻然后要么在播放器里外掛音軌要么還是得回 FFmpeg 合并。所以我的實(shí)際做法是用cat做快速驗(yàn)證確認(rèn)分片本身沒問題、順序也對(duì)然后走 FFmpeg 做最終合并。這樣排查問題時(shí)能把“分片壞了”和“合并命令寫錯(cuò)了”這兩類原因分開定位效率高很多。4. 編碼格式與畫質(zhì)音質(zhì)的那些坑4.1 同一路視頻為什么有好幾套編碼如果你仔細(xì)看過播放描述里的codecs字段會(huì)發(fā)現(xiàn)同一個(gè)清晰度下有好幾個(gè)可選項(xiàng)。這不是冗余是為了兼容不同設(shè)備的解碼能力。常見的有三類codecs 前綴編碼特點(diǎn)適用場(chǎng)景avc1H.264 / AVC兼容性最好硬解覆蓋面最廣通用首選老設(shè)備也認(rèn)hev1/hvc1H.265 / HEVC同畫質(zhì)下體積約小 30% 到 50%移動(dòng)端、支持硬解的設(shè)備av01AV1體積更小壓縮效率最高新設(shè)備解碼開銷較大從下載角度看你要做的決策是挑哪一路。我的建議是默認(rèn)選avc1。理由很實(shí)際——合并出來的 mp4 幾乎任何播放器、任何剪輯軟件、任何系統(tǒng)自帶的預(yù)覽都能打開。選hev1的話Windows 上可能提示需要額外的解碼組件某些剪輯軟件直接不認(rèn)。選av01更麻煩不少工具鏈還沒跟上。如果你的目標(biāo)就是存檔、不在意通用性那選體積最小的那一路沒問題。但如果你后面還要轉(zhuǎn)碼、剪輯、或者發(fā)給別人avc1能省掉一堆溝通成本。還有一個(gè)細(xì)節(jié)值得注意avc1和hev1后面的那串?dāng)?shù)字是有含義的比如avc1.640032里的640032拆開是 profile、constraint、level。6400對(duì)應(yīng) High Profile32對(duì)應(yīng) Level 5.0。這不是必須掌握的但當(dāng)你發(fā)現(xiàn)某個(gè)文件播放器打不開、提示“不支持該 profile”時(shí)這串?dāng)?shù)字就是線索。4.2 音軌的差異比想象中大大多數(shù)人默認(rèn)音軌就是 AAC隨便下一路就行。實(shí)際上不少站點(diǎn)會(huì)提供多個(gè)音頻選項(xiàng)mp4a.40.2AAC-LC最標(biāo)準(zhǔn)的選擇兼容性最好碼率通常 128 kbps 到 320 kbps。mp4a.40.5HE-AAC低碼率下表現(xiàn)更好但部分老播放器支持不佳。ec-3杜比數(shù)字Dolby Digital Plus多聲道需要播放端支持。fLaC無損音頻體積大用于高保真場(chǎng)景。裝進(jìn) mp4 容器時(shí)AAC 是最省心的。ec-3一般也沒問題現(xiàn)代 FFmpeg 都支持。fLaC就麻煩了——老版本 FFmpeg 把 FLAC 塞進(jìn) mp4 會(huì)報(bào)錯(cuò)需要較新的版本或者干脆封裝成.mkvffmpeg -i video.m4s -i audio.m4s -map 0:v:0 -map 1:a:0 \ -c copy out/result.mkvMKV 容器對(duì)編碼格式的寬容度高得多什么都能裝。代價(jià)是部分設(shè)備和軟件不認(rèn) mkv需要額外轉(zhuǎn)一道。4.3 合并后音畫不同步、時(shí)長(zhǎng)不對(duì)從哪查起這是這套流程里最容易出問題、也最難一眼看出來的環(huán)節(jié)。我把它拆成幾種典型癥狀和對(duì)應(yīng)對(duì)策癥狀一合并后只有畫面沒有聲音或者反過來。通常是-map寫錯(cuò)了或者某個(gè)輸入文件其實(shí)是空的。先用ffprobe單獨(dú)看兩個(gè)輸入文件確認(rèn)各自都有流。如果音頻文件ffprobe顯示“no streams”那就是它本身壞了回到第 3.3 節(jié)的校驗(yàn)環(huán)節(jié)。癥狀二時(shí)長(zhǎng)明顯不對(duì)比如視頻 40 分鐘但文件顯示 8 分鐘。這是分片沒下全的典型表現(xiàn)。fMP4 的時(shí)長(zhǎng)由最后一個(gè)moof里的tfdt加上trun里的 sample 時(shí)長(zhǎng)推算出來缺了后面的分片時(shí)長(zhǎng)自然就短了?；仡^對(duì)賬分片數(shù)量。癥狀三音畫不同步越到后面差得越多。這種情況通常是兩路流的分片時(shí)長(zhǎng)不一致導(dǎo)致的累計(jì)誤差或者是某一路中間缺了幾片。有個(gè)應(yīng)急的處理方式是在合并時(shí)做時(shí)間偏移ffmpeg -itsoffset 0.35 -i audio.m4s -i video.m4s \ -map 1:v:0 -map 0:a:0 -c copy out/fixed.mp4-itsoffset給音頻整體延后 0.35 秒。但這只是打補(bǔ)丁正解還是把缺的分片補(bǔ)齊讓tfdt序列連續(xù)。癥狀四播放器能打開但拖進(jìn)度條就崩。大概率是走了cat拼接路線、缺mfra盒子或者分片順序錯(cuò)了。換成 FFmpeg 合一遍基本能解決。5. 常見問題速查與避坑經(jīng)驗(yàn)5.1 問題速查表下面這張表是我和身邊同學(xué)實(shí)際踩過的坑的匯總按“癥狀 → 最可能原因 → 處理方式”組織遇到問題先掃一眼能省不少時(shí)間。癥狀最可能原因處理方式請(qǐng)求返回 403缺Referer或User-Agent從瀏覽器復(fù)制完整請(qǐng)求頭復(fù)現(xiàn)下載的文件只有一兩百字節(jié)服務(wù)端返回了錯(cuò)誤 JSON被當(dāng)成正常響應(yīng)存下加體積校驗(yàn)和魔數(shù)校驗(yàn)合并報(bào)moov atom not foundinit 分片缺失或沒排在最前面確認(rèn)00000.m4s存在且順序正確合并報(bào)Invalid data found混進(jìn)了 HTML 錯(cuò)誤頁或半截文件清理.part文件重下畫面在某個(gè)時(shí)間點(diǎn)開始跳幀分片順序錯(cuò)亂或中間缺片檢查文件名是否補(bǔ)零、對(duì)賬數(shù)量只有畫面沒有聲音-map參數(shù)寫錯(cuò)顯式指定-map 0:v:0 -map 1:a:0音畫不同步兩路流分片時(shí)長(zhǎng)不一致或有一路缺片ffprobe分別查兩路時(shí)長(zhǎng)補(bǔ)齊缺片拖進(jìn)度條異常cat拼接缺索引或分片順序錯(cuò)改用 FFmpeg 合并下載到一半集體超時(shí)并發(fā)太高觸發(fā)限速把并發(fā)降到 4 到 6合并后體積異常小選錯(cuò)了低碼率的那一路流按bandwidth字段重新挑5.2 幾個(gè)容易被忽略的細(xì)節(jié)關(guān)于“備份地址”。播放描述里的backupUrl不是擺設(shè)。主地址在某些網(wǎng)絡(luò)環(huán)境下會(huì)被限速切換到備用地址往往能恢復(fù)正常速度。腳本里可以做個(gè)簡(jiǎn)單的主備切換連續(xù)三次失敗就換備用域名重試。這個(gè)改動(dòng)只有幾行但在網(wǎng)絡(luò)不穩(wěn)定的環(huán)境下體驗(yàn)差別很大。關(guān)于Range請(qǐng)求。有些站點(diǎn)的分片地址其實(shí)指向同一個(gè) URL靠Range頭切分字節(jié)區(qū)間。這種形態(tài)在網(wǎng)絡(luò)面板里看起來像“一個(gè)請(qǐng)求下了很多次”。遇到這種情況你的腳本要把每條請(qǐng)求的Range值也記錄下來不能只存 URL。關(guān)于磁盤空間。一個(gè) 1080P、40 分鐘的視頻視頻軌加音頻軌加起來可能 1.5 GB 到 3 GB。下載過程中還要額外占一份臨時(shí)文件的空間。開始之前先看一眼可用空間我吃過一次跑到 98% 卡住的虧清理起來很麻煩。關(guān)于文件名的可讀性。建議在最外層目錄帶上標(biāo)題和清晰度標(biāo)識(shí)比如某課程名_1080P_avc1/。幾百個(gè)00001.m4s散在一個(gè)叫download的目錄里過兩天你自己都不知道那是什么。注意處理音視頻素材時(shí)請(qǐng)確認(rèn)你對(duì)目標(biāo)內(nèi)容擁有合法的訪問和使用權(quán)限。方案涉及的技術(shù)手段僅適用于個(gè)人離線備份、自有內(nèi)容處理、以及公開授權(quán)素材的整理。不要用于二次分發(fā)、商業(yè)使用或任何侵犯他人權(quán)益的場(chǎng)景同時(shí)遵守所在平臺(tái)的服務(wù)條款。5.3 我在實(shí)際使用中總結(jié)的三條經(jīng)驗(yàn)第一條先跑通一個(gè)分片再跑全部。不要一上來就對(duì)著 300 個(gè)分片開跑。先手工下第一片用ffprobe或者文件頭檢查確認(rèn)它是有效的媒體數(shù)據(jù)再放到腳本里批量執(zhí)行。這個(gè)習(xí)慣能幫你把“地址錯(cuò)了”和“腳本邏輯錯(cuò)了”這兩類問題徹底分開。第二條把日志寫下來不要只 print。批量下載跑到一半崩了終端滾屏早刷沒了。把每次的序號(hào)、狀態(tài)碼、文件大小、耗時(shí)寫進(jìn)一個(gè)download.log出問題時(shí)直接grep FAIL就能定位。這個(gè)改動(dòng)五分鐘回報(bào)很高。第三條合并結(jié)果一定要驗(yàn)不要靠“看起來能播”。人的眼睛對(duì)輕微的時(shí)長(zhǎng)差異、幀率異常是不敏感的尤其是你不熟悉的素材。ffprobe輸出三行看一眼時(shí)長(zhǎng)和流信息三十秒的事但能避免你三個(gè)月后才發(fā)現(xiàn)存檔是壞的。這套流程我前后迭代了好幾版從最早的手工點(diǎn)幾百次、到串行腳本、再到現(xiàn)在的并發(fā)加校驗(yàn)最大的感受是技術(shù)難度其實(shí)不高難的是細(xì)節(jié)的完整性。每一個(gè)校驗(yàn)、每一次重試、每一個(gè)請(qǐng)求頭單看都不起眼但它們合在一起決定了你是花二十分鐘搞定還是花兩小時(shí)debug。真要說有什么訣竅就是把“驗(yàn)證”這件事前置——下之前驗(yàn)地址下完驗(yàn)文件合并前驗(yàn)數(shù)量合并后驗(yàn)結(jié)果。四道關(guān)卡擺在那里剩下的就是等進(jìn)度條了。 m4s分片下載與FFmpeg合并：fMP4流媒體視頻抓取實(shí)戰(zhàn)
m4s 這個(gè)后綴絕大多數(shù)前端同學(xué)第一次撞見都是在瀏覽器開發(fā)者工具的網(wǎng)絡(luò)面板里一堆按序號(hào)排列、大小幾百 KB 到幾 MB 不等、Content-Type 寫著video/iso.segment或application/octet-stream的請(qǐng)求。它們既不是普通的 mp4也不是 ts單獨(dú)拿一個(gè)出來雙擊打不開播放器直接報(bào)錯(cuò)。這套下載與合并方案就是圍繞這種分片格式展開的搞清楚 m4s 到底是什么、為什么視頻網(wǎng)站要把一個(gè)完整視頻剁成幾百塊、怎么按正確順序把音軌和視頻軌分別拉下來、最后用 FFmpeg 拼成一個(gè)能正常播放的 mp4。它解決的是“素材到手是一堆碎片沒法直接用”的問題適合三類人看想給自己有權(quán)限的公開課、自己上傳的內(nèi)容做離線備份的普通用戶需要研究流媒體協(xié)議、想在自己項(xiàng)目里實(shí)現(xiàn)類似分片播放的前端或后端開發(fā)者以及做音視頻處理、經(jīng)常要處理 fMP4 素材的同學(xué)。整個(gè)方案不依賴任何特殊工具核心就是瀏覽器加一個(gè)幾十行的腳本加一條 FFmpeg 命令。1. 先搞清楚 m4s 到底是什么東西1.1 為什么播放器熱衷于把一個(gè)視頻拆成幾百個(gè)小文件很多人第一次看到幾十上百個(gè)分片請(qǐng)求第一反應(yīng)是“這網(wǎng)站有病吧直接給一個(gè)文件不好嗎”。實(shí)際上拆片是流媒體播放的必然選擇背后有幾層很實(shí)在的工程理由。第一層是按需加載。一個(gè) 40 分鐘的視頻完整文件可能是 1.5 GB但用戶大概率看不到第 12 分鐘就劃走了。如果一次性下發(fā)整個(gè)文件絕大部分流量是浪費(fèi)的。拆成 5 秒到 10 秒一片之后播放器只要往下要用戶即將看到的那幾片首幀時(shí)間能壓到幾百毫秒。第二層是自適應(yīng)碼率。同一路視頻網(wǎng)站通常會(huì)準(zhǔn)備 360P、480P、720P、1080P 甚至更高的多個(gè)版本每個(gè)版本各自切分片。網(wǎng)絡(luò)好的時(shí)候播放器要高清分片進(jìn)電梯信號(hào)掉下來就切到低清分片的同一時(shí)間點(diǎn)繼續(xù)播用戶幾乎無感。這個(gè)“切”的動(dòng)作前提就是內(nèi)容被切成了對(duì)齊的、可替換的片段。第三層是CDN 緩存效率。千兆大文件在邊緣節(jié)點(diǎn)上命中率很難做因?yàn)橛脩粽?qǐng)求的字節(jié)范圍各不相同而固定大小的分片天然適合緩存邊緣節(jié)點(diǎn)緩存命中率能拉到很高。第四層是斷點(diǎn)續(xù)傳和容錯(cuò)。中間某一片網(wǎng)絡(luò)抖動(dòng)失敗了重試那一片就行代價(jià)幾 MB 而不是幾百 MB。所以你在網(wǎng)絡(luò)面板看到的“碎片”不是網(wǎng)站偷懶而是 DASH 這套流媒體協(xié)議大部分視頻網(wǎng)站用的是它或者與其思路一致的方案的正常工作形態(tài)。理解這一點(diǎn)之后你的抓取思路就順了你要做的不是“找到那個(gè)大文件”而是“把這堆分片按順序收齊”。提示m4s 只是一個(gè)后綴習(xí)慣它本質(zhì)上是 fMP4fragmented MP4的媒體分片。有些站點(diǎn)會(huì)把它寫成.mp4、.m4f、.cmfv甚至有站點(diǎn)干脆不帶擴(kuò)展名判斷依據(jù)要看響應(yīng)頭和文件頭不是看后綴。1.2 init 分片與 media 分片一個(gè)管說明書一個(gè)管數(shù)據(jù)拆包之后你會(huì)發(fā)現(xiàn)視頻軌的請(qǐng)求序列里第一個(gè)永遠(yuǎn)是那個(gè)只有幾 KB 的小文件后面的才是幾百 KB 到幾 MB 的大文件。這個(gè)小文件就是init 分片初始化分片后面的是media 分片媒體分片。用生活中的類比我更喜歡這么解釋init 分片像是一份樂譜的“曲譜說明頁”它告訴你這首曲子有幾個(gè)聲部、每個(gè)聲部用什么樂器、節(jié)拍是多少、小節(jié)怎么劃media 分片則是真正的一頁頁音符。你把后面的音符頁全拿到了但沒有前面的說明頁演奏者不知道該怎么解讀這些音符于是播放器直接報(bào)錯(cuò)。這就是為什么單拎一個(gè) media 分片出來雙擊打不開——它缺了“說明書”。從 ISO BMFFMP4 的容器規(guī)范的盒子結(jié)構(gòu)看這個(gè)區(qū)別非常具體init 分片里包含ftyp文件類型聲明 brand比如iso6、dash和moovmovie box。moov下面掛著traktrak里的mdia/minf/stbl中有stsdstsd里就是那個(gè)關(guān)鍵的編碼描述比如avc1盒子里面帶著 SPS/PPS。還有mvex它聲明“這是一個(gè)分片文件后面每個(gè)片段自己帶自己的元信息”。media 分片里則是moofmovie fragment box加mdatmedia data box的重復(fù)組合。moof里有mfhd分片序號(hào)、traftrack fragmenttraf下的tfhd說明這屬于哪個(gè) tracktfdt給出這一段在整條時(shí)間軸上的解碼起始時(shí)間base media decode time單位是 timescaletrun則記錄這一片里有多少個(gè) sample、每個(gè) sample 的時(shí)長(zhǎng)和大小。mdat就是真正的壓縮數(shù)據(jù)流。tfdt這個(gè)盒子值得單獨(dú)拎出來說因?yàn)樗呛竺媾挪橐舢嫴煌降牡谝滑F(xiàn)場(chǎng)。它記錄的是一個(gè)絕對(duì)時(shí)間戳如果分片下載漏了或者順序亂了這個(gè)時(shí)間戳序列就斷了合并出來的文件輕則畫面跳動(dòng)重則直接解不出來。1.3 m4s 和普通 mp4 的差別到底在哪普通 mp4 是“一次性把索引和媒體數(shù)據(jù)都給你”的結(jié)構(gòu)ftypmoov含完整的 sample tablestts、stsc、stco一個(gè)不少mdat。播放器讀完moov就知道全片的每一個(gè) sample 在文件的哪個(gè)字節(jié)可以直接 seek。fMP4 則把moov簡(jiǎn)化成了“空殼”把 sample table 分散到每個(gè)moof里。這種設(shè)計(jì)對(duì)網(wǎng)絡(luò)播放很友好邊下邊解析但對(duì)本地合并提出了一個(gè)要求你必須把 init 分片放在最前面media 分片按mfhd序號(hào)或tfdt時(shí)間戳升序排列拼接順序錯(cuò)一位就完了。還有一點(diǎn)很多人沒意識(shí)到視頻網(wǎng)站的音軌和視頻軌是完全獨(dú)立的兩條流各自有獨(dú)立的 init 分片、獨(dú)立的分片序列、獨(dú)立的編號(hào)規(guī)則。你在網(wǎng)絡(luò)面板里看到的兩組請(qǐng)求大概率一組是視頻一組是音頻它們的分片數(shù)量通常不一樣——因?yàn)橐糗壌a率低、每片時(shí)長(zhǎng)可能不同。這就是為什么必須“分別下載最后合并”而不是“下載一個(gè)帶聲音的視頻”。2. 前端視角的抓取思路從頁面到網(wǎng)絡(luò)面板2.1 頁面里那份播放描述數(shù)據(jù)是怎么到前端的站在前端開發(fā)的角度看播放器拿到播放地址的過程通常是這樣的頁面加載時(shí)服務(wù)端在 HTML 里注入一段 JSON或者播放器初始化時(shí)發(fā)一個(gè)請(qǐng)求去換取這份描述然后前端把它交給播放核心。這份描述里最關(guān)鍵的字段是 DASH 清單部分形如一個(gè)數(shù)組每一項(xiàng)代表一條可用流。每條流上你會(huì)看到這些字段baseUrl分片的基礎(chǔ)地址后面的分片號(hào)會(huì)拼上去backupUrl備用地址數(shù)組主線路不通時(shí)可以試這個(gè)initializationinit 分片的相對(duì)路徑或完整地址indexRange/segmentBase說明索引信息在文件里的字節(jié)區(qū)間codecs編碼標(biāo)識(shí)比如avc1.640032、hev1.1.6.L120.90、av01.0.08M.08bandwidth這一路的大致碼率單位 bpswidth/height分辨率mimeTypevideo/mp4或audio/mp4id軌道標(biāo)識(shí)有些站點(diǎn)的音視頻靠這個(gè)字段配對(duì)。音頻軌的字段結(jié)構(gòu)基本一致但codecs會(huì)變成mp4a.40.2AAC-LC之類。從實(shí)操角度說你不需要逆向任何加密邏輯——這些信息在你打開頁面、播放器完成初始化之后已經(jīng)存在于前端內(nèi)存或者已經(jīng)加載的腳本數(shù)據(jù)里了。你需要做的是找到它、讀懂它、按它給的地址去取分片。這也是我把它叫“前端甜點(diǎn)”的原因所有拼裝邏輯都在客戶端跑瀏覽器能拿到的你通過開發(fā)者工具也能看到?jīng)]有黑盒。注意這里討論的抓取前提是你訪問的內(nèi)容本身是公開可獲取的、或者你自己擁有訪問權(quán)限的。任何需要繞過權(quán)限校驗(yàn)的做法都不在本方案范圍內(nèi)也不該做。2.2 網(wǎng)絡(luò)面板篩選三步鎖定真正的媒體請(qǐng)求打開開發(fā)者工具的網(wǎng)絡(luò)面板先播放幾秒然后按下面的順序篩第一步按類型篩。選Media分類如果沒抓到東西就切到XHR/Fetch再不行就選All然后按 Size 倒序。大部分站點(diǎn)的分片請(qǐng)求會(huì)落在 Media 或 XHR 里。第二步按體積排序。分片請(qǐng)求的體積特征非常明顯幾百 KB 到幾 MB而且大小彼此接近同一路流的碼率穩(wěn)定。你會(huì)看到幾十上百條記錄名字里帶數(shù)字序列。這一步能過濾掉 90% 的干擾請(qǐng)求。第三步看請(qǐng)求 URL 的結(jié)構(gòu)。同一路流的分片 URL 差異通常只在最后一段數(shù)字前面的路徑完全一致。找到這個(gè)規(guī)律你就拿到了“URL 模板”后面腳本直接按模板生成就行。這里有個(gè)常見誤區(qū)有人會(huì)去抓m3u8或者清單文件然后發(fā)現(xiàn)里面全是加密的或者根本對(duì)不上。對(duì)于 DASH 方案清單信息其實(shí)已經(jīng)在播放描述數(shù)據(jù)里了不需要額外去拉。反倒是有些站點(diǎn)會(huì)把分片地址做一次重定向你需要勾上“保留日志”并允許重定向才能看到最終的真實(shí)地址。2.3 請(qǐng)求頭里的三個(gè)字段少一個(gè)就 403分片請(qǐng)求能成功靠的不只是 URL。我用下來最關(guān)鍵的是三個(gè)頭請(qǐng)求頭作用缺失后果Referer校驗(yàn)來源頁防盜鏈的第一道關(guān)直接 403或者返回一個(gè)幾百字節(jié)的錯(cuò)誤 JSONUser-Agent部分站點(diǎn)做基礎(chǔ)客戶端識(shí)別可能返回降級(jí)內(nèi)容或空響應(yīng)Range聲明需要的字節(jié)區(qū)間一般不影響但有些站點(diǎn)依賴它做分片尋址Referer是坑最多的一個(gè)。很多站點(diǎn)做了嚴(yán)格的來源校驗(yàn)?zāi)闵倭诉@個(gè)頭服務(wù)器返回的不是 403 就是一段看起來像正常響應(yīng)的錯(cuò)誤體——大小可能只有一兩百字節(jié)。如果腳本沒做校驗(yàn)?zāi)銜?huì) happily 地把它存成.m4s最后合并時(shí)報(bào)一堆“moov atom not found”。我自己的習(xí)慣是先在瀏覽器里復(fù)制一條成功的分片請(qǐng)求用curl完整復(fù)現(xiàn)一遍確認(rèn)能拿到正確大小的文件再把這套頭搬進(jìn)腳本。這一步花五分鐘能省掉后面一小時(shí)的排查。curl -H Referer: https://example.com/ \ -H User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) \ -H Range: bytes0- \ -o test.m4s \ https://example.com/media/seg-00001.m4s2.4 命名規(guī)律與排序別栽在字符串排序上分片編號(hào)的常見形式有三種純數(shù)字0、1、2……、補(bǔ)零數(shù)字00001、00002……、以及時(shí)間戳或者混合 ID。補(bǔ)零的還好純數(shù)字的如果直接按字符串排序10會(huì)排在2前面合并出來的視頻就是亂序的。我的處理方式統(tǒng)一是下載時(shí)按數(shù)字編號(hào)保存成固定寬度的文件名比如00001.m4s、00002.m4s這樣無論后面用ls、通配符還是腳本拼接順序都不會(huì)錯(cuò)。這一步看似瑣碎但它是我踩過最蠢也最費(fèi)時(shí)間的坑之一——某次合并完發(fā)現(xiàn)畫面在 8 分鐘處開始瘋狂跳幀查了半小時(shí)才意識(shí)到是排序問題。還有一種情況是分片不是從 0 或 1 開始的可能從 100 開始也可能中間有跳號(hào)缺片。所以腳本里一定要做連續(xù)性檢查拿到編號(hào)列表之后先算一遍最小值和最大值看看總數(shù)對(duì)不對(duì)缺了哪幾個(gè)心里有數(shù)再動(dòng)手。3. 下載與合并的實(shí)操流程3.1 準(zhǔn)備工作工具清單與目錄結(jié)構(gòu)整個(gè)流程需要的工具很少我把清單列清楚方便你對(duì)照準(zhǔn)備工具用途備注瀏覽器開發(fā)者工具抓分片地址、看請(qǐng)求頭、讀播放描述任何現(xiàn)代瀏覽器都可以Python 3.8跑批量下載腳本只用標(biāo)準(zhǔn)庫加requests就夠requests帶請(qǐng)求頭下載、支持流式寫入pip install requestsFFmpeg音視頻合并、格式轉(zhuǎn)封裝建議 5.0 以上版本ffprobe檢查合并結(jié)果的時(shí)長(zhǎng)、流信息隨 FFmpeg 一起裝目錄結(jié)構(gòu)我習(xí)慣這么分好處是同一個(gè)視頻的素材集中管理出問題好回溯work/ ├─ video/ │ ├─ 00000.m4s # init 分片 │ ├─ 00001.m4s │ └─ ... ├─ audio/ │ ├─ 00000.m4s # init 分片 │ ├─ 00001.m4s │ └─ ... └─ out/ └─ result.mp4注意00000.m4s這個(gè)位置專門留給 init 分片。很多腳本會(huì)把 init 也當(dāng)成普通分片編號(hào)結(jié)果合并時(shí)它排到中間去了直接導(dǎo)致文件損壞。3.2 批量拉取分片并發(fā)、重試、斷點(diǎn)續(xù)傳三件套最樸素的寫法是一個(gè)for循環(huán)串行下但幾百個(gè)分片串行跑下來非常慢而且中間任何一個(gè)網(wǎng)絡(luò)抖動(dòng)都會(huì)中斷。我用的腳本加了三個(gè)保護(hù)有限并發(fā)、指數(shù)退避重試、秒傳跳過。import os import time import requests from concurrent.futures import ThreadPoolExecutor, as_completed HEADERS { Referer: https://example.com/, User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64), Accept: */*, } URL_TMPL https://example.com/media/seg-{i:05d}.m4s def fetch_one(i, outdir, retry4): path os.path.join(outdir, f{i:05d}.m4s) # 秒傳已存在且非空就跳過 if os.path.exists(path) and os.path.getsize(path) 1024: return path, skip for attempt in range(retry): try: with requests.get(URL_TMPL.format(ii), headersHEADERS, timeout(5, 30), streamTrue) as r: r.raise_for_status() tmp path .part with open(tmp, wb) as f: for chunk in r.iter_content(chunk_size64 * 1024): if chunk: f.write(chunk) os.replace(tmp, path) return path, ok except Exception as e: if attempt retry - 1: raise RuntimeError(fseg {i} failed: {e}) time.sleep(1.5 ** attempt) # 1.5s, 2.25s, 3.4s... def batch(start, end, outdir, workers6): os.makedirs(outdir, exist_okTrue) with ThreadPoolExecutor(max_workersworkers) as pool: futures {pool.submit(fetch_one, i, outdir): i for i in range(start, end)} for fut in as_completed(futures): i futures[fut] try: path, status fut.result() print(f[{status}] {i} - {path}) except Exception as e: print(f[FAIL] {i}: {e}) if __name__ __main__: batch(1, 241, ./video, workers6)幾個(gè)參數(shù)的選擇理由我展開說一下并發(fā)數(shù)為什么是 6 而不是 20。這類 CDN 通常對(duì)單 IP 有隱性的速率限制并發(fā)太高反而會(huì)觸發(fā)限速表現(xiàn)是后半程每個(gè)請(qǐng)求都被拖到十幾秒。4 到 8 之間是比較穩(wěn)的區(qū)間實(shí)測(cè) 6 并發(fā)比 20 并發(fā)整體耗時(shí)更短。我試過 16 并發(fā)下一個(gè) 200 片的視頻前 60 片很順后面全部超時(shí)重試總體反而慢了一倍。重試為什么要退避。立即重試大概率撞上同一個(gè)問題。1.5 ** attempt的間隔是 1.5 秒、2.25 秒、3.4 秒足夠讓服務(wù)端的瞬時(shí)壓力緩過來。如果四次都失敗那就是地址或者請(qǐng)求頭的問題再重試沒意義了該停下來查。為什么要寫.part臨時(shí)文件再os.replace。這是防止下載中途中斷留下半截文件。下次跑腳本時(shí).part文件不會(huì)被認(rèn)為是“已完成的分片”而完整的文件才會(huì)被跳過。這個(gè)細(xì)節(jié)在幾百個(gè)分片的場(chǎng)景里能省掉大量重復(fù)勞動(dòng)。超時(shí)為什么拆成兩個(gè)數(shù)。timeout(5, 30)表示連接超時(shí) 5 秒、讀取超時(shí) 30 秒。連接建立快說明服務(wù)器在讀取給足時(shí)間是因?yàn)閱纹赡軒?MB慢網(wǎng)絡(luò)下需要緩沖。3.3 下載完先別急著合并三步校驗(yàn)分片下完之后直接合并是把運(yùn)氣當(dāng)能力。我固定做三步校驗(yàn)?zāi)軘r下絕大部分問題。第一步數(shù)量對(duì)賬。拿到的最小分片號(hào)和最大分片號(hào)之間文件數(shù)是否等于max - min 1。缺片是合并后畫面跳段的最常見原因。第二步體積異常檢查。正常分片的大小分布是相對(duì)集中的。寫幾行腳本算出中位數(shù)把小于中位數(shù) 10% 的文件挑出來——這些大概率是錯(cuò)誤響應(yīng)體。我遇到過服務(wù)端在限流時(shí)返回一個(gè) 200 狀態(tài)的 JSON 錯(cuò)誤大小 187 字節(jié)如果不檢查它會(huì)安靜地混進(jìn)分片序列。import os, statistics files sorted(os.listdir(./video)) sizes [os.path.getsize(os.path.join(./video, f)) for f in files if f.endswith(.m4s)] med statistics.median(sizes) suspicious [f for f in files if os.path.getsize(os.path.join(./video, f)) med * 0.1] print(中位數(shù):, med, 可疑:, suspicious)第三步文件頭魔數(shù)檢查。用 Python 讀每個(gè)文件的前 16 個(gè)字節(jié)正常的分片開頭應(yīng)該是ftyp、moof、styp或者sidx這幾個(gè)盒子名。讀到{開頭的那是個(gè) JSON讀到!DO開頭的那是 HTML 錯(cuò)誤頁。這一步能百分之百確認(rèn)文件是不是真的媒體數(shù)據(jù)。with open(path, rb) as f: head f.read(16) box head[4:8].decode(latin-1) assert box in (ftyp, moof, styp, sidx), f{path} 不是有效分片: {head!r}提示這三步加起來不到兩分鐘但它把“合并后才發(fā)現(xiàn)問題”的返工成本從半小時(shí)壓到了兩分鐘。養(yǎng)成習(xí)慣之后你會(huì)發(fā)現(xiàn)自己幾乎不再需要debug合并結(jié)果。3.4 音視頻合并FFmpeg 命令逐條拆解兩個(gè)方向的素材都下好了最后一步是合成。最常用的命令是這一條ffmpeg -i video/merged_video.m4s \ -i audio/merged_audio.m4s \ -map 0:v:0 -map 1:a:0 \ -c copy \ -movflags faststart \ out/result.mp4我逐段解釋這些參數(shù)因?yàn)槊恳粭l都是有理由的不是抄來的-i兩個(gè)輸入視頻在前音頻在后。順序重要因?yàn)楹竺?map要靠索引引用。-map 0:v:0 -map 1:a:0明確指定“取第 0 個(gè)輸入的第一個(gè)視頻流”和“取第 1 個(gè)輸入的第一個(gè)音頻流”。不寫-map的時(shí)候 FFmpeg 會(huì)走默認(rèn)流選擇大多數(shù)情況沒問題但如果分片里混進(jìn)了字幕軌或者多余的音軌默認(rèn)選擇可能挑錯(cuò)。寫死是最穩(wěn)的。-c copy是核心不重新編碼只做容器層的封裝轉(zhuǎn)換。這意味著合并速度極快幾個(gè) GB 的文件也就幾十秒畫質(zhì)零損失。代價(jià)是它要求輸入和輸出容器兼容——這也是后面會(huì)講到的某些編碼格式塞進(jìn) mp4 會(huì)有麻煩。-movflags faststart把moov盒子挪到文件開頭適合邊下邊播的場(chǎng)景。本地播放其實(shí)無所謂但如果你要把文件放到網(wǎng)頁上、或者用一些對(duì)索引位置敏感的播放器這個(gè)參數(shù)能救命。還有一種情況你的分片是分開的還沒拼成一個(gè)整段的 m4s。這時(shí)候不用先拼FFmpeg 支持用 concat 協(xié)議直接把一堆文件當(dāng)輸入ffmpeg -f concat -safe 0 -i video_list.txt \ -f concat -safe 0 -i audio_list.txt \ -map 0:v:0 -map 1:a:0 -c copy out/result.mp4video_list.txt里每行一個(gè)file 00001.m4s。注意-safe 0是為了放開路徑限制因?yàn)槟J(rèn)的 concat 只允許相對(duì)路徑。這條路的好處是不產(chǎn)生中間文件省磁盤。合并完一定要用ffprobe驗(yàn)一下ffprobe -v error -show_entries formatduration,size \ -show_entries streamcodec_name,width,height,duration \ -of defaultnoprint_wrappers1 out/result.mp4重點(diǎn)看三件事視頻時(shí)長(zhǎng)和音頻時(shí)長(zhǎng)是否一致差個(gè)幾十毫秒正常差幾秒就是有問題、codec_name是不是你以為的那個(gè)、width/height對(duì)不對(duì)。這三項(xiàng)里任何一項(xiàng)不對(duì)說明前面的環(huán)節(jié)出錯(cuò)了。3.5 純二進(jìn)制拼接一條不用裝 FFmpeg 的野路子如果你的需求只是拿到一個(gè)能播的文件而且音視頻軌你打算分開存或者你只要視頻不要音頻其實(shí)可以完全不用 FFmpeg——直接把 init 分片和所有 media 分片按順序二進(jìn)制拼起來就行。cat video/00000.m4s video/00001.m4s video/00002.m4s ... out/video.mp4或者用通配符前提是你已經(jīng)補(bǔ)零命名cat video/*.m4s out/video.mp4這條路能成立是因?yàn)?fMP4 本身就是“可順序解析”的格式播放器從ftyp開始讀讀到moov拿到編碼描述之后每遇到一個(gè)moofmdat就解一段。整個(gè)文件不需要回退尋址所以簡(jiǎn)單拼接在理論上就是合法的。但它有三個(gè)明確的限制我用下來必須提醒第一cat的通配符順序依賴文件名排序必須是補(bǔ)零命名否則10排在2前面拼出來是廢的。第二這樣拼出來的文件沒有mframovie fragment random access盒子部分播放器做精確 seek 時(shí)可能不準(zhǔn)表現(xiàn)為拖動(dòng)進(jìn)度條后卡一下或者跳回。多數(shù)主流播放器能兜住但不是全部。第三也是最關(guān)鍵的這樣拼出來的文件只有視頻沒有聲音或只有聲音沒有視頻。你得單獨(dú)拼一份音頻然后要么在播放器里外掛音軌要么還是得回 FFmpeg 合并。所以我的實(shí)際做法是用cat做快速驗(yàn)證確認(rèn)分片本身沒問題、順序也對(duì)然后走 FFmpeg 做最終合并。這樣排查問題時(shí)能把“分片壞了”和“合并命令寫錯(cuò)了”這兩類原因分開定位效率高很多。4. 編碼格式與畫質(zhì)音質(zhì)的那些坑4.1 同一路視頻為什么有好幾套編碼如果你仔細(xì)看過播放描述里的codecs字段會(huì)發(fā)現(xiàn)同一個(gè)清晰度下有好幾個(gè)可選項(xiàng)。這不是冗余是為了兼容不同設(shè)備的解碼能力。常見的有三類codecs 前綴編碼特點(diǎn)適用場(chǎng)景avc1H.264 / AVC兼容性最好硬解覆蓋面最廣通用首選老設(shè)備也認(rèn)hev1/hvc1H.265 / HEVC同畫質(zhì)下體積約小 30% 到 50%移動(dòng)端、支持硬解的設(shè)備av01AV1體積更小壓縮效率最高新設(shè)備解碼開銷較大從下載角度看你要做的決策是挑哪一路。我的建議是默認(rèn)選avc1。理由很實(shí)際——合并出來的 mp4 幾乎任何播放器、任何剪輯軟件、任何系統(tǒng)自帶的預(yù)覽都能打開。選hev1的話Windows 上可能提示需要額外的解碼組件某些剪輯軟件直接不認(rèn)。選av01更麻煩不少工具鏈還沒跟上。如果你的目標(biāo)就是存檔、不在意通用性那選體積最小的那一路沒問題。但如果你后面還要轉(zhuǎn)碼、剪輯、或者發(fā)給別人avc1能省掉一堆溝通成本。還有一個(gè)細(xì)節(jié)值得注意avc1和hev1后面的那串?dāng)?shù)字是有含義的比如avc1.640032里的640032拆開是 profile、constraint、level。6400對(duì)應(yīng) High Profile32對(duì)應(yīng) Level 5.0。這不是必須掌握的但當(dāng)你發(fā)現(xiàn)某個(gè)文件播放器打不開、提示“不支持該 profile”時(shí)這串?dāng)?shù)字就是線索。4.2 音軌的差異比想象中大大多數(shù)人默認(rèn)音軌就是 AAC隨便下一路就行。實(shí)際上不少站點(diǎn)會(huì)提供多個(gè)音頻選項(xiàng)mp4a.40.2AAC-LC最標(biāo)準(zhǔn)的選擇兼容性最好碼率通常 128 kbps 到 320 kbps。mp4a.40.5HE-AAC低碼率下表現(xiàn)更好但部分老播放器支持不佳。ec-3杜比數(shù)字Dolby Digital Plus多聲道需要播放端支持。fLaC無損音頻體積大用于高保真場(chǎng)景。裝進(jìn) mp4 容器時(shí)AAC 是最省心的。ec-3一般也沒問題現(xiàn)代 FFmpeg 都支持。fLaC就麻煩了——老版本 FFmpeg 把 FLAC 塞進(jìn) mp4 會(huì)報(bào)錯(cuò)需要較新的版本或者干脆封裝成.mkvffmpeg -i video.m4s -i audio.m4s -map 0:v:0 -map 1:a:0 \ -c copy out/result.mkvMKV 容器對(duì)編碼格式的寬容度高得多什么都能裝。代價(jià)是部分設(shè)備和軟件不認(rèn) mkv需要額外轉(zhuǎn)一道。4.3 合并后音畫不同步、時(shí)長(zhǎng)不對(duì)從哪查起這是這套流程里最容易出問題、也最難一眼看出來的環(huán)節(jié)。我把它拆成幾種典型癥狀和對(duì)應(yīng)對(duì)策癥狀一合并后只有畫面沒有聲音或者反過來。通常是-map寫錯(cuò)了或者某個(gè)輸入文件其實(shí)是空的。先用ffprobe單獨(dú)看兩個(gè)輸入文件確認(rèn)各自都有流。如果音頻文件ffprobe顯示“no streams”那就是它本身壞了回到第 3.3 節(jié)的校驗(yàn)環(huán)節(jié)。癥狀二時(shí)長(zhǎng)明顯不對(duì)比如視頻 40 分鐘但文件顯示 8 分鐘。這是分片沒下全的典型表現(xiàn)。fMP4 的時(shí)長(zhǎng)由最后一個(gè)moof里的tfdt加上trun里的 sample 時(shí)長(zhǎng)推算出來缺了后面的分片時(shí)長(zhǎng)自然就短了?；仡^對(duì)賬分片數(shù)量。癥狀三音畫不同步越到后面差得越多。這種情況通常是兩路流的分片時(shí)長(zhǎng)不一致導(dǎo)致的累計(jì)誤差或者是某一路中間缺了幾片。有個(gè)應(yīng)急的處理方式是在合并時(shí)做時(shí)間偏移ffmpeg -itsoffset 0.35 -i audio.m4s -i video.m4s \ -map 1:v:0 -map 0:a:0 -c copy out/fixed.mp4-itsoffset給音頻整體延后 0.35 秒。但這只是打補(bǔ)丁正解還是把缺的分片補(bǔ)齊讓tfdt序列連續(xù)。癥狀四播放器能打開但拖進(jìn)度條就崩。大概率是走了cat拼接路線、缺mfra盒子或者分片順序錯(cuò)了。換成 FFmpeg 合一遍基本能解決。5. 常見問題速查與避坑經(jīng)驗(yàn)5.1 問題速查表下面這張表是我和身邊同學(xué)實(shí)際踩過的坑的匯總按“癥狀 → 最可能原因 → 處理方式”組織遇到問題先掃一眼能省不少時(shí)間。癥狀最可能原因處理方式請(qǐng)求返回 403缺Referer或User-Agent從瀏覽器復(fù)制完整請(qǐng)求頭復(fù)現(xiàn)下載的文件只有一兩百字節(jié)服務(wù)端返回了錯(cuò)誤 JSON被當(dāng)成正常響應(yīng)存下加體積校驗(yàn)和魔數(shù)校驗(yàn)合并報(bào)moov atom not foundinit 分片缺失或沒排在最前面確認(rèn)00000.m4s存在且順序正確合并報(bào)Invalid data found混進(jìn)了 HTML 錯(cuò)誤頁或半截文件清理.part文件重下畫面在某個(gè)時(shí)間點(diǎn)開始跳幀分片順序錯(cuò)亂或中間缺片檢查文件名是否補(bǔ)零、對(duì)賬數(shù)量只有畫面沒有聲音-map參數(shù)寫錯(cuò)顯式指定-map 0:v:0 -map 1:a:0音畫不同步兩路流分片時(shí)長(zhǎng)不一致或有一路缺片ffprobe分別查兩路時(shí)長(zhǎng)補(bǔ)齊缺片拖進(jìn)度條異常cat拼接缺索引或分片順序錯(cuò)改用 FFmpeg 合并下載到一半集體超時(shí)并發(fā)太高觸發(fā)限速把并發(fā)降到 4 到 6合并后體積異常小選錯(cuò)了低碼率的那一路流按bandwidth字段重新挑5.2 幾個(gè)容易被忽略的細(xì)節(jié)關(guān)于“備份地址”。播放描述里的backupUrl不是擺設(shè)。主地址在某些網(wǎng)絡(luò)環(huán)境下會(huì)被限速切換到備用地址往往能恢復(fù)正常速度。腳本里可以做個(gè)簡(jiǎn)單的主備切換連續(xù)三次失敗就換備用域名重試。這個(gè)改動(dòng)只有幾行但在網(wǎng)絡(luò)不穩(wěn)定的環(huán)境下體驗(yàn)差別很大。關(guān)于Range請(qǐng)求。有些站點(diǎn)的分片地址其實(shí)指向同一個(gè) URL靠Range頭切分字節(jié)區(qū)間。這種形態(tài)在網(wǎng)絡(luò)面板里看起來像“一個(gè)請(qǐng)求下了很多次”。遇到這種情況你的腳本要把每條請(qǐng)求的Range值也記錄下來不能只存 URL。關(guān)于磁盤空間。一個(gè) 1080P、40 分鐘的視頻視頻軌加音頻軌加起來可能 1.5 GB 到 3 GB。下載過程中還要額外占一份臨時(shí)文件的空間。開始之前先看一眼可用空間我吃過一次跑到 98% 卡住的虧清理起來很麻煩。關(guān)于文件名的可讀性。建議在最外層目錄帶上標(biāo)題和清晰度標(biāo)識(shí)比如某課程名_1080P_avc1/。幾百個(gè)00001.m4s散在一個(gè)叫download的目錄里過兩天你自己都不知道那是什么。注意處理音視頻素材時(shí)請(qǐng)確認(rèn)你對(duì)目標(biāo)內(nèi)容擁有合法的訪問和使用權(quán)限。方案涉及的技術(shù)手段僅適用于個(gè)人離線備份、自有內(nèi)容處理、以及公開授權(quán)素材的整理。不要用于二次分發(fā)、商業(yè)使用或任何侵犯他人權(quán)益的場(chǎng)景同時(shí)遵守所在平臺(tái)的服務(wù)條款。5.3 我在實(shí)際使用中總結(jié)的三條經(jīng)驗(yàn)第一條先跑通一個(gè)分片再跑全部。不要一上來就對(duì)著 300 個(gè)分片開跑。先手工下第一片用ffprobe或者文件頭檢查確認(rèn)它是有效的媒體數(shù)據(jù)再放到腳本里批量執(zhí)行。這個(gè)習(xí)慣能幫你把“地址錯(cuò)了”和“腳本邏輯錯(cuò)了”這兩類問題徹底分開。第二條把日志寫下來不要只 print。批量下載跑到一半崩了終端滾屏早刷沒了。把每次的序號(hào)、狀態(tài)碼、文件大小、耗時(shí)寫進(jìn)一個(gè)download.log出問題時(shí)直接grep FAIL就能定位。這個(gè)改動(dòng)五分鐘回報(bào)很高。第三條合并結(jié)果一定要驗(yàn)不要靠“看起來能播”。人的眼睛對(duì)輕微的時(shí)長(zhǎng)差異、幀率異常是不敏感的尤其是你不熟悉的素材。ffprobe輸出三行看一眼時(shí)長(zhǎng)和流信息三十秒的事但能避免你三個(gè)月后才發(fā)現(xiàn)存檔是壞的。這套流程我前后迭代了好幾版從最早的手工點(diǎn)幾百次、到串行腳本、再到現(xiàn)在的并發(fā)加校驗(yàn)最大的感受是技術(shù)難度其實(shí)不高難的是細(xì)節(jié)的完整性。每一個(gè)校驗(yàn)、每一次重試、每一個(gè)請(qǐng)求頭單看都不起眼但它們合在一起決定了你是花二十分鐘搞定還是花兩小時(shí)debug。真要說有什么訣竅就是把“驗(yàn)證”這件事前置——下之前驗(yàn)地址下完驗(yàn)文件合并前驗(yàn)數(shù)量合并后驗(yàn)結(jié)果。四道關(guān)卡擺在那里剩下的就是等進(jìn)度條了。