議到ffmpeg工具實(shí)戰(zhàn))
最近一段時(shí)間不少朋友都在折騰“網(wǎng)課視頻本地保存”這件事但大多數(shù)人卡在了同一個(gè)地方視頻明明可以在線流暢播放開發(fā)者工具里卻找不到一個(gè)直接的mp4鏈接。仔細(xì)翻一下 Network 面板滿屏都是.m3u8和一堆.ts分片地址直接保存下來又打不開。這篇文章不講玄學(xué)只講可落地的方案。我會(huì)從 m3u8 協(xié)議基礎(chǔ)開始完整梳理“如何獲取有效的 m3u8 地址”“如何用 ffmpeg 和專用工具下載合并”“常見報(bào)錯(cuò)怎么排查”這幾個(gè)關(guān)鍵環(huán)節(jié)。無論你是做音視頻開發(fā)的工程師還是想把已購課程備份到本地的學(xué)習(xí)者都可以按照這篇文章的步驟走通全流程。1. m3u8 是什么為什么在線課程都喜歡用它1.1 m3u8 并不是視頻文件很多新手第一次看到 m3u8 時(shí)會(huì)下意識(shí)認(rèn)為它是一種視頻格式。實(shí)際上m3u8 是一個(gè)文本文件里面記錄的只是一系列視頻分片的地址和播放規(guī)則。你可以把它理解成一份“歌單”分片文件才是真正的“歌曲”。一個(gè)典型的 m3u8 文件內(nèi)容大概是這樣的#EXTM3U #EXT-X-VERSION:3 #EXT-X-TARGETDURATION:10 #EXT-X-MEDIA-SEQUENCE:0 #EXTINF:10.0, https://cdn.example.com/video/segment_000.ts #EXTINF:10.0, https://cdn.example.com/video/segment_001.ts #EXT-X-ENDLIST播放器拿到這個(gè)文件后會(huì)按照列表里的順序逐個(gè)請(qǐng)求.ts分片然后拼接成完整的視頻播放出來。整個(gè)過程看起來像是“邊下邊播”這就是 HLSHTTP Live Streaming協(xié)議的基本工作方式。1.2 HLS 協(xié)議解決了什么問題HLS 是蘋果公司提出的一套流媒體傳輸協(xié)議核心思路不難理解不把一整段視頻一次性發(fā)給用戶而是把視頻切成若干個(gè)小分片每個(gè)分片通常只有幾秒到十幾秒播放器逐個(gè)下載并連續(xù)播放。這種設(shè)計(jì)帶來了幾個(gè)明顯的好處支持直播和點(diǎn)播尤其是直播場(chǎng)景播放器可以實(shí)時(shí)拉取新增的分片。支持多碼率自適應(yīng)播放器可以根據(jù)當(dāng)前網(wǎng)速切換清晰度。CDN 緩存命中率更高小分片更容易被邊緣節(jié)點(diǎn)緩存。斷點(diǎn)續(xù)播更友好下次播放時(shí)可以直接從某個(gè)分片繼續(xù)。正是因?yàn)檫@些特性大量在線教育平臺(tái)、視頻網(wǎng)站、小程序視頻課程都采用了 HLS/m3u8 方案來分發(fā)內(nèi)容。1.3 在線課程偏愛 m3u8 的另一個(gè)原因除了技術(shù)上的優(yōu)勢(shì)m3u8 方案還有一個(gè)讓內(nèi)容方比較安心的點(diǎn)它天然不支持“右鍵另存為”。用戶看到的播放地址是一個(gè) m3u8 播放列表而不是直接的視頻文件地址這就在一定程度上增加了下載門檻。不過也要說清楚門檻只對(duì)普通用戶有效。m3u8 本身是開放的協(xié)議標(biāo)準(zhǔn)凡是能播放的視頻流理論上也能通過常規(guī)技術(shù)手段下載合并。這里需要明確一個(gè)前提本文討論的是“把自己有權(quán)訪問、有權(quán)離線使用的視頻保存到本地”不涉及繞過任何付費(fèi)鑒權(quán)、版權(quán)保護(hù)系統(tǒng)的行為。1.4 先講清楚“解密”到底指什么很多人搜索“視頻課程解密”這個(gè)詞實(shí)際上會(huì)遇到兩層不同的含義第一層是 HLS 傳輸加密即 m3u8 文件里寫了#EXT-X-KEY標(biāo)簽分片用 AES-128 或 AES-256 加密播放器需要拿到密鑰文件才能解密播放。這類解密是 ffmpeg 等工具自動(dòng)完成的屬于正常流程。第二層是商業(yè) DRM 版權(quán)保護(hù)比如 Widevine、FairPlay這類技術(shù)會(huì)徹底加密視頻內(nèi)容并且綁定了播放器環(huán)境普通工具根本無法處理。本文只會(huì)涉及第一層也就是 HLS 自身的 AES 加密分片下載這也是絕大多數(shù)網(wǎng)課 m3u8 視頻的真實(shí)情況。對(duì)于 DRM 保護(hù)的內(nèi)容不該下載也沒有必要去研究繞過方法。2. 環(huán)境準(zhǔn)備與工具選擇在實(shí)際動(dòng)手之前先把需要用到的環(huán)境和工具準(zhǔn)備好。下面以 Windows 系統(tǒng)為示例環(huán)境macOS 和 Linux 的差異我會(huì)在對(duì)應(yīng)位置說明。2.1 安裝 ffmpegffmpeg 是整個(gè)下載流程里最重要的命令行工具它支持直接讀取 m3u8 文件、下載分片、解密、合并輸出一步到位。Windows 下安裝流程打開 ffmpeg 官網(wǎng)下載頁面選擇 Windows 對(duì)應(yīng)的 release 版本。下載壓縮包后解壓到某個(gè)目錄例如D:\ffmpeg。將D:\ffmpeg\bin添加到系統(tǒng)環(huán)境變量 PATH 中。打開命令提示符輸入ffmpeg -version如果能正常輸出版本信息說明安裝成功。macOS 下安裝要簡(jiǎn)單得多推薦直接使用 Homebrewbrew install ffmpegLinux 發(fā)行版一般也可以直接用包管理器安裝比如 Ubuntu/Debiansudo apt update sudo apt install ffmpeg版本不需要追求最新能用穩(wěn)定版就行。不同版本的 ffmpeg 參數(shù)基本兼容本文中的命令在較新版本上都能正常運(yùn)行。2.2 準(zhǔn)備瀏覽器開發(fā)者工具獲取 m3u8 地址是后續(xù)所有步驟的前提而最常用的工具就是 Chrome 或 Edge 自帶的開發(fā)者工具。打開開發(fā)者工具的方式很簡(jiǎn)單在視頻播放頁面按F12或者在頁面任意位置右鍵選擇“檢查”。日常主要用到 Network網(wǎng)絡(luò)面板用來觀察頁面發(fā)出的所有 HTTP 請(qǐng)求。2.3 兩個(gè)可選的下載工具除了 ffmpeg下面兩個(gè)工具在 m3u8 視頻下載場(chǎng)景中同樣很有名N_m3u8DL-RE專為 m3u8/mp-dash 下載而生的命令行工具支持多線程下載、自動(dòng)解密、自動(dòng)合并遇到時(shí)間較長(zhǎng)的大文件時(shí)優(yōu)勢(shì)非常明顯。lux原 annie主打“自動(dòng)解析視頻頁面”輸入一個(gè)播放頁面地址它會(huì)自動(dòng)找出頁面里的視頻流地址并下載。這兩個(gè)工具更新速度都很快建議直接去各自的 GitHub Releases 頁面下載對(duì)應(yīng)版本不要用第三方網(wǎng)站轉(zhuǎn)載的舊版本。3. 讀懂 m3u8 索引文件是排錯(cuò)的基礎(chǔ)很多人在下載 m3u8 視頻時(shí)遇到問題根本原因是沒看懂 m3u8 內(nèi)容。這一節(jié)把 m3u8 里最常見的標(biāo)簽解釋清楚。3.1 m3u8 的常見標(biāo)簽標(biāo)簽含義#EXTM3U文件頭固定值表示這是一個(gè) m3u8 播放列表#EXT-X-VERSION協(xié)議版本號(hào)常見為 3#EXT-X-TARGETDURATION單個(gè)分片的最大時(shí)長(zhǎng)單位秒#EXT-X-MEDIA-SEQUENCE第一個(gè)分片的序號(hào)直播流常用#EXTINF后面分片的時(shí)長(zhǎng)單位秒下一行是對(duì)應(yīng)的分片地址#EXT-X-KEY分片加密信息包含加密方法和密鑰地址#EXT-X-STREAM-INF多碼率變體信息這里面嵌套了子 m3u8 地址#EXT-X-ENDLIST文件結(jié)尾有它說明是點(diǎn)播流沒有則是直播流理解這些標(biāo)簽有什么實(shí)際價(jià)值舉一個(gè)例子如果你看到下載命令執(zhí)行后報(bào)錯(cuò)“m3u8 文件里沒有有效的分片地址”大概率是下載了一個(gè)只有多碼率信息的父 m3u8而不是真正包含分片列表的子 m3u8。這時(shí)候就需要進(jìn)入#EXT-X-STREAM-INF后面的子 m3u8 地址繼續(xù)下載。3.2 帶 AES 加密的 m3u8 長(zhǎng)什么樣下面是一個(gè)帶 AES-128 加密的 m3u8 片段#EXTM3U #EXT-X-VERSION:3 #EXT-X-TARGETDURATION:8 #EXT-X-MEDIA-SEQUENCE:0 #EXT-X-KEY:METHODAES-128,URIhttps://cdn.example.com/key/encrypt.key,IV0x9f7c... #EXTINF:8.0, https://cdn.example.com/video/seg_000.ts #EXTINF:8.0, https://cdn.example.com/video/seg_001.ts #EXT-X-ENDLIST注意#EXT-X-KEY這一行METHODAES-128說明分片文件用 AES-128 算法加密URI指向密鑰文件的地址IV是初始向量。ffmpeg 在下載這類 m3u8 時(shí)會(huì)自動(dòng)讀取#EXT-X-KEY信息請(qǐng)求密鑰文件然后解密分片。整個(gè)過程不需要你手動(dòng)編寫加解密腳本。但如果密鑰文件地址本身需要登錄 cookie 或特定請(qǐng)求頭ffmpeg 可能會(huì)請(qǐng)求失敗這時(shí)候就需要額外給 ffmpeg 帶上請(qǐng)求頭參數(shù)。3.3 多碼率 m3u8 的處理當(dāng)視頻有多種清晰度時(shí)播放器請(qǐng)求到的第一個(gè) m3u8 可能長(zhǎng)這樣#EXTM3U #EXT-X-STREAM-INF:BANDWIDTH2500000,RESOLUTION1280x720 https://cdn.example.com/video/720p/index.m3u8 #EXT-X-STREAM-INF:BANDWIDTH1200000,RESOLUTION854x480 https://cdn.example.com/video/480p/index.m3u8這種情況下直接把這個(gè) URL 交給 ffmpeg它通常會(huì)自動(dòng)選擇碼率最高的子流進(jìn)行下載。如果你希望指定清晰度可以先打開父 m3u8 地址手動(dòng)找到對(duì)應(yīng)碼率的子 m3u8 URL再傳給下載命令。4. 如何拿到有效的 m3u8 播放地址獲取 m3u8 地址是整個(gè)下載流程中最需要細(xì)心的一步。下面按從簡(jiǎn)單到復(fù)雜的順序介紹幾種方法。4.1 方法一瀏覽器開發(fā)者工具最常用以 Chrome 瀏覽器為例打開視頻播放頁面先不要立即播放。按F12打開開發(fā)者工具切換到 Network 面板。在篩選框中輸入m3u8或者選擇 Fetch/XHR 類型篩選。點(diǎn)擊頁面上的播放按鈕。觀察 Network 面板中新增的請(qǐng)求找到類型為media或fetch、名稱以.m3u8結(jié)尾的請(qǐng)求。右鍵該請(qǐng)求選擇 Copy再選擇 Copy link address。拿到地址后建議先用 VLC 播放器驗(yàn)證一下這個(gè)地址是否有效。打開 VLC選擇“打開網(wǎng)絡(luò)串流”粘貼地址如果能正常播放說明這個(gè)地址狀態(tài)可用。這里有一個(gè)常見誤區(qū)有些人一邊開著視頻一邊打開開發(fā)者工具結(jié)果發(fā)現(xiàn) Network 面板里并沒有 m3u8 請(qǐng)求。原因是很多播放器在頁面初始化時(shí)就完成了 m3u8 請(qǐng)求或者在視頻真正開始播放之前網(wǎng)絡(luò)請(qǐng)求已經(jīng)被清理掉了。正確做法是先打開開發(fā)者工具再播放視頻。4.2 方法二刷新頁面時(shí)快速篩選如果視頻是自動(dòng)播放的你可能來不及打開 Network 面板。這種情況下可以先刷新頁面讓頁面重新加載再快速在篩選框中輸入m3u8。頁面刷新后所有資源請(qǐng)求都會(huì)重新發(fā)起m3u8 請(qǐng)求自然也會(huì)出現(xiàn)在列表里。如果請(qǐng)求很多還可以結(jié)合時(shí)間線觀察。Network 面板上方有一個(gè)錄制按鈕和清除按鈕在刷新頁面之前先點(diǎn)擊清除確保列表里只有最新一輪請(qǐng)求。4.3 方法三抓包工具調(diào)試自己的設(shè)備在調(diào)試手機(jī) App 或小程序內(nèi)嵌頁面時(shí)瀏覽器開發(fā)者工具就不太好用了這時(shí)候可以使用 Charles 或 Fiddler 這類抓包工具?；舅悸肥窃陔娔X上安裝 Charles/Fiddler開啟 HTTPS 抓包功能。手機(jī)和電腦連到同一個(gè)局域網(wǎng)手機(jī)設(shè)置代理指向電腦 IP。安裝并信任 Charles 的 SSL 證書。在 App/小程序里播放視頻然后在抓包工具里篩選m3u8。需要特別說明的是抓包工具請(qǐng)只用于調(diào)試你自己設(shè)備上、你有權(quán)訪問的網(wǎng)絡(luò)請(qǐng)求不要用來做任何越權(quán)采集。很多小程序的視頻請(qǐng)求都帶簽名和過期時(shí)間即使抓到了地址脫離原環(huán)境的請(qǐng)求也大概率會(huì)失敗。4.4 方法四小程序場(chǎng)景下的技術(shù)分析回到標(biāo)題里提到的“小程序視頻課程”場(chǎng)景。微信小程序里播放的視頻本質(zhì)上走的還是 HTTP(S) 網(wǎng)絡(luò)請(qǐng)求m3u8 地址同樣會(huì)出現(xiàn)。如果你通過抓包工具或小程序開發(fā)者工具觀察到了 m3u8 請(qǐng)求這里有幾個(gè)技術(shù)現(xiàn)象值得了解小程序播放器可能會(huì)對(duì) m3u8 URL 做中轉(zhuǎn)或簽名處理直接復(fù)制 URL 并不能下載。部分小程序的視頻域名限制在微信公眾平臺(tái)配置的白名單內(nèi)請(qǐng)求時(shí)還需要攜帶特定請(qǐng)求頭。有些平臺(tái)會(huì)把密鑰文件地址和分片地址設(shè)為短期有效過期后下載就會(huì)失敗。對(duì)于這種情況常規(guī)處理方式是保證下載請(qǐng)求環(huán)境與播放環(huán)境一致也就是帶上正確的User-Agent、Referer、Cookie等請(qǐng)求頭。但這里必須強(qiáng)調(diào)如果你是課程的合法購買者為了離線學(xué)習(xí)而下載這是個(gè)人合理使用如果地址本身需要特殊權(quán)限或存在鑒權(quán)隔離請(qǐng)不要嘗試通過繞過機(jī)制去獲取不屬于你的內(nèi)容。5. 使用 ffmpeg 下載 m3u8 視頻拿到 m3u8 地址后接下來的核心操作就在 ffmpeg 這里了。5.1 最基礎(chǔ)的下載命令打開命令行Windows 下是 CMD 或 PowerShell執(zhí)行ffmpeg -i https://example.com/video/index.m3u8 -c copy output.mp4參數(shù)說明-i指定輸入文件也就是 m3u8 的 URL。-c copy表示流復(fù)制也就是不重新編碼直接把原始數(shù)據(jù)拷貝到輸出文件。這樣做速度極快而且畫質(zhì)無損耗。output.mp4是輸出文件名可以自定義。這是最簡(jiǎn)單、最常用的命令。但注意很多在線課程站點(diǎn)會(huì)做防盜鏈校驗(yàn)直接拿這個(gè)命令下載往往會(huì)返回 403 錯(cuò)誤。5.2 帶上 Referer 和 User-Agent 下載防盜鏈的校驗(yàn)原理并不復(fù)雜服務(wù)器檢查請(qǐng)求頭里的Referer如果來源不在允許列表內(nèi)就拒絕返回?cái)?shù)據(jù)。有些服務(wù)器還會(huì)校驗(yàn)User-Agent禁止非瀏覽器客戶端的訪問。帶請(qǐng)求頭的 ffmpeg 命令如下ffmpeg -user_agent Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 -headers Referer: https://example.com/course/123\r\n -i https://example.com/video/index.m3u8 -c copy output.mp4這里有兩個(gè)細(xì)節(jié)值得留意-headers參數(shù)要放在-i之前否則不生效。Referer末尾必須包含\r\n這是 HTTP 協(xié)議頭的標(biāo)準(zhǔn)換行。有些平臺(tái)還會(huì)校驗(yàn) Origin同樣可以加進(jìn)去ffmpeg -user_agent Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 -headers Referer: https://example.com/\r\nOrigin: https://example.com\r\n -i https://example.com/video/index.m3u8 -c copy output.mp4如果還需要攜帶 Cookie可以繼續(xù)在-headers中追加ffmpeg -headers Referer: https://example.com/\r\nCookie: sessionidyour_cookie_value\r\n -i https://example.com/video/index.m3u8 -c copy output.mp4這里的 Cookie 必須來自你自己登錄后的瀏覽器會(huì)話。5.3 先輸出 TS 再轉(zhuǎn) MP4解決封裝失敗問題用-c copy直接輸出 mp4 時(shí)有時(shí)會(huì)報(bào)錯(cuò)或者生成的文件無法播放。這通常跟視頻流的編碼參數(shù)有關(guān)比如某些 HLS 流里的音頻編碼格式不適合直接封裝進(jìn) mp4。一個(gè)更穩(wěn)妥的方法是先保存為 TS 格式再做一次重新封裝。TS 是一種非?！皩捜荨钡娜萜鞲袷綆缀跛?HLS 流都能直接封裝成 TS。ffmpeg -user_agent Mozilla/5.0 -headers Referer: https://example.com/\r\n -i https://example.com/video/index.m3u8 -c copy output.ts拿到 output.ts 后再執(zhí)行一次封裝轉(zhuǎn)換ffmpeg -i output.ts -c copy -movflags faststart output.mp4-movflags faststart的作用是把 mp4 文件里的索引信息移動(dòng)到文件頭部這樣視頻文件放到網(wǎng)頁中時(shí)可以先加載少量數(shù)據(jù)就能開始播放也方便在手機(jī)上快速預(yù)覽。5.4 先下載分片到本地再用 concat 合并有時(shí)候視頻源地址不穩(wěn)定直接讓 ffmpeg 在線下載會(huì)導(dǎo)致中途失敗。更穩(wěn)妥的做法是先把所有.ts分片和 m3u8 文件下載到本地再通過文件列表合并。第一步把 m3u8 里的分片地址批量下載下來。如果分片數(shù)量不多可以直接用瀏覽器或下載工具逐個(gè)下載。如果分片數(shù)量很多建議寫一個(gè)簡(jiǎn)單的腳本。這里以 Python 為例說明下載邏輯import requests base_url https://cdn.example.com/video/ segments [segment_000.ts, segment_001.ts, segment_002.ts] headers { User-Agent: Mozilla/5.0, Referer: https://example.com/ } for seg in segments: resp requests.get(base_url seg, headersheaders, timeout10) with open(seg, wb) as f: f.write(resp.content) print(fdone: {seg})第二步創(chuàng)建一個(gè)concat.txt文件內(nèi)容按以下格式填寫file segment_000.ts file segment_001.ts file segment_002.ts第三步執(zhí)行 concat 合并ffmpeg -f concat -safe 0 -i concat.txt -c copy output.mp4注意 Windows 路徑問題。如果 ts 文件路徑包含反斜杠建議統(tǒng)一改成正斜杠否則某些版本會(huì)解析報(bào)錯(cuò)。5.5 直播流的下載方式直播 m3u8 和點(diǎn)播 m3u8 最大的區(qū)別是文件末尾沒有#EXT-X-ENDLIST。ffmpeg 下載直播流時(shí)會(huì)一直等待新的分片生成不會(huì)自動(dòng)停止。如果要錄制一段時(shí)長(zhǎng)的直播可以用-t參數(shù)限制錄制時(shí)間ffmpeg -t 00:30:00 -i https://example.com/live/index.m3u8 -c copy live.mp4這條命令會(huì)錄制前 30 分鐘。也可以不加-t等需要停止時(shí)在命令行按下Ctrl C手動(dòng)中斷。6. 使用專用下載工具提升效率ffmpeg 是通用方案但在某些場(chǎng)景下使用專用工具會(huì)更高效。6.1 N_m3u8DL-REm3u8 下載的利器N_m3u8DL-RE 比 ffmpeg 更加聚焦 m3u8 下載場(chǎng)景它支持多線程并發(fā)下載分片速度更快自動(dòng)識(shí)別并處理 AES 加密解密下載完成后自動(dòng)合并輸出節(jié)省手動(dòng)操作?；居梅∟_m3u8DL-RE https://example.com/video/index.m3u8 --save-dir ./download --tmp-dir ./temp --auto-select參數(shù)說明--save-dir指定最終文件的保存目錄。--tmp-dir指定臨時(shí)分片文件的存放目錄。--auto-select自動(dòng)選擇最佳畫質(zhì)。如果下載的 m3u8 需要請(qǐng)求頭可以先用文本文件保存請(qǐng)求頭再通過--header參數(shù)指定N_m3u8DL-RE https://example.com/video/index.m3u8 --header headers.txtheaders.txt 的格式一般是User-Agent: Mozilla/5.0 Referer: https://example.com/6.2 lux自動(dòng)解析頁面視頻地址lux 適合這樣一個(gè)場(chǎng)景你手上只有一個(gè)播放頁面的 URL還沒有找到 m3u8 地址。lux 會(huì)自動(dòng)分析頁面源碼提取可用視頻流然后交給下載器下載?；居梅╨ux -i https://example.com/course/123如果頁面需要登錄可以先在瀏覽器中把 Cookie 導(dǎo)出成文件再傳給 luxlux -c cookie.txt -i https://example.com/course/123不過 lux 對(duì)第三方網(wǎng)站的適配依賴于站點(diǎn)結(jié)構(gòu)如果站點(diǎn)改版解析可能失敗。6.3 什么時(shí)候不適合用專用工具專用工具雖然方便但也有局限遇到動(dòng)態(tài)簽名有效期極短的鏈接時(shí)工具可能還沒來得及下載完鏈接就失效了遇到自定義加密方案時(shí)工具也會(huì)無能為力。這種情況下還是回到 ffmpeg 抓取當(dāng)前有效地址以最快速度完成下載比較靠譜。7. 常見問題與排查思路這一節(jié)把 m3u8 視頻下載中最常見的問題匯總成表并給出排查方向。問題現(xiàn)象常見原因解決思路下載返回 403 Forbidden缺少 Referer 或 User-Agent防盜鏈攔截補(bǔ)全請(qǐng)求頭保持與播放環(huán)境一致下載返回 404 Not Foundm3u8 地址是動(dòng)態(tài)簽名的已過期重新打開頁面抓取新的 m3u8 地址報(bào)錯(cuò) Invalid data found when processing inputm3u8 地址不對(duì)或網(wǎng)絡(luò)中斷檢查地址是否有效替換為完整可訪問的子 m3u8輸出 mp4 失敗或無法播放音視頻編碼與 mp4 容器沖突先輸出 TS 再轉(zhuǎn) MP4或用-movflags faststart加密流下載后花屏/報(bào)解密失敗key 地址需要特殊請(qǐng)求頭給 ffmpeg 或下載工具添加 Cookie/Referer分片下載到一半中斷網(wǎng)絡(luò)不穩(wěn)定或服務(wù)器限速改用支持多線程斷點(diǎn)續(xù)傳的 N_m3u8DL-REconcat 合并時(shí)報(bào)錯(cuò)文件列表格式不正確檢查路徑斜杠、引號(hào)、文件名是否與磁盤一致下載出的視頻時(shí)長(zhǎng)比源視頻短播放器請(qǐng)求的 m3u8 可能是測(cè)試片段重新抓取播放過程中最新的 m3u8 地址7.1 403 Forbidden 的完整排查步驟403 是 m3u8 下載里最高頻的報(bào)錯(cuò)。按下面的順序排查即可確認(rèn)訪問這個(gè) m3u8 地址時(shí)是否處于同一個(gè)網(wǎng)絡(luò)環(huán)境有時(shí)校內(nèi)網(wǎng)、局域網(wǎng)資源需要特定 IP。在瀏覽器無痕窗口中打開 m3u8 地址如果能播放說明地址本身有效只差請(qǐng)求頭。復(fù)制瀏覽器請(qǐng)求頭里的 Referer 和 User-Agent添加到 ffmpeg 命令中。如果仍然 403觀察瀏覽器請(qǐng)求里是否還有其他自定義請(qǐng)求頭比如Origin、Cookie繼續(xù)補(bǔ)充。如果所有請(qǐng)求頭都補(bǔ)上了仍 403大概率服務(wù)器的鑒權(quán)邏輯是動(dòng)態(tài) token 或者綁定 IP 的這種情況建議放棄直接下載。7.2 mp4 輸出失敗的替代方案很多情況下-c copy直接輸出 mp4 會(huì)失敗原因是 HLS 流里的音頻軌可能是AAC-LC或HE-AAC而 mp4 封裝對(duì)某些音頻配置支持不佳。不必糾結(jié)原因最直接的處理辦法是先封裝成 TSffmpeg -i https://example.com/video/index.m3u8 -c copy output.ts然后再統(tǒng)一轉(zhuǎn)成 mp4ffmpeg -i output.ts -c copy output.mp4這樣兩步操作基本不會(huì)遇到封裝失敗的問題。7.3 加密流解密失敗的判斷方法下載加密的 m3u8 時(shí)如果執(zhí)行命令后出現(xiàn)類似下面的日志[hls 0000025f...] Opening https://cdn.example.com/key/encrypt.key for reading說明 ffmpeg 正在嘗試讀取密鑰文件。如果隨后報(bào)錯(cuò)或者文件解碼異常通常是密鑰文件請(qǐng)求被攔截。此時(shí)可以用單獨(dú)的curl命令測(cè)試密鑰地址是否能正常訪問curl -I https://cdn.example.com/key/encrypt.key -H Referer: https://example.com/ -H User-Agent: Mozilla/5.0如果返回 403 或 404就需要在 ffmpeg 命令中補(bǔ)充請(qǐng)求頭信息。8. 從工具到工程下載腳本與最佳實(shí)踐當(dāng)你需要下載的不是一個(gè)視頻而是一整個(gè)課程目錄時(shí)手動(dòng)一條條執(zhí)行命令顯然太低效。這一節(jié)提供一個(gè)腳本化下載的思路。8.1 編寫批量下載批處理腳本W(wǎng)indows 環(huán)境下可以寫一個(gè)簡(jiǎn)單的.bat腳本循環(huán)處理 URL 列表。比如建立一個(gè)urls.txt文件每行一個(gè) m3u8 地址和一個(gè)輸出文件名用逗號(hào)分隔https://example.com/video/chapter1/index.m3u8,chapter1.mp4 https://example.com/video/chapter2/index.m3u8,chapter2.mp4再寫一個(gè)批處理文件download.batecho off chcp 65001 nul for /f tokens1,2 delims, %%i in (urls.txt) do ( echo 正在下載 %%j ffmpeg -user_agent Mozilla/5.0 -headers Referer: https://example.com/\r\n -i %%i -c copy %%j ) echo 全部下載完成 pauseLinux/macOS 環(huán)境下用 bash 腳本更順手#!/bin/bash while IFS, read -r url output; do echo 下載 $output ffmpeg -user_agent Mozilla/5.0 -headers Referer: https://example.com/\r\n -i $url -c copy $output done urls.txt注意腳本里的Referer需要替換成你自己的實(shí)際來源頁面。8.2 用 ffprobe 校驗(yàn)下載結(jié)果下載完成后建議用 ffprobe 檢查一下文件的時(shí)長(zhǎng)和編碼信息確認(rèn)視頻沒有缺分片。ffprobe -v error -show_entries formatduration -of defaultnoprint_wrappers1:nokey1 output.mp4這條命令會(huì)輸出視頻的時(shí)長(zhǎng)比如3660.000000表示 3660 秒。你可以和播放頁面上的時(shí)長(zhǎng)做對(duì)比如果明顯偏短說明某些分片沒有下載完整需要重新抓取地址再下載。8.3 命名規(guī)范和目錄規(guī)劃課程類視頻下載后最好按照“課程編號(hào) 章節(jié)編號(hào) 標(biāo)題”的規(guī)則命名例如C01_第01章_課程介紹.mp4 C01_第02章_環(huán)境搭建.mp4這樣做的好處是方便后續(xù)導(dǎo)入手機(jī)、平板等設(shè)備時(shí)保持順序也方便用 Emby、Jellyfin 這類媒體服務(wù)器統(tǒng)一管理。8.4 安全與合規(guī)建議工具本身是中性的但使用場(chǎng)景需要注意邊界。整理幾條實(shí)用的建議只下載你自己購買、有權(quán)離線使用的課程不要傳播、售賣下載后的文件。不嘗試?yán)@過 DRM 版權(quán)保護(hù)這既涉及版權(quán)問題也幾乎沒有技術(shù)可能性。不要輕易運(yùn)行網(wǎng)上流傳的“破解版下載工具”這類工具很可能捆綁惡意軟件或盜取賬號(hào)信息。使用帶有個(gè)人 Cookie 的工具時(shí)注意不要在公共設(shè)備或群聊中泄露請(qǐng)求信息。下載遇到需要登錄鑒權(quán)的資源時(shí)先確認(rèn)自己是否有合法訪問權(quán)限再考慮技術(shù)方案。9. 小結(jié)m3u8 視頻下載并不是什么高深莫測(cè)的技術(shù)。理解 HLS 的分片協(xié)議后整體思路很清晰先用開發(fā)者工具或抓包工具找到有效的 m3u8 播放列表地址再用 ffmpeg 或?qū)Ｓ霉ぞ呦螺d、解密、合并分片最后輸出為本地視頻文件。這篇文章里覆蓋了從 m3u8 協(xié)議基礎(chǔ)、地址獲取、ffmpeg 命令用法、專用工具選擇到常見報(bào)錯(cuò)排查的完整流程。如果你只是偶爾下載一兩個(gè)視頻ffmpeg 加上正確請(qǐng)求頭就夠了如果經(jīng)常需要處理大量課程視頻建議把 N_m3u8DL-RE 和批量腳本納入自己的工作流。下一步你可以繼續(xù)學(xué)習(xí) HTTP 請(qǐng)求頭鑒權(quán)機(jī)制、CDN 防盜鏈策略或者研究 HLS 直播流的錄制優(yōu)化。需要說明的是技術(shù)能力越強(qiáng)越要對(duì)自己的使用邊界有清晰認(rèn)知。把工具用在合理合法的場(chǎng)景里才是長(zhǎng)久之道。 m3u8視頻下載全指南：從HLS協(xié)議到ffmpeg工具實(shí)戰(zhàn)
最近一段時(shí)間不少朋友都在折騰“網(wǎng)課視頻本地保存”這件事但大多數(shù)人卡在了同一個(gè)地方視頻明明可以在線流暢播放開發(fā)者工具里卻找不到一個(gè)直接的mp4鏈接。仔細(xì)翻一下 Network 面板滿屏都是.m3u8和一堆.ts分片地址直接保存下來又打不開。這篇文章不講玄學(xué)只講可落地的方案。我會(huì)從 m3u8 協(xié)議基礎(chǔ)開始完整梳理“如何獲取有效的 m3u8 地址”“如何用 ffmpeg 和專用工具下載合并”“常見報(bào)錯(cuò)怎么排查”這幾個(gè)關(guān)鍵環(huán)節(jié)。無論你是做音視頻開發(fā)的工程師還是想把已購課程備份到本地的學(xué)習(xí)者都可以按照這篇文章的步驟走通全流程。1. m3u8 是什么為什么在線課程都喜歡用它1.1 m3u8 并不是視頻文件很多新手第一次看到 m3u8 時(shí)會(huì)下意識(shí)認(rèn)為它是一種視頻格式。實(shí)際上m3u8 是一個(gè)文本文件里面記錄的只是一系列視頻分片的地址和播放規(guī)則。你可以把它理解成一份“歌單”分片文件才是真正的“歌曲”。一個(gè)典型的 m3u8 文件內(nèi)容大概是這樣的#EXTM3U #EXT-X-VERSION:3 #EXT-X-TARGETDURATION:10 #EXT-X-MEDIA-SEQUENCE:0 #EXTINF:10.0, https://cdn.example.com/video/segment_000.ts #EXTINF:10.0, https://cdn.example.com/video/segment_001.ts #EXT-X-ENDLIST播放器拿到這個(gè)文件后會(huì)按照列表里的順序逐個(gè)請(qǐng)求.ts分片然后拼接成完整的視頻播放出來。整個(gè)過程看起來像是“邊下邊播”這就是 HLSHTTP Live Streaming協(xié)議的基本工作方式。1.2 HLS 協(xié)議解決了什么問題HLS 是蘋果公司提出的一套流媒體傳輸協(xié)議核心思路不難理解不把一整段視頻一次性發(fā)給用戶而是把視頻切成若干個(gè)小分片每個(gè)分片通常只有幾秒到十幾秒播放器逐個(gè)下載并連續(xù)播放。這種設(shè)計(jì)帶來了幾個(gè)明顯的好處支持直播和點(diǎn)播尤其是直播場(chǎng)景播放器可以實(shí)時(shí)拉取新增的分片。支持多碼率自適應(yīng)播放器可以根據(jù)當(dāng)前網(wǎng)速切換清晰度。CDN 緩存命中率更高小分片更容易被邊緣節(jié)點(diǎn)緩存。斷點(diǎn)續(xù)播更友好下次播放時(shí)可以直接從某個(gè)分片繼續(xù)。正是因?yàn)檫@些特性大量在線教育平臺(tái)、視頻網(wǎng)站、小程序視頻課程都采用了 HLS/m3u8 方案來分發(fā)內(nèi)容。1.3 在線課程偏愛 m3u8 的另一個(gè)原因除了技術(shù)上的優(yōu)勢(shì)m3u8 方案還有一個(gè)讓內(nèi)容方比較安心的點(diǎn)它天然不支持“右鍵另存為”。用戶看到的播放地址是一個(gè) m3u8 播放列表而不是直接的視頻文件地址這就在一定程度上增加了下載門檻。不過也要說清楚門檻只對(duì)普通用戶有效。m3u8 本身是開放的協(xié)議標(biāo)準(zhǔn)凡是能播放的視頻流理論上也能通過常規(guī)技術(shù)手段下載合并。這里需要明確一個(gè)前提本文討論的是“把自己有權(quán)訪問、有權(quán)離線使用的視頻保存到本地”不涉及繞過任何付費(fèi)鑒權(quán)、版權(quán)保護(hù)系統(tǒng)的行為。1.4 先講清楚“解密”到底指什么很多人搜索“視頻課程解密”這個(gè)詞實(shí)際上會(huì)遇到兩層不同的含義第一層是 HLS 傳輸加密即 m3u8 文件里寫了#EXT-X-KEY標(biāo)簽分片用 AES-128 或 AES-256 加密播放器需要拿到密鑰文件才能解密播放。這類解密是 ffmpeg 等工具自動(dòng)完成的屬于正常流程。第二層是商業(yè) DRM 版權(quán)保護(hù)比如 Widevine、FairPlay這類技術(shù)會(huì)徹底加密視頻內(nèi)容并且綁定了播放器環(huán)境普通工具根本無法處理。本文只會(huì)涉及第一層也就是 HLS 自身的 AES 加密分片下載這也是絕大多數(shù)網(wǎng)課 m3u8 視頻的真實(shí)情況。對(duì)于 DRM 保護(hù)的內(nèi)容不該下載也沒有必要去研究繞過方法。2. 環(huán)境準(zhǔn)備與工具選擇在實(shí)際動(dòng)手之前先把需要用到的環(huán)境和工具準(zhǔn)備好。下面以 Windows 系統(tǒng)為示例環(huán)境macOS 和 Linux 的差異我會(huì)在對(duì)應(yīng)位置說明。2.1 安裝 ffmpegffmpeg 是整個(gè)下載流程里最重要的命令行工具它支持直接讀取 m3u8 文件、下載分片、解密、合并輸出一步到位。Windows 下安裝流程打開 ffmpeg 官網(wǎng)下載頁面選擇 Windows 對(duì)應(yīng)的 release 版本。下載壓縮包后解壓到某個(gè)目錄例如D:\ffmpeg。將D:\ffmpeg\bin添加到系統(tǒng)環(huán)境變量 PATH 中。打開命令提示符輸入ffmpeg -version如果能正常輸出版本信息說明安裝成功。macOS 下安裝要簡(jiǎn)單得多推薦直接使用 Homebrewbrew install ffmpegLinux 發(fā)行版一般也可以直接用包管理器安裝比如 Ubuntu/Debiansudo apt update sudo apt install ffmpeg版本不需要追求最新能用穩(wěn)定版就行。不同版本的 ffmpeg 參數(shù)基本兼容本文中的命令在較新版本上都能正常運(yùn)行。2.2 準(zhǔn)備瀏覽器開發(fā)者工具獲取 m3u8 地址是后續(xù)所有步驟的前提而最常用的工具就是 Chrome 或 Edge 自帶的開發(fā)者工具。打開開發(fā)者工具的方式很簡(jiǎn)單在視頻播放頁面按F12或者在頁面任意位置右鍵選擇“檢查”。日常主要用到 Network網(wǎng)絡(luò)面板用來觀察頁面發(fā)出的所有 HTTP 請(qǐng)求。2.3 兩個(gè)可選的下載工具除了 ffmpeg下面兩個(gè)工具在 m3u8 視頻下載場(chǎng)景中同樣很有名N_m3u8DL-RE專為 m3u8/mp-dash 下載而生的命令行工具支持多線程下載、自動(dòng)解密、自動(dòng)合并遇到時(shí)間較長(zhǎng)的大文件時(shí)優(yōu)勢(shì)非常明顯。lux原 annie主打“自動(dòng)解析視頻頁面”輸入一個(gè)播放頁面地址它會(huì)自動(dòng)找出頁面里的視頻流地址并下載。這兩個(gè)工具更新速度都很快建議直接去各自的 GitHub Releases 頁面下載對(duì)應(yīng)版本不要用第三方網(wǎng)站轉(zhuǎn)載的舊版本。3. 讀懂 m3u8 索引文件是排錯(cuò)的基礎(chǔ)很多人在下載 m3u8 視頻時(shí)遇到問題根本原因是沒看懂 m3u8 內(nèi)容。這一節(jié)把 m3u8 里最常見的標(biāo)簽解釋清楚。3.1 m3u8 的常見標(biāo)簽標(biāo)簽含義#EXTM3U文件頭固定值表示這是一個(gè) m3u8 播放列表#EXT-X-VERSION協(xié)議版本號(hào)常見為 3#EXT-X-TARGETDURATION單個(gè)分片的最大時(shí)長(zhǎng)單位秒#EXT-X-MEDIA-SEQUENCE第一個(gè)分片的序號(hào)直播流常用#EXTINF后面分片的時(shí)長(zhǎng)單位秒下一行是對(duì)應(yīng)的分片地址#EXT-X-KEY分片加密信息包含加密方法和密鑰地址#EXT-X-STREAM-INF多碼率變體信息這里面嵌套了子 m3u8 地址#EXT-X-ENDLIST文件結(jié)尾有它說明是點(diǎn)播流沒有則是直播流理解這些標(biāo)簽有什么實(shí)際價(jià)值舉一個(gè)例子如果你看到下載命令執(zhí)行后報(bào)錯(cuò)“m3u8 文件里沒有有效的分片地址”大概率是下載了一個(gè)只有多碼率信息的父 m3u8而不是真正包含分片列表的子 m3u8。這時(shí)候就需要進(jìn)入#EXT-X-STREAM-INF后面的子 m3u8 地址繼續(xù)下載。3.2 帶 AES 加密的 m3u8 長(zhǎng)什么樣下面是一個(gè)帶 AES-128 加密的 m3u8 片段#EXTM3U #EXT-X-VERSION:3 #EXT-X-TARGETDURATION:8 #EXT-X-MEDIA-SEQUENCE:0 #EXT-X-KEY:METHODAES-128,URIhttps://cdn.example.com/key/encrypt.key,IV0x9f7c... #EXTINF:8.0, https://cdn.example.com/video/seg_000.ts #EXTINF:8.0, https://cdn.example.com/video/seg_001.ts #EXT-X-ENDLIST注意#EXT-X-KEY這一行METHODAES-128說明分片文件用 AES-128 算法加密URI指向密鑰文件的地址IV是初始向量。ffmpeg 在下載這類 m3u8 時(shí)會(huì)自動(dòng)讀取#EXT-X-KEY信息請(qǐng)求密鑰文件然后解密分片。整個(gè)過程不需要你手動(dòng)編寫加解密腳本。但如果密鑰文件地址本身需要登錄 cookie 或特定請(qǐng)求頭ffmpeg 可能會(huì)請(qǐng)求失敗這時(shí)候就需要額外給 ffmpeg 帶上請(qǐng)求頭參數(shù)。3.3 多碼率 m3u8 的處理當(dāng)視頻有多種清晰度時(shí)播放器請(qǐng)求到的第一個(gè) m3u8 可能長(zhǎng)這樣#EXTM3U #EXT-X-STREAM-INF:BANDWIDTH2500000,RESOLUTION1280x720 https://cdn.example.com/video/720p/index.m3u8 #EXT-X-STREAM-INF:BANDWIDTH1200000,RESOLUTION854x480 https://cdn.example.com/video/480p/index.m3u8這種情況下直接把這個(gè) URL 交給 ffmpeg它通常會(huì)自動(dòng)選擇碼率最高的子流進(jìn)行下載。如果你希望指定清晰度可以先打開父 m3u8 地址手動(dòng)找到對(duì)應(yīng)碼率的子 m3u8 URL再傳給下載命令。4. 如何拿到有效的 m3u8 播放地址獲取 m3u8 地址是整個(gè)下載流程中最需要細(xì)心的一步。下面按從簡(jiǎn)單到復(fù)雜的順序介紹幾種方法。4.1 方法一瀏覽器開發(fā)者工具最常用以 Chrome 瀏覽器為例打開視頻播放頁面先不要立即播放。按F12打開開發(fā)者工具切換到 Network 面板。在篩選框中輸入m3u8或者選擇 Fetch/XHR 類型篩選。點(diǎn)擊頁面上的播放按鈕。觀察 Network 面板中新增的請(qǐng)求找到類型為media或fetch、名稱以.m3u8結(jié)尾的請(qǐng)求。右鍵該請(qǐng)求選擇 Copy再選擇 Copy link address。拿到地址后建議先用 VLC 播放器驗(yàn)證一下這個(gè)地址是否有效。打開 VLC選擇“打開網(wǎng)絡(luò)串流”粘貼地址如果能正常播放說明這個(gè)地址狀態(tài)可用。這里有一個(gè)常見誤區(qū)有些人一邊開著視頻一邊打開開發(fā)者工具結(jié)果發(fā)現(xiàn) Network 面板里并沒有 m3u8 請(qǐng)求。原因是很多播放器在頁面初始化時(shí)就完成了 m3u8 請(qǐng)求或者在視頻真正開始播放之前網(wǎng)絡(luò)請(qǐng)求已經(jīng)被清理掉了。正確做法是先打開開發(fā)者工具再播放視頻。4.2 方法二刷新頁面時(shí)快速篩選如果視頻是自動(dòng)播放的你可能來不及打開 Network 面板。這種情況下可以先刷新頁面讓頁面重新加載再快速在篩選框中輸入m3u8。頁面刷新后所有資源請(qǐng)求都會(huì)重新發(fā)起m3u8 請(qǐng)求自然也會(huì)出現(xiàn)在列表里。如果請(qǐng)求很多還可以結(jié)合時(shí)間線觀察。Network 面板上方有一個(gè)錄制按鈕和清除按鈕在刷新頁面之前先點(diǎn)擊清除確保列表里只有最新一輪請(qǐng)求。4.3 方法三抓包工具調(diào)試自己的設(shè)備在調(diào)試手機(jī) App 或小程序內(nèi)嵌頁面時(shí)瀏覽器開發(fā)者工具就不太好用了這時(shí)候可以使用 Charles 或 Fiddler 這類抓包工具?；舅悸肥窃陔娔X上安裝 Charles/Fiddler開啟 HTTPS 抓包功能。手機(jī)和電腦連到同一個(gè)局域網(wǎng)手機(jī)設(shè)置代理指向電腦 IP。安裝并信任 Charles 的 SSL 證書。在 App/小程序里播放視頻然后在抓包工具里篩選m3u8。需要特別說明的是抓包工具請(qǐng)只用于調(diào)試你自己設(shè)備上、你有權(quán)訪問的網(wǎng)絡(luò)請(qǐng)求不要用來做任何越權(quán)采集。很多小程序的視頻請(qǐng)求都帶簽名和過期時(shí)間即使抓到了地址脫離原環(huán)境的請(qǐng)求也大概率會(huì)失敗。4.4 方法四小程序場(chǎng)景下的技術(shù)分析回到標(biāo)題里提到的“小程序視頻課程”場(chǎng)景。微信小程序里播放的視頻本質(zhì)上走的還是 HTTP(S) 網(wǎng)絡(luò)請(qǐng)求m3u8 地址同樣會(huì)出現(xiàn)。如果你通過抓包工具或小程序開發(fā)者工具觀察到了 m3u8 請(qǐng)求這里有幾個(gè)技術(shù)現(xiàn)象值得了解小程序播放器可能會(huì)對(duì) m3u8 URL 做中轉(zhuǎn)或簽名處理直接復(fù)制 URL 并不能下載。部分小程序的視頻域名限制在微信公眾平臺(tái)配置的白名單內(nèi)請(qǐng)求時(shí)還需要攜帶特定請(qǐng)求頭。有些平臺(tái)會(huì)把密鑰文件地址和分片地址設(shè)為短期有效過期后下載就會(huì)失敗。對(duì)于這種情況常規(guī)處理方式是保證下載請(qǐng)求環(huán)境與播放環(huán)境一致也就是帶上正確的User-Agent、Referer、Cookie等請(qǐng)求頭。但這里必須強(qiáng)調(diào)如果你是課程的合法購買者為了離線學(xué)習(xí)而下載這是個(gè)人合理使用如果地址本身需要特殊權(quán)限或存在鑒權(quán)隔離請(qǐng)不要嘗試通過繞過機(jī)制去獲取不屬于你的內(nèi)容。5. 使用 ffmpeg 下載 m3u8 視頻拿到 m3u8 地址后接下來的核心操作就在 ffmpeg 這里了。5.1 最基礎(chǔ)的下載命令打開命令行Windows 下是 CMD 或 PowerShell執(zhí)行ffmpeg -i https://example.com/video/index.m3u8 -c copy output.mp4參數(shù)說明-i指定輸入文件也就是 m3u8 的 URL。-c copy表示流復(fù)制也就是不重新編碼直接把原始數(shù)據(jù)拷貝到輸出文件。這樣做速度極快而且畫質(zhì)無損耗。output.mp4是輸出文件名可以自定義。這是最簡(jiǎn)單、最常用的命令。但注意很多在線課程站點(diǎn)會(huì)做防盜鏈校驗(yàn)直接拿這個(gè)命令下載往往會(huì)返回 403 錯(cuò)誤。5.2 帶上 Referer 和 User-Agent 下載防盜鏈的校驗(yàn)原理并不復(fù)雜服務(wù)器檢查請(qǐng)求頭里的Referer如果來源不在允許列表內(nèi)就拒絕返回?cái)?shù)據(jù)。有些服務(wù)器還會(huì)校驗(yàn)User-Agent禁止非瀏覽器客戶端的訪問。帶請(qǐng)求頭的 ffmpeg 命令如下ffmpeg -user_agent Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 -headers Referer: https://example.com/course/123\r\n -i https://example.com/video/index.m3u8 -c copy output.mp4這里有兩個(gè)細(xì)節(jié)值得留意-headers參數(shù)要放在-i之前否則不生效。Referer末尾必須包含\r\n這是 HTTP 協(xié)議頭的標(biāo)準(zhǔn)換行。有些平臺(tái)還會(huì)校驗(yàn) Origin同樣可以加進(jìn)去ffmpeg -user_agent Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 -headers Referer: https://example.com/\r\nOrigin: https://example.com\r\n -i https://example.com/video/index.m3u8 -c copy output.mp4如果還需要攜帶 Cookie可以繼續(xù)在-headers中追加ffmpeg -headers Referer: https://example.com/\r\nCookie: sessionidyour_cookie_value\r\n -i https://example.com/video/index.m3u8 -c copy output.mp4這里的 Cookie 必須來自你自己登錄后的瀏覽器會(huì)話。5.3 先輸出 TS 再轉(zhuǎn) MP4解決封裝失敗問題用-c copy直接輸出 mp4 時(shí)有時(shí)會(huì)報(bào)錯(cuò)或者生成的文件無法播放。這通常跟視頻流的編碼參數(shù)有關(guān)比如某些 HLS 流里的音頻編碼格式不適合直接封裝進(jìn) mp4。一個(gè)更穩(wěn)妥的方法是先保存為 TS 格式再做一次重新封裝。TS 是一種非?！皩捜荨钡娜萜鞲袷綆缀跛?HLS 流都能直接封裝成 TS。ffmpeg -user_agent Mozilla/5.0 -headers Referer: https://example.com/\r\n -i https://example.com/video/index.m3u8 -c copy output.ts拿到 output.ts 后再執(zhí)行一次封裝轉(zhuǎn)換ffmpeg -i output.ts -c copy -movflags faststart output.mp4-movflags faststart的作用是把 mp4 文件里的索引信息移動(dòng)到文件頭部這樣視頻文件放到網(wǎng)頁中時(shí)可以先加載少量數(shù)據(jù)就能開始播放也方便在手機(jī)上快速預(yù)覽。5.4 先下載分片到本地再用 concat 合并有時(shí)候視頻源地址不穩(wěn)定直接讓 ffmpeg 在線下載會(huì)導(dǎo)致中途失敗。更穩(wěn)妥的做法是先把所有.ts分片和 m3u8 文件下載到本地再通過文件列表合并。第一步把 m3u8 里的分片地址批量下載下來。如果分片數(shù)量不多可以直接用瀏覽器或下載工具逐個(gè)下載。如果分片數(shù)量很多建議寫一個(gè)簡(jiǎn)單的腳本。這里以 Python 為例說明下載邏輯import requests base_url https://cdn.example.com/video/ segments [segment_000.ts, segment_001.ts, segment_002.ts] headers { User-Agent: Mozilla/5.0, Referer: https://example.com/ } for seg in segments: resp requests.get(base_url seg, headersheaders, timeout10) with open(seg, wb) as f: f.write(resp.content) print(fdone: {seg})第二步創(chuàng)建一個(gè)concat.txt文件內(nèi)容按以下格式填寫file segment_000.ts file segment_001.ts file segment_002.ts第三步執(zhí)行 concat 合并ffmpeg -f concat -safe 0 -i concat.txt -c copy output.mp4注意 Windows 路徑問題。如果 ts 文件路徑包含反斜杠建議統(tǒng)一改成正斜杠否則某些版本會(huì)解析報(bào)錯(cuò)。5.5 直播流的下載方式直播 m3u8 和點(diǎn)播 m3u8 最大的區(qū)別是文件末尾沒有#EXT-X-ENDLIST。ffmpeg 下載直播流時(shí)會(huì)一直等待新的分片生成不會(huì)自動(dòng)停止。如果要錄制一段時(shí)長(zhǎng)的直播可以用-t參數(shù)限制錄制時(shí)間ffmpeg -t 00:30:00 -i https://example.com/live/index.m3u8 -c copy live.mp4這條命令會(huì)錄制前 30 分鐘。也可以不加-t等需要停止時(shí)在命令行按下Ctrl C手動(dòng)中斷。6. 使用專用下載工具提升效率ffmpeg 是通用方案但在某些場(chǎng)景下使用專用工具會(huì)更高效。6.1 N_m3u8DL-REm3u8 下載的利器N_m3u8DL-RE 比 ffmpeg 更加聚焦 m3u8 下載場(chǎng)景它支持多線程并發(fā)下載分片速度更快自動(dòng)識(shí)別并處理 AES 加密解密下載完成后自動(dòng)合并輸出節(jié)省手動(dòng)操作?；居梅∟_m3u8DL-RE https://example.com/video/index.m3u8 --save-dir ./download --tmp-dir ./temp --auto-select參數(shù)說明--save-dir指定最終文件的保存目錄。--tmp-dir指定臨時(shí)分片文件的存放目錄。--auto-select自動(dòng)選擇最佳畫質(zhì)。如果下載的 m3u8 需要請(qǐng)求頭可以先用文本文件保存請(qǐng)求頭再通過--header參數(shù)指定N_m3u8DL-RE https://example.com/video/index.m3u8 --header headers.txtheaders.txt 的格式一般是User-Agent: Mozilla/5.0 Referer: https://example.com/6.2 lux自動(dòng)解析頁面視頻地址lux 適合這樣一個(gè)場(chǎng)景你手上只有一個(gè)播放頁面的 URL還沒有找到 m3u8 地址。lux 會(huì)自動(dòng)分析頁面源碼提取可用視頻流然后交給下載器下載?；居梅╨ux -i https://example.com/course/123如果頁面需要登錄可以先在瀏覽器中把 Cookie 導(dǎo)出成文件再傳給 luxlux -c cookie.txt -i https://example.com/course/123不過 lux 對(duì)第三方網(wǎng)站的適配依賴于站點(diǎn)結(jié)構(gòu)如果站點(diǎn)改版解析可能失敗。6.3 什么時(shí)候不適合用專用工具專用工具雖然方便但也有局限遇到動(dòng)態(tài)簽名有效期極短的鏈接時(shí)工具可能還沒來得及下載完鏈接就失效了遇到自定義加密方案時(shí)工具也會(huì)無能為力。這種情況下還是回到 ffmpeg 抓取當(dāng)前有效地址以最快速度完成下載比較靠譜。7. 常見問題與排查思路這一節(jié)把 m3u8 視頻下載中最常見的問題匯總成表并給出排查方向。問題現(xiàn)象常見原因解決思路下載返回 403 Forbidden缺少 Referer 或 User-Agent防盜鏈攔截補(bǔ)全請(qǐng)求頭保持與播放環(huán)境一致下載返回 404 Not Foundm3u8 地址是動(dòng)態(tài)簽名的已過期重新打開頁面抓取新的 m3u8 地址報(bào)錯(cuò) Invalid data found when processing inputm3u8 地址不對(duì)或網(wǎng)絡(luò)中斷檢查地址是否有效替換為完整可訪問的子 m3u8輸出 mp4 失敗或無法播放音視頻編碼與 mp4 容器沖突先輸出 TS 再轉(zhuǎn) MP4或用-movflags faststart加密流下載后花屏/報(bào)解密失敗key 地址需要特殊請(qǐng)求頭給 ffmpeg 或下載工具添加 Cookie/Referer分片下載到一半中斷網(wǎng)絡(luò)不穩(wěn)定或服務(wù)器限速改用支持多線程斷點(diǎn)續(xù)傳的 N_m3u8DL-REconcat 合并時(shí)報(bào)錯(cuò)文件列表格式不正確檢查路徑斜杠、引號(hào)、文件名是否與磁盤一致下載出的視頻時(shí)長(zhǎng)比源視頻短播放器請(qǐng)求的 m3u8 可能是測(cè)試片段重新抓取播放過程中最新的 m3u8 地址7.1 403 Forbidden 的完整排查步驟403 是 m3u8 下載里最高頻的報(bào)錯(cuò)。按下面的順序排查即可確認(rèn)訪問這個(gè) m3u8 地址時(shí)是否處于同一個(gè)網(wǎng)絡(luò)環(huán)境有時(shí)校內(nèi)網(wǎng)、局域網(wǎng)資源需要特定 IP。在瀏覽器無痕窗口中打開 m3u8 地址如果能播放說明地址本身有效只差請(qǐng)求頭。復(fù)制瀏覽器請(qǐng)求頭里的 Referer 和 User-Agent添加到 ffmpeg 命令中。如果仍然 403觀察瀏覽器請(qǐng)求里是否還有其他自定義請(qǐng)求頭比如Origin、Cookie繼續(xù)補(bǔ)充。如果所有請(qǐng)求頭都補(bǔ)上了仍 403大概率服務(wù)器的鑒權(quán)邏輯是動(dòng)態(tài) token 或者綁定 IP 的這種情況建議放棄直接下載。7.2 mp4 輸出失敗的替代方案很多情況下-c copy直接輸出 mp4 會(huì)失敗原因是 HLS 流里的音頻軌可能是AAC-LC或HE-AAC而 mp4 封裝對(duì)某些音頻配置支持不佳。不必糾結(jié)原因最直接的處理辦法是先封裝成 TSffmpeg -i https://example.com/video/index.m3u8 -c copy output.ts然后再統(tǒng)一轉(zhuǎn)成 mp4ffmpeg -i output.ts -c copy output.mp4這樣兩步操作基本不會(huì)遇到封裝失敗的問題。7.3 加密流解密失敗的判斷方法下載加密的 m3u8 時(shí)如果執(zhí)行命令后出現(xiàn)類似下面的日志[hls 0000025f...] Opening https://cdn.example.com/key/encrypt.key for reading說明 ffmpeg 正在嘗試讀取密鑰文件。如果隨后報(bào)錯(cuò)或者文件解碼異常通常是密鑰文件請(qǐng)求被攔截。此時(shí)可以用單獨(dú)的curl命令測(cè)試密鑰地址是否能正常訪問curl -I https://cdn.example.com/key/encrypt.key -H Referer: https://example.com/ -H User-Agent: Mozilla/5.0如果返回 403 或 404就需要在 ffmpeg 命令中補(bǔ)充請(qǐng)求頭信息。8. 從工具到工程下載腳本與最佳實(shí)踐當(dāng)你需要下載的不是一個(gè)視頻而是一整個(gè)課程目錄時(shí)手動(dòng)一條條執(zhí)行命令顯然太低效。這一節(jié)提供一個(gè)腳本化下載的思路。8.1 編寫批量下載批處理腳本W(wǎng)indows 環(huán)境下可以寫一個(gè)簡(jiǎn)單的.bat腳本循環(huán)處理 URL 列表。比如建立一個(gè)urls.txt文件每行一個(gè) m3u8 地址和一個(gè)輸出文件名用逗號(hào)分隔https://example.com/video/chapter1/index.m3u8,chapter1.mp4 https://example.com/video/chapter2/index.m3u8,chapter2.mp4再寫一個(gè)批處理文件download.batecho off chcp 65001 nul for /f tokens1,2 delims, %%i in (urls.txt) do ( echo 正在下載 %%j ffmpeg -user_agent Mozilla/5.0 -headers Referer: https://example.com/\r\n -i %%i -c copy %%j ) echo 全部下載完成 pauseLinux/macOS 環(huán)境下用 bash 腳本更順手#!/bin/bash while IFS, read -r url output; do echo 下載 $output ffmpeg -user_agent Mozilla/5.0 -headers Referer: https://example.com/\r\n -i $url -c copy $output done urls.txt注意腳本里的Referer需要替換成你自己的實(shí)際來源頁面。8.2 用 ffprobe 校驗(yàn)下載結(jié)果下載完成后建議用 ffprobe 檢查一下文件的時(shí)長(zhǎng)和編碼信息確認(rèn)視頻沒有缺分片。ffprobe -v error -show_entries formatduration -of defaultnoprint_wrappers1:nokey1 output.mp4這條命令會(huì)輸出視頻的時(shí)長(zhǎng)比如3660.000000表示 3660 秒。你可以和播放頁面上的時(shí)長(zhǎng)做對(duì)比如果明顯偏短說明某些分片沒有下載完整需要重新抓取地址再下載。8.3 命名規(guī)范和目錄規(guī)劃課程類視頻下載后最好按照“課程編號(hào) 章節(jié)編號(hào) 標(biāo)題”的規(guī)則命名例如C01_第01章_課程介紹.mp4 C01_第02章_環(huán)境搭建.mp4這樣做的好處是方便后續(xù)導(dǎo)入手機(jī)、平板等設(shè)備時(shí)保持順序也方便用 Emby、Jellyfin 這類媒體服務(wù)器統(tǒng)一管理。8.4 安全與合規(guī)建議工具本身是中性的但使用場(chǎng)景需要注意邊界。整理幾條實(shí)用的建議只下載你自己購買、有權(quán)離線使用的課程不要傳播、售賣下載后的文件。不嘗試?yán)@過 DRM 版權(quán)保護(hù)這既涉及版權(quán)問題也幾乎沒有技術(shù)可能性。不要輕易運(yùn)行網(wǎng)上流傳的“破解版下載工具”這類工具很可能捆綁惡意軟件或盜取賬號(hào)信息。使用帶有個(gè)人 Cookie 的工具時(shí)注意不要在公共設(shè)備或群聊中泄露請(qǐng)求信息。下載遇到需要登錄鑒權(quán)的資源時(shí)先確認(rèn)自己是否有合法訪問權(quán)限再考慮技術(shù)方案。9. 小結(jié)m3u8 視頻下載并不是什么高深莫測(cè)的技術(shù)。理解 HLS 的分片協(xié)議后整體思路很清晰先用開發(fā)者工具或抓包工具找到有效的 m3u8 播放列表地址再用 ffmpeg 或?qū)Ｓ霉ぞ呦螺d、解密、合并分片最后輸出為本地視頻文件。這篇文章里覆蓋了從 m3u8 協(xié)議基礎(chǔ)、地址獲取、ffmpeg 命令用法、專用工具選擇到常見報(bào)錯(cuò)排查的完整流程。如果你只是偶爾下載一兩個(gè)視頻ffmpeg 加上正確請(qǐng)求頭就夠了如果經(jīng)常需要處理大量課程視頻建議把 N_m3u8DL-RE 和批量腳本納入自己的工作流。下一步你可以繼續(xù)學(xué)習(xí) HTTP 請(qǐng)求頭鑒權(quán)機(jī)制、CDN 防盜鏈策略或者研究 HLS 直播流的錄制優(yōu)化。需要說明的是技術(shù)能力越強(qiáng)越要對(duì)自己的使用邊界有清晰認(rèn)知。把工具用在合理合法的場(chǎng)景里才是長(zhǎng)久之道。