開篇先來回顧一個場景上一篇我們聊了正則表達(dá)式如何完成“第一次匹配”明白了引擎會從左向右掃描目標(biāo)文本找到第一個滿足條件的子串后停下。那如果文本里有多處符合條件的內(nèi)容我們該怎么辦比如一篇文章里出現(xiàn)了 5 個郵箱、3 個手機(jī)號、10 個鏈接只取第一個顯然不夠用。這時候就需要“全局匹配”上場了。本文是甜醬百味正則表達(dá)式課堂初級篇的第二講主題聚焦在正則匹配原理中的“全局匹配接力”。我會從正則表達(dá)式的匹配流程講起逐步拆解全局匹配的底層邏輯再給出 Python、Java、JavaScript、Delphi 以及 Fiddler Rule Editor 中的常見寫法。無論你是剛接觸正則表達(dá)式的新手還是已經(jīng)在項(xiàng)目里寫過不少正則匹配代碼的開發(fā)者讀完這篇文章后都應(yīng)該能更清楚地理解“正則引擎是如何把一次匹配的結(jié)果接力給下一次匹配的”以及為什么有些全局匹配代碼會漏數(shù)據(jù)、死循環(huán)、甚至性能暴跌。1. 什么是全局匹配一次找出所有結(jié)果1.1 為什么需要全局匹配先看一個最簡單的需求。假設(shè)我們有一段日志文本里面記錄了多次接口調(diào)用的耗時/api/user 120ms /api/order 235ms /api/pay 189ms /api/user 98ms我們想提取出所有以/api/開頭的接口路徑。如果只做一次匹配得到的結(jié)果往往只有一個/api/user后面的/api/order、/api/pay、/api/user都會被遺漏。實(shí)際開發(fā)中這種“從一段文本里找出所有滿足條件的子串”的需求非常常見從 HTML 源碼里提取所有圖片地址。從日志中提取所有異常堆棧中的類名。從用戶輸入中識別所有手機(jī)號、郵箱、身份證號。從配置文件里批量替換所有敏感信息。如果一次次手動調(diào)用“找第一個”的函數(shù)再挪動起始位置繼續(xù)找處理起來既繁瑣又容易出錯。于是幾乎所有主流語言和工具都提供了“全局匹配”的能力一次調(diào)用返回全部匹配結(jié)果或者在循環(huán)中自動完成所有匹配。1.2 全局匹配與普通匹配的差異普通匹配我們可以理解為“查一次”。引擎從目標(biāo)字符串的起始位置或指定位置開始搜索一旦找到第一個符合條件的子串匹配成功調(diào)用結(jié)束。全局匹配可以理解為“查多次”。引擎完成一次匹配后不會立即停止而是從當(dāng)前匹配結(jié)束的位置繼續(xù)向后搜索直到掃描完整個字符串。這里有一個很容易混淆的點(diǎn)很多人以為全局匹配就是把模式在文本的每一個位置上重新試一遍。這種理解不準(zhǔn)確。全局匹配不是“從頭開始重復(fù)”而是一個“有狀態(tài)的接力過程”。舉個直觀的例子。用正則表達(dá)式abc去匹配文本abcabcabc普通匹配的結(jié)果是第 0 到 2 個字符組成的abc。全局匹配的結(jié)果是三個abc。引擎在完成第一個abc的匹配后會把“接力棒”交給下一次匹配的起點(diǎn)也就是第 3 個字符的位置。然后繼續(xù)掃描遇到第二個abc再把起點(diǎn)推進(jìn)到第 6 個字符的位置最終得到第三個abc。1.3 全局匹配的“接力”本質(zhì)“接力”這個詞最能概括全局匹配的底層邏輯。一次完整的正則匹配可以拆成兩個關(guān)鍵位置匹配起點(diǎn)引擎從哪個位置開始嘗試匹配。匹配終點(diǎn)匹配成功后消耗到的文本末尾位置。一次匹配結(jié)束后下一次匹配的起點(diǎn)一般是“上一次匹配的終點(diǎn)”。這就是接力。不過這個規(guī)則有一個特殊情況如果匹配結(jié)果是一個“零寬度匹配”也就是匹配成功但沒有消耗任何字符比如使用^、$、\b、(?...)這類斷言時上一次匹配的終點(diǎn)和起點(diǎn)是同一個位置。如果不做特殊處理下一次匹配又從同一個位置開始就會造成死循環(huán)。所以大部分實(shí)現(xiàn)會約定當(dāng)發(fā)生零寬度匹配時下一次匹配的起點(diǎn)會自動右移一個字符。這個細(xì)節(jié)非常重要很多全局匹配的詭異 bug 都源于此。后面我們在“常見坑點(diǎn)”部分會重點(diǎn)展開。2. 先回顧正則引擎如何完成一次匹配2.1 引擎、模式與目標(biāo)文本正則表達(dá)式本身只是一段“模式”字符串它不會自己運(yùn)行。真正執(zhí)行匹配工作的是編程語言或工具內(nèi)置的“正則引擎”。一個完整的匹配過程涉及兩個輸入模式Pattern我們寫的正則表達(dá)式描述“要匹配成什么樣”。目標(biāo)文本Text被搜索的字符串。引擎要做的事情就是拿著模式去目標(biāo)文本里尋找符合條件的子串。以 Python 為例最簡單的匹配代碼如下import re pattern rabc text xxabcxx match re.search(pattern, text) print(match.group()) # abc這里re.search做的事情就是讓引擎從text的起點(diǎn)開始掃描找到第一個能完整匹配abc的位置。2.2 一次匹配的完整流程為了理解“接力”我們得先看清楚“一次匹配”內(nèi)部發(fā)生了什么。假設(shè)模式是ab目標(biāo)文本是xabab。引擎的搜索過程大致如下從位置 0 開始取目標(biāo)文本當(dāng)前位置的字符x嘗試與模式第一個字符a匹配失敗。引擎右移到位置 1取字符a與模式第一個字符a匹配成功。繼續(xù)取位置 2 的字符b與模式第二個字符b匹配成功。模式已經(jīng)走完匹配成功結(jié)果是text[1:3]也就是ab。如果這時我們開啟全局匹配引擎會記下本次匹配的結(jié)束位置 3然后從位置 3 開始繼續(xù)位置 3 的字符是a與模式第一個字符a匹配成功。位置 4 的字符是b與模式第二個字符b匹配成功。匹配成功結(jié)果是text[3:5]也就是第二個ab。整個過程就像兩個人在跑接力第一棒跑到終點(diǎn)后第二棒從終點(diǎn)位置繼續(xù)跑而不是回到起點(diǎn)重新跑。2.3 匹配左邊界與右邊界在理解全局匹配的過程中有兩個位置概念我們需要特別清楚匹配左邊界匹配結(jié)果在文本中開始的下標(biāo)。匹配右邊界匹配結(jié)果在文本中結(jié)束的下標(biāo)。Python 的match.start()和match.end()返回的就是這兩個值Java 的Matcher.start()和Matcher.end()也一樣JavaScript 的match.index表示匹配左邊界match.index match[0].length可以算出右邊界。全局匹配的“接力”本質(zhì)上就是把上一次匹配的右邊界作為下一次匹配的左邊界。下面我們用一段 Python 代碼來直觀感受這個過程import re text xababyzab pattern rab for match in re.finditer(pattern, text): start match.start() end match.end() print(f匹配內(nèi)容: {match.group()}, 區(qū)間: [{start}, {end}))輸出匹配內(nèi)容: ab, 區(qū)間: [1, 3) 匹配內(nèi)容: ab, 區(qū)間: [3, 5) 匹配內(nèi)容: ab, 區(qū)間: [7, 9)可以看到第二次匹配的起點(diǎn) 3正好是第一次匹配的終點(diǎn)第三次匹配的起點(diǎn) 7也正好是第二次匹配的終點(diǎn)。這就是全局匹配的接力關(guān)系。3. 各語言中的全局匹配實(shí)現(xiàn)了解了原理之后我們來看各個開發(fā)環(huán)境中的具體寫法。不同語言對全局匹配的 API 設(shè)計(jì)不一樣但底層的“接力”邏輯是相通的理解了原理后換個語言也能很快上手。3.1 Python 正則表達(dá)式中的全局匹配Python 中做全局匹配最常用的有三個方法re.findall(pattern, text)返回所有匹配結(jié)果的列表。re.finditer(pattern, text)返回一個迭代器迭代元素是 Match 對象。re.sub(pattern, repl, text)全局替換所有匹配結(jié)果。先看一個最簡單的例子import re text 聯(lián)系方式13800138000備用13900139000座機(jī)021-88886666 pattern r1[3-9]\d{9} phones re.findall(pattern, text) print(phones) # [13800138000, 13900139000]這里re.findall直接返回了所有手機(jī)號的列表。如果我們還需要拿到每個匹配的位置信息就可以使用re.finditerimport re text 訂單號 A1001 和訂單號 A1002 已完成 pattern rA\d{4} for m in re.finditer(pattern, text): print(f訂單號: {m.group()}, 位置: {m.span()})輸出訂單號: A1001, 位置: (4, 9) 訂單號: A1002, 位置: (14, 19)m.span()返回的元組第一個元素是匹配左邊界第二個是匹配右邊界。這里要特別提醒初學(xué)者re.match不是全局匹配它只會從文本開頭嘗試匹配re.search只返回第一個匹配結(jié)果。如果你要用 Python 正則表達(dá)式提取所有結(jié)果優(yōu)先考慮findall或finditer。3.2 Java 中使用 Matcher.find() 進(jìn)行全局匹配Java 的正則匹配以Pattern和Matcher兩個類為核心。Pattern負(fù)責(zé)編譯正則表達(dá)式。Matcher負(fù)責(zé)在目標(biāo)文本上執(zhí)行匹配。Java 中最常見的全局匹配寫法是import java.util.regex.Matcher; import java.util.regex.Pattern; public class Demo { public static void main(String[] args) { String text 訂單號 A1001 和訂單號 A1002 已完成; Pattern pattern Pattern.compile(A\\d{4}); Matcher matcher pattern.matcher(text); while (matcher.find()) { System.out.println(匹配內(nèi)容: matcher.group() , 區(qū)間: [ matcher.start() , matcher.end() )); } } }輸出匹配內(nèi)容: A1001, 區(qū)間: [4, 9) 匹配內(nèi)容: A1002, 區(qū)間: [14, 19)matcher.find()的調(diào)用過程本質(zhì)上就是一次次接力第一次從文本起點(diǎn)開始找找到第一個匹配后下一次find()會從上次end()的位置繼續(xù)找直到返回false表示沒有更多匹配。Java 的Matcher內(nèi)部還封裝了一個last屬性用來記錄上一次匹配的結(jié)束位置。如果你在同一個Matcher對象上重復(fù)調(diào)用find()它會自動“接棒”繼續(xù)。如果想重新開始需要調(diào)用matcher.reset()。另外很多同學(xué)會混淆matches()和find()matches()要求整個字符串完全匹配正則表達(dá)式。find()是在字符串中查找子串只要某個子串匹配就成功。這一點(diǎn)在“Java 校驗(yàn)純數(shù)字”場景中特別關(guān)鍵后面我們會專門說。3.3 JavaScript 中 g 標(biāo)志與 lastIndex 接力JavaScript 的全局匹配和 Python、Java 相比更有意思因?yàn)樗选敖恿Π簟敝苯颖┞督o了我們這個“接力棒”就是正則對象上的lastIndex屬性。在 JavaScript 中如果你想做全局匹配需要在正則表達(dá)式末尾加上g標(biāo)志const text 訂單號 A1001 和訂單號 A1002 已完成; const pattern /A\d{4}/g; const matches text.match(pattern); console.log(matches); // [A1001, A1002]使用String.prototype.match()配合g標(biāo)志時會一次性返回所有匹配結(jié)果。這種方式最簡單但拿不到匹配位置。如果想拿到每次匹配的詳細(xì)信息可以使用RegExp.prototype.exec()循環(huán)匹配const text 訂單號 A1001 和訂單號 A1002 已完成; const pattern /A\d{4}/g; let match; while ((match pattern.exec(text)) ! null) { console.log(匹配內(nèi)容:, match[0], 位置:, match.index); }輸出匹配內(nèi)容: A1001 位置: 4 匹配內(nèi)容: A1002 位置: 14這里的關(guān)鍵點(diǎn)在于帶有g(shù)標(biāo)志的正則對象是有狀態(tài)的。每執(zhí)行一次exec()正則對象的lastIndex就會更新為本次匹配的結(jié)束位置。下一次exec()會從lastIndex開始繼續(xù)查找。我們可以手動驗(yàn)證一下const text A1001 A1002; const pattern /A\d{4}/g; console.log(pattern.lastIndex); // 0 console.log(pattern.exec(text)[0]); // A1001 console.log(pattern.lastIndex); // 5 console.log(pattern.exec(text)[0]); // A1002 console.log(pattern.lastIndex); // 10如果執(zhí)行完所有匹配后你再用同一個正則對象去匹配另一段文本就會踩坑因?yàn)閘astIndex還停在上一段文本的末尾直接執(zhí)行exec()很可能會返回null。此時需要手動把lastIndex重置為 0。ES2020 還為我們提供了String.prototype.matchAll()它結(jié)合了“一次性返回所有結(jié)果”和“能拿到位置信息”兩個優(yōu)點(diǎn)const text 訂單號 A1001 和訂單號 A1002 已完成; const pattern /A\d{4}/g; for (const match of text.matchAll(pattern)) { console.log(匹配內(nèi)容:, match[0], 位置:, match.index); }matchAll()要求正則表達(dá)式必須帶g標(biāo)志否則會拋出異常。3.4 Delphi 正則表達(dá)式中的全局匹配如果你做的是 Windows 桌面開發(fā)或老項(xiàng)目維護(hù)可能會遇到 Delphi 環(huán)境。Delphi 中使用正則表達(dá)式通常依賴第三方庫或系統(tǒng)自帶的System.RegularExpressions單元。以System.RegularExpressions為例全局匹配可以通過TRegEx.Matches來實(shí)現(xiàn)uses System.RegularExpressions; procedure ShowAllMatches(const AText, APattern: string); var RegEx: TRegEx; Match: TMatch; begin RegEx : TRegEx.Create(APattern); for Match in RegEx.Matches(AText) do WriteLn(Match.Value, 位置: , Match.Index); end;調(diào)用示例begin ShowAllMatches(訂單號 A1001 和訂單號 A1002, A\d{4}); end;輸出A1001 位置: 4 A1002 位置: 14TRegEx.Matches會返回一個TMatchCollection里面包含了所有匹配結(jié)果我們可以直接遍歷。TMatch的Value屬性是匹配到的字符串Index屬性是匹配左邊界Length屬性是匹配長度。關(guān)于 Delphi 正則表達(dá)式有一點(diǎn)需要提醒不同版本的 Delphi 自帶的正則引擎實(shí)現(xiàn)有一定差異如果你使用的是第三方庫比如 TPerlRegExAPI 的名稱和返回值結(jié)構(gòu)會有所不同。遇到版本差異時優(yōu)先查閱當(dāng)前環(huán)境的官方文檔或庫說明。3.5 Fiddler Rule Editor 中的正則匹配條件熱搜詞里有人問“fiddler 的 rule editor 的匹配條件怎么配置正則”這里單開一小節(jié)說明。Fiddler 是 HTTP 調(diào)試代理工具它的 Rule Editor 里支持用正則表達(dá)式來匹配請求或響應(yīng)。常見的場景是修改某個響應(yīng)、打斷某個請求、或者給指定 URL 打標(biāo)簽。在 Fiddler 的 Rule Editor 中配置正則匹配條件時通常不用寫正則的前后斜杠直接在匹配條件欄里寫正則內(nèi)容即可。例如你想匹配 URL 中包含數(shù)字參數(shù)id123的請求可以寫成id\d如果你要匹配路徑以/api/開頭、但排除.png結(jié)尾的請求可以這樣寫^/api/.*(?!\.png)$需要注意的是Fiddler 的規(guī)則腳本使用的是 JScript.NET 語法正則引擎整體上遵循 JavaScript 風(fēng)格。在編寫規(guī)則時\d、\w、.*、(?...)這些常見語法都能使用。如果你在 Rule Editor 里寫了一個正則但始終匹配不到預(yù)期請求可以先在獨(dú)立的 JavaScript 正則測試環(huán)境里驗(yàn)證排除轉(zhuǎn)義和語法層面的問題。4. 實(shí)戰(zhàn)案例提取文本中的郵箱和手機(jī)號這一節(jié)我們用一個完整的案例把前面講的原理串起來。4.1 需求與正則設(shè)計(jì)假設(shè)我們拿到一段混合文本聯(lián)系人張三電話13812345678郵箱zhangsanexample.com 緊急聯(lián)系人李四電話15987654321郵箱lisitest.org 備用郵箱wangwuexample.cn現(xiàn)在需要提取所有手機(jī)號。所有郵箱地址。手機(jī)號的正則表達(dá)式可以寫成1[3-9]\d{9}郵箱的正則表達(dá)式可以簡單寫成\w\w\.\w這個郵箱正則適合教學(xué)演示實(shí)際項(xiàng)目里的郵箱格式更復(fù)雜需要根據(jù)業(yè)務(wù)場景調(diào)整。為了演示全局匹配我們先用這個簡化版本。4.2 Python 實(shí)現(xiàn)import re text 聯(lián)系人張三電話13812345678郵箱zhangsanexample.com 緊急聯(lián)系人李四電話15987654321郵箱lisitest.org 備用郵箱wangwuexample.cn phone_pattern r1[3-9]\d{9} email_pattern r\w\w\.\w phones re.findall(phone_pattern, text) emails re.findall(email_pattern, text) print(手機(jī)號:, phones) print(郵箱:, emails)輸出手機(jī)號: [13812345678, 15987654321] 郵箱: [zhangsanexample.com, lisitest.org, wangwuexample.cn]如果我們希望同時知道每個匹配的位置可以用finditerimport re text 張三 13812345678李四 15987654321 pattern r1[3-9]\d{9} for m in re.finditer(pattern, text): print(f手機(jī)號: {m.group()}, 區(qū)間: {m.span()}, 前面字符: {text[m.start()-1] if m.start() 0 else })輸出手機(jī)號: 13812345678, 區(qū)間: (3, 14), 前面字符: 手機(jī)號: 15987654321, 區(qū)間: (18, 29), 前面字符: 4.3 Java 實(shí)現(xiàn)import java.util.regex.Matcher; import java.util.regex.Pattern; public class ExtractDemo { public static void main(String[] args) { String text 聯(lián)系人張三電話13812345678郵箱zhangsanexample.com\n 緊急聯(lián)系人李四電話15987654321郵箱lisitest.org\n 備用郵箱wangwuexample.cn; String phoneRegex 1[3-9]\\d{9}; String emailRegex \\w\\w\\.\\w; System.out.println(手機(jī)號:); Matcher phoneMatcher Pattern.compile(phoneRegex).matcher(text); while (phoneMatcher.find()) { System.out.println( phoneMatcher.group() [ phoneMatcher.start() , phoneMatcher.end() )); } System.out.println(郵箱:); Matcher emailMatcher Pattern.compile(emailRegex).matcher(text); while (emailMatcher.find()) { System.out.println( emailMatcher.group() [ emailMatcher.start() , emailMatcher.end() )); } } }輸出手機(jī)號: 13812345678 [10, 21) 15987654321 [33, 44) 郵箱: zhangsanexample.com [26, 45) lisitest.org [53, 66) wangwuexample.cn [70, 87)這里的start()和end()就是前面講的匹配左邊界和匹配右邊界。4.4 運(yùn)行結(jié)果對比實(shí)現(xiàn)語言獲取方式能否拿到位置信息內(nèi)存表現(xiàn)Python findall返回列表否所有結(jié)果一次性載入內(nèi)存Python finditer返回迭代器是逐條產(chǎn)生結(jié)果節(jié)省內(nèi)存Java find 循環(huán)循環(huán)調(diào)用是逐條處理不緩存全部結(jié)果JavaScript match返回?cái)?shù)組否所有結(jié)果一次性載入內(nèi)存JavaScript exec 循環(huán)循環(huán)調(diào)用是逐條處理Delphi Matches返回集合是結(jié)果全部載入內(nèi)存這個對比告訴我們一個重要經(jīng)驗(yàn)如果待處理文本很大或者匹配結(jié)果很多優(yōu)先選擇“迭代器/循環(huán)”方式的 API可以有效降低內(nèi)存占用。4.5 案例要點(diǎn)復(fù)盤通過這個案例我們可以看到全局匹配的通用價值一次調(diào)用拿到全部結(jié)果。從匹配結(jié)果中既能拿到“內(nèi)容”也能拿到“位置”。語言不同API 不同但底層都是“上一次匹配的終點(diǎn)作為下一次匹配的起點(diǎn)”這同一個接力邏輯。5. 全局匹配的常見坑點(diǎn)與排查思路全局匹配雖然方便但坑點(diǎn)也不少。這一節(jié)我們挑幾個高頻問題詳細(xì)說明。5.1 Java 校驗(yàn)純數(shù)字要小心 matches 與 find 的區(qū)別熱搜詞里有一句“java 校驗(yàn)純數(shù)字 正則表達(dá)式”這里必須單獨(dú)強(qiáng)調(diào)一下。很多新手想校驗(yàn)一個字符串是不是純數(shù)字會寫String str 123456; boolean isDigit str.matches(\\d); System.out.println(isDigit); // true這樣寫是正確的因?yàn)閙atches()會要求整個字符串完全匹配正則表達(dá)式。但如果把它改成String str abc123; boolean hasDigit Pattern.compile(\\d).matcher(str).find(); System.out.println(hasDigit); // truefind()做的是“查找子串”它會發(fā)現(xiàn)字符串里存在數(shù)字子串123于是返回true但校驗(yàn)“純數(shù)字”顯然應(yīng)該返回false。這個坑的本質(zhì)就是本節(jié)一直在講的“普通匹配/全局匹配”的定位差異matches()/ 全串匹配必須整體符合。find()/ 查找只要存在一個子串符合即可。lookingAt()/ 前綴匹配從開頭開始匹配但不要求到結(jié)尾。建議在 Java 里封裝一個工具方法public static boolean isPureNumber(String str) { if (str null || str.isEmpty()) { return false; } return str.matches(\\d); }如果你的正則表達(dá)式是動態(tài)拼接的建議使用Pattern和Matcher的方式方便復(fù)用和后續(xù)維護(hù)。5.2 JavaScript lastIndex 未重置導(dǎo)致結(jié)果異常前面說過帶g標(biāo)志的正則對象是有狀態(tài)的lastIndex記錄著下一次匹配的起點(diǎn)。下面這段代碼是常見的坑const pattern /\d/g; console.log(第一次匹配:); let match; while ((match pattern.exec(123 456)) ! null) { console.log(match[0]); } console.log(第二次匹配同一正則對象:); while ((match pattern.exec(789 012)) ! null) { console.log(match[0]); }第二次循環(huán)可能直接不執(zhí)行因?yàn)榈谝淮窝h(huán)結(jié)束后pattern.lastIndex停在字符串末尾第二次exec時從末尾開始查找直接返回null。解決辦法有兩種每次使用前手動重置pattern.lastIndex 0。每次使用新的正則字面量或重新new RegExp(...)。更推薦第二種方式因?yàn)榈谝环N方式容易遺漏尤其在函數(shù)復(fù)用同一個正則對象時。5.3 零寬匹配導(dǎo)致死循環(huán)或異常結(jié)果零寬匹配是全局匹配中最難理解也最容易出 bug 的情況之一?？匆粋€例子const text abc; const pattern /(?.)/g; let match; let count 0; while ((match pattern.exec(text)) ! null) { count; if (count 20) break; // 防止死循環(huán) console.log(匹配位置:, match.index, 內(nèi)容:, JSON.stringify(match[0])); }(?.)是一個零寬正向先行斷言表示“當(dāng)前位置后面有任意字符”。它匹配成功但不消耗字符所以理論上它能在每個位置成功匹配。如果引擎不處理“零寬匹配”的邊界條件就直接陷入死循環(huán)。實(shí)際上 JavaScript 的引擎做了處理當(dāng)一次匹配結(jié)果長度為 0 時會把lastIndex自動加 1避免無限循環(huán)。在 Python 中也有類似情況。比如import re text abc pattern re.compile(r\b) for m in pattern.finditer(text): print(m.span())輸出(0, 0) (1, 1) (2, 2) (3, 3)可以看到\b匹配的是單詞邊界結(jié)果全是零寬匹配。finditer自動處理了位置推進(jìn)所以我們拿到的位置依次是 0、1、2、3每個位置的跨度都是 0。理解這一點(diǎn)后你在寫“全局匹配 斷言”的正則時就要格外小心如果正則可能產(chǎn)生零寬匹配務(wù)必想清楚結(jié)果是否符合預(yù)期避免出現(xiàn)重復(fù)或無意義的匹配項(xiàng)。5.4 換行符導(dǎo)致^、$、.匹配不符合預(yù)期默認(rèn)情況下很多語言的正則引擎中^只匹配整個字符串的開頭$只匹配整個字符串的結(jié)尾.不匹配換行符\n。比如下面的 Python 代碼import re text line1\nline2\nline3 pattern r^line\d$ result re.findall(pattern, text, flagsre.MULTILINE) print(result)如果不加re.MULTILINE^line只能匹配第一行的line1但$要求是字符串結(jié)尾line1后面有換行匹配會失敗。加上re.MULTILINE后^和$會按行匹配輸出[line1, line2, line3]如果你希望.也能匹配換行符可以使用re.DOTALLPython或Pattern.DOTALLJava。這個坑在全局匹配中很容易被忽視文本里一旦有多行內(nèi)容單行肉眼看著正確的正則實(shí)際運(yùn)行可能什么都匹配不到或者只匹配到第一行。5.5 全局匹配中的貪婪匹配與性能隱患全局匹配會讓正則引擎把整個字符串掃描一遍。如果正則表達(dá)式本身寫得不好比如在全局匹配中使用了嵌套量詞(a)當(dāng)目標(biāo)文本是aaaaaaaaaaaaaaaaaaaaaaaaaaaaX時引擎會因?yàn)榛厮荻萑霕O低的性能狀態(tài)甚至導(dǎo)致所謂的“災(zāi)難性回溯”Catastrophic Backtracking。這在處理用戶輸入、日志文本時尤其危險嚴(yán)重的會拖垮服務(wù)。一個典型的危險模式是(\w\s?)*這種“量詞套量詞”的結(jié)構(gòu)遇到較長且不匹配的輸入時回溯次數(shù)會爆炸式增長。在全局匹配場景下這個問題會被放大因?yàn)橐娌恢皇瞧ヅ湟淮味菚L試匹配所有位置。建議能用非貪婪量詞時明確寫出*?、?。盡量避免嵌套量詞。對大型文本做匹配時設(shè)置超時機(jī)制例如 Java 中的Matcher無法直接設(shè)置超時但可以在外部用線程控制。優(yōu)先用更具體的字符類和邊界條件縮小匹配范圍。5.6 Python findall 與捕獲組的返回值形態(tài)re.findall有一個容易讓新手困惑的行為如果正則表達(dá)式里有捕獲組用小括號括起來的部分findall返回的就不再是字符串列表而是元組列表。import re text 張三 13812345678, 李四 15987654321 pattern r([\u4e00-\u9fa5])\s(1[3-9]\d{9}) result re.findall(pattern, text) print(result) # [(張三, 13812345678), (李四, 15987654321)]這個行為在某些時候很方便但如果你只想取出部分捕獲組的內(nèi)容可能會導(dǎo)致列表中有多余的空字符串元素或者結(jié)果結(jié)構(gòu)和你預(yù)期不一致。排查建議先用re.finditer打印每個match.group(0)以及各分組的span()確認(rèn)分組結(jié)構(gòu)再決定是用findall還是finditer。6. 最佳實(shí)踐與工程化建議6.1 優(yōu)先使用預(yù)編譯正則對象在 Python、Java 等支持正則預(yù)編譯的語言中如果同一個正則表達(dá)式會被多次使用建議提前編譯避免每次匹配都重新走一遍“編譯正則表達(dá)式”的流程。Python 示例import re phone_pattern re.compile(r1[3-9]\d{9}) def extract_phones(text): return phone_pattern.findall(text)Java 示例private static final Pattern PHONE_PATTERN Pattern.compile(1[3-9]\\d{9}); public static ListString extractPhones(String text) { ListString result new ArrayList(); Matcher matcher PHONE_PATTERN.matcher(text); while (matcher.find()) { result.add(matcher.group()); } return result; }預(yù)編譯的好處是提升重復(fù)匹配性能。讓模式集中定義方便維護(hù)。避免字符串拼接時反復(fù)檢查語法。6.2 明確引擎差異按語言調(diào)整寫法不同語言的正則引擎支持的語法和默認(rèn)行為有差異。例如Python 的re模塊中默認(rèn)的\d可以匹配 Unicode 數(shù)字。JavaScript 的\d默認(rèn)只匹配 ASCII 數(shù)字ES2018 之后可以用u標(biāo)志配合\p{N}匹配 Unicode 數(shù)字。Java 的\d默認(rèn)匹配 ASCII 數(shù)字需要啟用UNICODE_CHARACTER_CLASS才能匹配 Unicode 數(shù)字。Delphi 的\d在不同正則庫中表現(xiàn)也不同。寫跨語言正則時盡量使用最基礎(chǔ)的語法減少對高級特性的依賴。如果必須使用高級特性要在注釋中明確標(biāo)注該正則適用的語言和引擎版本。6.3 避免正則注入與災(zāi)難性回溯正則注入是容易被忽略的安全問題。當(dāng)用戶輸入直接拼接到正則表達(dá)式中時可能會造成表達(dá)式語義被篡改。匹配范圍擴(kuò)大到預(yù)期之外。觸發(fā)災(zāi)難性回溯造成拒絕服務(wù)。Python 中可以使用re.escape()轉(zhuǎn)義用戶輸入import re keyword input(請輸入搜索關(guān)鍵詞).strip() escaped_keyword re.escape(keyword) pattern re.compile(rf標(biāo)題{escaped_keyword})Java 中可以使用Pattern.quote()String keyword 用戶輸入; Pattern pattern Pattern.compile(標(biāo)題 Pattern.quote(keyword));這能保證用戶輸入中的元字符被當(dāng)作普通字符處理而不是被解釋成正則語法。6.4 善用匹配位置信息做日志與排查在排查線上數(shù)據(jù)提取問題時只打印匹配到的內(nèi)容往往不夠重要信息還包括匹配的區(qū)間位置。建議在開發(fā)階段輸出下面這樣的日志匹配內(nèi)容: A1001, 區(qū)間: [4, 9), 前文: 訂單號 , 后文: 和這樣能快速定位以下問題匹配到的內(nèi)容不符合預(yù)期。匹配區(qū)間重疊或缺失。匹配結(jié)果把前后多余字符也包含進(jìn)來了。調(diào)試時還可以利用環(huán)視斷言逐步縮小范圍例如先匹配出所有包含A的子串再觀察位置逐步修改正則。6.5 復(fù)雜提取任務(wù)優(yōu)先拆步驟一個常見的誤區(qū)是試圖用一條超長正則解決所有問題。例如同時提取手機(jī)號、郵箱、URL、身份證號如果全部塞進(jìn)一個正則里不僅難以閱讀而且任何一個分支出現(xiàn)邊界問題整個正則都會失效。更推薦的做法是把提取任務(wù)按類型拆分每種類型使用獨(dú)立正則。對每個正則分別編寫測試用例。綜合結(jié)果時再按業(yè)務(wù)規(guī)則去重或排序。這樣既提升了可維護(hù)性也降低了單條正則在全局匹配時的性能壓力。7. 總結(jié)與下一步學(xué)習(xí)建議到這里本文的核心內(nèi)容已經(jīng)講完了。我們圍繞“全局匹配接力”這一條主線梳理了正則表達(dá)式匹配的基本流程解釋了“上一次匹配的終點(diǎn)就是下一次匹配的起點(diǎn)”這個接力機(jī)制并給出了 Python、Java、JavaScript、Delphi 和 Fiddler Rule Editor 中的實(shí)際寫法。全局匹配真正的難點(diǎn)不在 API 本身而在于理解正則引擎的狀態(tài)變化。記住“匹配左邊界”“匹配右邊界”“零寬匹配”這三個關(guān)鍵詞大部分全局匹配的坑你都能提前避開。下一步你可以繼續(xù)練習(xí)這些方向捕獲組與非捕獲組學(xué)會在全局匹配中提取指定部分。斷言零寬正向先行斷言(?...)、負(fù)向先行斷言(?!...)理解斷言在全局匹配中的位置推進(jìn)規(guī)則。貪婪、懶惰與獨(dú)占模式理解*、*?、*的匹配差異避免回溯問題。正則性能測試拿一段真實(shí)的日志文本對比不同正則寫法的耗時。如果本文對你有幫助可以收藏備用后續(xù)我會在進(jìn)階篇里繼續(xù)聊斷言、分組和回溯這些更有深度的主題。動手寫幾個匹配例子配合斷點(diǎn)觀察匹配位置的變化比只看不練有效得多。