出前規(guī)范化并過濾日志？)
如何用 OTel Collector 的 transform 與 filter 處理器在導(dǎo)出前規(guī)范化并過濾日志【免費(fèi)下載鏈接】netdataThe fastest path to AI-powered full stack observability, even for lean teams.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ne/netdata當(dāng)多個(gè) receiver 采集到的日志在發(fā)送到 Netdata 之前需要統(tǒng)一做同樣的事——把 JSON 日志體展開成屬性、把應(yīng)用自有的level字段提升為 severity、補(bǔ)上缺失的 service 標(biāo)識(shí)再丟掉健康檢查之類的噪聲記錄——OTel Collector 的transform和filter處理器就是干這個(gè)的。本文適用于已經(jīng)跑通 Ingest OpenTelemetry Metrics and Logs 中前置步驟的環(huán)境本機(jī)有一個(gè)帶 OpenTelemetry 插件的 Netdata AgentCollector 與 Agent 同主機(jī)通過127.0.0.1:4317的 OTLP/gRPC 端點(diǎn)通信。文檔示例均使用 OpenTelemetry Collector Contrib0.157.0驗(yàn)證。前提先確認(rèn)采集鏈路已通在寫處理器之前先保證最小鏈路能工作。要點(diǎn)來自 Ingest OpenTelemetry Metrics and LogsNetdata Agent 必須帶 OpenTelemetry 插件。Linux 原生 DEB/RPM 包作為netdata的依賴安裝靜態(tài)構(gòu)建默認(rèn)捆綁32 位 ARMv6 除外所有 Docker 鏡像都包含Linux 源碼構(gòu)建需要--enable-plugin-otel。插件在 Windows 和 FreeBSD 上不可用。導(dǎo)出端只能用otlp_grpcexporter 加端口4317。Netdata 不接受otlp_httpexporter 或 OTLP/HTTP 端口4318如果localhost解析到 IPv6請(qǐng)寫127.0.0.1。同主機(jī)回環(huán)連接可以用下面這個(gè)禁用 TLS 的 exporter跨主機(jī)時(shí)要改用 TLS詳見 Securing the OTLP Endpointexporters: otlp_grpc/netdata: endpoint: 127.0.0.1:4317 tls: insecure: true驗(yàn)證otel-logs視圖需要 Netdata Cloud 賬號(hào)并登錄該視圖是有訪問門檻的。何時(shí)用 transform而不是 receiver 自帶的解析器如果某類格式只在某一個(gè)文件源出現(xiàn)優(yōu)先用 receiver 內(nèi)置的解析能力。file_logreceiver 的operators可以直接加json_parser在采集時(shí)就把時(shí)間戳和 severity 提升為 OpenTelemetry 日志記錄字段receivers: file_log/my_application: include: [/var/log/myapp/*.json] start_at: end operators: - type: json_parser timestamp: parse_from: attributes.time layout: %Y-%m-%dT%H:%M:%S.%LZ severity: parse_from: attributes.leveltransform處理器適合跨多個(gè) receiver 復(fù)用、或需要在采集之后統(tǒng)一改寫的場(chǎng)景filter處理器則專門用來丟棄記錄。下面的所有配置均假定你在一條共享的 logs 管道上做這種統(tǒng)一處理。用 transform 解析 JSON 日志體當(dāng)日志的 body 是一段 JSON 字符串時(shí)用ParseJSON解析并把鍵合并進(jìn)日志屬性processors: transform/parse_json: error_mode: ignore log_statements: - merge_maps(log.attributes, ParseJSON(log.body), insert) where IsString(log.body)對(duì)于形如{level:error,msg:connection refused,duration_ms:312}的 body處理器會(huì)添加level、msg、duration_ms三個(gè)屬性同時(shí)保留原始 body。insert策略在已存在同名屬性時(shí)保留原值error_mode: ignore讓非法 JSON 的記錄繼續(xù)走管道Collector 只記錄轉(zhuǎn)換錯(cuò)誤。where IsString(log.body)保證只對(duì)字符串 body 執(zhí)行。注意ParseJSON要求 body 是 JSON 字符串遇到非字符串或非法 JSON 會(huì)返回錯(cuò)誤。用 transform 規(guī)范化 severity 與資源標(biāo)識(shí)解析出level之后把它提升為 severity text并在缺失時(shí)補(bǔ)上 Netdata Logs tab 用來識(shí)別流的 resource 標(biāo)識(shí)processors: transform/normalize_logs: error_mode: ignore log_statements: - set(log.severity_text, log.attributes[level]) where log.attributes[level] ! nil - set(resource.attributes[service.name], my-application) where resource.attributes[service.name] nil - set(resource.attributes[service.namespace], production) where resource.attributes[service.namespace] nil第一條語(yǔ)句只把源值原樣保存為文本它不會(huì)推斷出 OpenTelemetry 的 severity number。如果下游條件或儀表盤依賴數(shù)值 severity需要按來源的級(jí)別顯式映射不要假設(shè)所有應(yīng)用使用同一套標(biāo)尺。靜態(tài)的service.name/service.namespace只在管道只服務(wù)一個(gè)已知服務(wù)時(shí)合適共享管道應(yīng)從可信的 receiver 元數(shù)據(jù)派生標(biāo)識(shí)或保留應(yīng)用已有的 OpenTelemetry resource 屬性。用 filter 丟棄噪聲記錄注意transform里給屬性賦值不會(huì)丟棄記錄丟記錄必須用filter處理器的log_conditions——任意一條條件命中該記錄即被丟棄條件之間是 OR 關(guān)系processors: filter/drop_noise: error_mode: ignore log_conditions: - IsMatch(log.body, (?i)health.?check)filter 的位置很關(guān)鍵放在 Netdata exporter 之前也放在任何不應(yīng)統(tǒng)計(jì)被丟棄記錄的 connector 之前。filter 會(huì)永久丟棄匹配的遙測(cè)數(shù)據(jù)文檔建議從窄條件開始、先觀察代表性輸入、在非關(guān)鍵管道上測(cè)試再部署。組裝一條完整的文件到 Netdata 管道把上面的組件拼起來tail 一份 JSON 行日志解析 body缺失時(shí)補(bǔ) service 標(biāo)識(shí)丟棄健康檢查再把剩余日志發(fā)到本機(jī) Netdata Agentreceivers: file_log/my_application: include: [/var/log/myapp/*.json] start_at: end processors: transform/prepare_logs: error_mode: ignore log_statements: - merge_maps(log.attributes, ParseJSON(log.body), insert) where IsString(log.body) - set(log.severity_text, log.attributes[level]) where log.attributes[level] ! nil - set(resource.attributes[service.name], my-application) where resource.attributes[service.name] nil filter/drop_health_checks: error_mode: ignore log_conditions: - IsMatch(log.body, (?i)health.?check) exporters: otlp_grpc/netdata: endpoint: 127.0.0.1:4317 tls: insecure: true service: pipelines: logs: receivers: [file_log/my_application] processors: [transform/prepare_logs, filter/drop_health_checks] exporters: [otlp_grpc/netdata]處理器順序是這條管道能不能生效的核心遵循文檔給出的 OTTL 操作規(guī)則用信號(hào)專屬路徑寫語(yǔ)句和條件如log.body、log.attributes、resource.attributes。where讓單條語(yǔ)句有條件地執(zhí)行filter 條件不同任一命中即丟棄。先解析、再讀取解析出的屬性先規(guī)范化、再按規(guī)范化后的值過濾過濾放在不應(yīng)收到被丟棄記錄的 connector 和 exporter 之前。error_mode: ignore會(huì)記錄求值錯(cuò)誤并繼續(xù)處理只有當(dāng)你寧可丟棄受影響的載荷也不轉(zhuǎn)發(fā)未轉(zhuǎn)換數(shù)據(jù)時(shí)才用propagate。OTTL 語(yǔ)法和處理器配置隨版本演進(jìn)以你所部署的確切 Collector 版本的上游文檔為準(zhǔn)。生產(chǎn)環(huán)境的文件采集還應(yīng)加上持久化 offsetfile_storage擴(kuò)展 receiver 的storage選項(xiàng)做法見 Collect Logs with OpenTelemetry Collector 的 Application log files 一節(jié)不帶 storage 時(shí) offset 只存在內(nèi)存里重啟行為取決于start_at。驗(yàn)證結(jié)果保存配置后按你的安裝方式啟動(dòng)或重載 Collector。在 Netdata 打開該節(jié)點(diǎn)的Logstab選擇otel-logs數(shù)據(jù)源再用Services選擇器選中你配置的服務(wù)。Netdata 里存儲(chǔ)的服務(wù)字段就是resource.attributes.service.name所以第 4 節(jié) transform 中補(bǔ)的service.name直接決定這里能選中什么。如果 Collector 報(bào)告導(dǎo)出成功但記錄缺失檢查記錄的時(shí)間戳Netdata 只接受過去 24 小時(shí)內(nèi)、未來 10 分鐘內(nèi)的記錄被拒的記錄通過 OTLPpartial_success上報(bào)。排查與邊界文檔給出的對(duì)照項(xiàng)如下出現(xiàn)對(duì)應(yīng)現(xiàn)象時(shí)按此判斷Collector 拒絕配置用你確切在用的 Collector 版本核對(duì)組件標(biāo)識(shí)符和 OTTL 路徑。transform和filter是 Contrib 組件Core 發(fā)行版里不一定有。解析出的屬性沒有出現(xiàn)用臨時(shí)的 debug exporter 檢查 incoming body 的類型和值。ParseJSON要求 JSON 字符串非法 JSON 會(huì)返回錯(cuò)誤在error_mode: ignore下記錄會(huì)繼續(xù)走管道。severity 過濾表現(xiàn)異常先確認(rèn)來源到底設(shè)置了severity_number、只有severity_text、還是自定義屬性。文本到數(shù)值的映射需要按來源單獨(dú)寫規(guī)則。太多記錄消失了移除或收窄 filter 條件同時(shí)觀察代表性記錄。log_conditions內(nèi)的條件按 OR 組合。Netdata 收到了日志但 service 選擇器是空的在導(dǎo)出前設(shè)置resource.attributes.service.name然后在otel-logs數(shù)據(jù)源里核對(duì)它。最后一條容易踩的邊界transform 和 filter 只待在一條信號(hào)管道內(nèi)它們不會(huì)把日志變成指標(biāo)。如果你要從匹配的日志記錄派生指標(biāo)例如 warning/error 計(jì)數(shù)需要 connector 橋接 logs 和 metrics 管道Netdata 維護(hù)的配方在 Create metrics from OpenTelemetry logs?！久赓M(fèi)下載鏈接】netdataThe fastest path to AI-powered full stack observability, even for lean teams.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ne/netdata創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 如何用 OTel Collector 的 transform 與 filter 處理器在導(dǎo)出前規(guī)范化并過濾日志？
如何用 OTel Collector 的 transform 與 filter 處理器在導(dǎo)出前規(guī)范化并過濾日志【免費(fèi)下載鏈接】netdataThe fastest path to AI-powered full stack observability, even for lean teams.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ne/netdata當(dāng)多個(gè) receiver 采集到的日志在發(fā)送到 Netdata 之前需要統(tǒng)一做同樣的事——把 JSON 日志體展開成屬性、把應(yīng)用自有的level字段提升為 severity、補(bǔ)上缺失的 service 標(biāo)識(shí)再丟掉健康檢查之類的噪聲記錄——OTel Collector 的transform和filter處理器就是干這個(gè)的。本文適用于已經(jīng)跑通 Ingest OpenTelemetry Metrics and Logs 中前置步驟的環(huán)境本機(jī)有一個(gè)帶 OpenTelemetry 插件的 Netdata AgentCollector 與 Agent 同主機(jī)通過127.0.0.1:4317的 OTLP/gRPC 端點(diǎn)通信。文檔示例均使用 OpenTelemetry Collector Contrib0.157.0驗(yàn)證。前提先確認(rèn)采集鏈路已通在寫處理器之前先保證最小鏈路能工作。要點(diǎn)來自 Ingest OpenTelemetry Metrics and LogsNetdata Agent 必須帶 OpenTelemetry 插件。Linux 原生 DEB/RPM 包作為netdata的依賴安裝靜態(tài)構(gòu)建默認(rèn)捆綁32 位 ARMv6 除外所有 Docker 鏡像都包含Linux 源碼構(gòu)建需要--enable-plugin-otel。插件在 Windows 和 FreeBSD 上不可用。導(dǎo)出端只能用otlp_grpcexporter 加端口4317。Netdata 不接受otlp_httpexporter 或 OTLP/HTTP 端口4318如果localhost解析到 IPv6請(qǐng)寫127.0.0.1。同主機(jī)回環(huán)連接可以用下面這個(gè)禁用 TLS 的 exporter跨主機(jī)時(shí)要改用 TLS詳見 Securing the OTLP Endpointexporters: otlp_grpc/netdata: endpoint: 127.0.0.1:4317 tls: insecure: true驗(yàn)證otel-logs視圖需要 Netdata Cloud 賬號(hào)并登錄該視圖是有訪問門檻的。何時(shí)用 transform而不是 receiver 自帶的解析器如果某類格式只在某一個(gè)文件源出現(xiàn)優(yōu)先用 receiver 內(nèi)置的解析能力。file_logreceiver 的operators可以直接加json_parser在采集時(shí)就把時(shí)間戳和 severity 提升為 OpenTelemetry 日志記錄字段receivers: file_log/my_application: include: [/var/log/myapp/*.json] start_at: end operators: - type: json_parser timestamp: parse_from: attributes.time layout: %Y-%m-%dT%H:%M:%S.%LZ severity: parse_from: attributes.leveltransform處理器適合跨多個(gè) receiver 復(fù)用、或需要在采集之后統(tǒng)一改寫的場(chǎng)景filter處理器則專門用來丟棄記錄。下面的所有配置均假定你在一條共享的 logs 管道上做這種統(tǒng)一處理。用 transform 解析 JSON 日志體當(dāng)日志的 body 是一段 JSON 字符串時(shí)用ParseJSON解析并把鍵合并進(jìn)日志屬性processors: transform/parse_json: error_mode: ignore log_statements: - merge_maps(log.attributes, ParseJSON(log.body), insert) where IsString(log.body)對(duì)于形如{level:error,msg:connection refused,duration_ms:312}的 body處理器會(huì)添加level、msg、duration_ms三個(gè)屬性同時(shí)保留原始 body。insert策略在已存在同名屬性時(shí)保留原值error_mode: ignore讓非法 JSON 的記錄繼續(xù)走管道Collector 只記錄轉(zhuǎn)換錯(cuò)誤。where IsString(log.body)保證只對(duì)字符串 body 執(zhí)行。注意ParseJSON要求 body 是 JSON 字符串遇到非字符串或非法 JSON 會(huì)返回錯(cuò)誤。用 transform 規(guī)范化 severity 與資源標(biāo)識(shí)解析出level之后把它提升為 severity text并在缺失時(shí)補(bǔ)上 Netdata Logs tab 用來識(shí)別流的 resource 標(biāo)識(shí)processors: transform/normalize_logs: error_mode: ignore log_statements: - set(log.severity_text, log.attributes[level]) where log.attributes[level] ! nil - set(resource.attributes[service.name], my-application) where resource.attributes[service.name] nil - set(resource.attributes[service.namespace], production) where resource.attributes[service.namespace] nil第一條語(yǔ)句只把源值原樣保存為文本它不會(huì)推斷出 OpenTelemetry 的 severity number。如果下游條件或儀表盤依賴數(shù)值 severity需要按來源的級(jí)別顯式映射不要假設(shè)所有應(yīng)用使用同一套標(biāo)尺。靜態(tài)的service.name/service.namespace只在管道只服務(wù)一個(gè)已知服務(wù)時(shí)合適共享管道應(yīng)從可信的 receiver 元數(shù)據(jù)派生標(biāo)識(shí)或保留應(yīng)用已有的 OpenTelemetry resource 屬性。用 filter 丟棄噪聲記錄注意transform里給屬性賦值不會(huì)丟棄記錄丟記錄必須用filter處理器的log_conditions——任意一條條件命中該記錄即被丟棄條件之間是 OR 關(guān)系processors: filter/drop_noise: error_mode: ignore log_conditions: - IsMatch(log.body, (?i)health.?check)filter 的位置很關(guān)鍵放在 Netdata exporter 之前也放在任何不應(yīng)統(tǒng)計(jì)被丟棄記錄的 connector 之前。filter 會(huì)永久丟棄匹配的遙測(cè)數(shù)據(jù)文檔建議從窄條件開始、先觀察代表性輸入、在非關(guān)鍵管道上測(cè)試再部署。組裝一條完整的文件到 Netdata 管道把上面的組件拼起來tail 一份 JSON 行日志解析 body缺失時(shí)補(bǔ) service 標(biāo)識(shí)丟棄健康檢查再把剩余日志發(fā)到本機(jī) Netdata Agentreceivers: file_log/my_application: include: [/var/log/myapp/*.json] start_at: end processors: transform/prepare_logs: error_mode: ignore log_statements: - merge_maps(log.attributes, ParseJSON(log.body), insert) where IsString(log.body) - set(log.severity_text, log.attributes[level]) where log.attributes[level] ! nil - set(resource.attributes[service.name], my-application) where resource.attributes[service.name] nil filter/drop_health_checks: error_mode: ignore log_conditions: - IsMatch(log.body, (?i)health.?check) exporters: otlp_grpc/netdata: endpoint: 127.0.0.1:4317 tls: insecure: true service: pipelines: logs: receivers: [file_log/my_application] processors: [transform/prepare_logs, filter/drop_health_checks] exporters: [otlp_grpc/netdata]處理器順序是這條管道能不能生效的核心遵循文檔給出的 OTTL 操作規(guī)則用信號(hào)專屬路徑寫語(yǔ)句和條件如log.body、log.attributes、resource.attributes。where讓單條語(yǔ)句有條件地執(zhí)行filter 條件不同任一命中即丟棄。先解析、再讀取解析出的屬性先規(guī)范化、再按規(guī)范化后的值過濾過濾放在不應(yīng)收到被丟棄記錄的 connector 和 exporter 之前。error_mode: ignore會(huì)記錄求值錯(cuò)誤并繼續(xù)處理只有當(dāng)你寧可丟棄受影響的載荷也不轉(zhuǎn)發(fā)未轉(zhuǎn)換數(shù)據(jù)時(shí)才用propagate。OTTL 語(yǔ)法和處理器配置隨版本演進(jìn)以你所部署的確切 Collector 版本的上游文檔為準(zhǔn)。生產(chǎn)環(huán)境的文件采集還應(yīng)加上持久化 offsetfile_storage擴(kuò)展 receiver 的storage選項(xiàng)做法見 Collect Logs with OpenTelemetry Collector 的 Application log files 一節(jié)不帶 storage 時(shí) offset 只存在內(nèi)存里重啟行為取決于start_at。驗(yàn)證結(jié)果保存配置后按你的安裝方式啟動(dòng)或重載 Collector。在 Netdata 打開該節(jié)點(diǎn)的Logstab選擇otel-logs數(shù)據(jù)源再用Services選擇器選中你配置的服務(wù)。Netdata 里存儲(chǔ)的服務(wù)字段就是resource.attributes.service.name所以第 4 節(jié) transform 中補(bǔ)的service.name直接決定這里能選中什么。如果 Collector 報(bào)告導(dǎo)出成功但記錄缺失檢查記錄的時(shí)間戳Netdata 只接受過去 24 小時(shí)內(nèi)、未來 10 分鐘內(nèi)的記錄被拒的記錄通過 OTLPpartial_success上報(bào)。排查與邊界文檔給出的對(duì)照項(xiàng)如下出現(xiàn)對(duì)應(yīng)現(xiàn)象時(shí)按此判斷Collector 拒絕配置用你確切在用的 Collector 版本核對(duì)組件標(biāo)識(shí)符和 OTTL 路徑。transform和filter是 Contrib 組件Core 發(fā)行版里不一定有。解析出的屬性沒有出現(xiàn)用臨時(shí)的 debug exporter 檢查 incoming body 的類型和值。ParseJSON要求 JSON 字符串非法 JSON 會(huì)返回錯(cuò)誤在error_mode: ignore下記錄會(huì)繼續(xù)走管道。severity 過濾表現(xiàn)異常先確認(rèn)來源到底設(shè)置了severity_number、只有severity_text、還是自定義屬性。文本到數(shù)值的映射需要按來源單獨(dú)寫規(guī)則。太多記錄消失了移除或收窄 filter 條件同時(shí)觀察代表性記錄。log_conditions內(nèi)的條件按 OR 組合。Netdata 收到了日志但 service 選擇器是空的在導(dǎo)出前設(shè)置resource.attributes.service.name然后在otel-logs數(shù)據(jù)源里核對(duì)它。最后一條容易踩的邊界transform 和 filter 只待在一條信號(hào)管道內(nèi)它們不會(huì)把日志變成指標(biāo)。如果你要從匹配的日志記錄派生指標(biāo)例如 warning/error 計(jì)數(shù)需要 connector 橋接 logs 和 metrics 管道Netdata 維護(hù)的配方在 Create metrics from OpenTelemetry logs?！久赓M(fèi)下載鏈接】netdataThe fastest path to AI-powered full stack observability, even for lean teams.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/ne/netdata創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考