【免費(fèi)下載鏈接】KrawlKrawl is a customizable, lightweight, cloud-native web deception server and anti-crawler that creates fake web applications with low-hanging vulnerabilities using realistic, randomly generated decoy data and AI-generated HTML templates.項(xiàng)目地址https://gitcode.com/gh_mirrors/kr/Krawl點(diǎn)擊查看免費(fèi)下載Krawl 是一款輕量級(jí)、云原生的 Web 欺騙服務(wù)器Honeypot與反爬蟲(chóng)工具。本文將從零講清三件運(yùn)維必會(huì)的事Krawl 數(shù)據(jù)備份怎么開(kāi)、數(shù)據(jù)保留策略如何工作以及如何在需要擴(kuò)容時(shí)把StandaloneSQLite模式平滑遷移到 ScalablePostgreSQL模式全程附帶配置項(xiàng)說(shuō)明與操作步驟適合新手直接照做。為什么蜜罐數(shù)據(jù)值得認(rèn)真對(duì)待Krawl 的核心價(jià)值在于持續(xù)捕獲攻擊者的訪問(wèn)日志、憑據(jù)竊取嘗試和攻擊指紋。一旦數(shù)據(jù)庫(kù)丟失已積累的IP 信譽(yù)與攻擊者畫(huà)像全部清零封禁列表banlist導(dǎo)出的依據(jù)消失防火墻聯(lián)動(dòng)失效歷史攻擊回溯與取證能力歸零。因此備份 保留策略是 Krawl 生產(chǎn)部署的兩個(gè)保底機(jī)制而 Standalone → Scalable 遷移則是流量增長(zhǎng)后的升級(jí)路徑。 官方文檔入口docs/backups.md、docs/deployment-modes.md一鍵開(kāi)啟 Krawl 數(shù)據(jù)庫(kù)自動(dòng)備份Krawl 內(nèi)置了定時(shí)備份任務(wù)dump-krawl-data默認(rèn)是關(guān)閉的需要在配置中手動(dòng)打開(kāi)。備份配置方法config.yaml編輯項(xiàng)目根目錄的 config.yaml修改backups段backups: path: backups # 備份文件保存目錄 cron: */30 * * * * # 備份頻率默認(rèn)每 30 分鐘一次 enabled: true # 必須改為 true 才啟用對(duì)應(yīng)的環(huán)境變量為KRAWL_BACKUPS_PATH、KRAWL_BACKUPS_CRON、KRAWL_BACKUPS_ENABLED適合 Docker / K8s 部署時(shí)注入。兩種模式下的備份原理備份方式隨部署模式自動(dòng)切換無(wú)需手動(dòng)區(qū)分源碼src/tasks/db_dump.py模式工具產(chǎn)出文件特點(diǎn)StandaloneSQLitePythonsqlite3.backup()APIbackups/krawl_backup.db原子一致快照先寫(xiě)臨時(shí)文件再原子重命名壞備份永遠(yuǎn)不會(huì)覆蓋好備份ScalablePostgreSQLpg_dumpbackups/db_dump.sql標(biāo)準(zhǔn) SQL 轉(zhuǎn)儲(chǔ)帶--no-owner --no-privileges300 秒超時(shí)防掛起恢復(fù)方法也很簡(jiǎn)單# Standalone先停 Krawl再覆蓋數(shù)據(jù)庫(kù)文件 cp backups/krawl_backup.db data/krawl.db # Scalable導(dǎo)入 SQL 轉(zhuǎn)儲(chǔ) psql -h localhost -U krawl -d krawl backups/db_dump.sql如何驗(yàn)證備份任務(wù)真的在跑ls -la backups/ # 文件存在且時(shí)間戳是最新的 docker logs krawl-server | grep dump-krawl-data # 查看任務(wù)日志K8s 用 kubectl logsKrawl 配套的 Grafana 監(jiān)控面板可用于觀察備份任務(wù)與整體運(yùn)行狀態(tài)?? 注意備份文件每次運(yùn)行都會(huì)覆蓋上一次建議定期把backups/目錄同步到對(duì)象存儲(chǔ)或異地才能抵御硬件級(jí)故障。數(shù)據(jù)保留策略Krawl 保留什么、刪除什么備份解決意外丟失保留策略data retention解決數(shù)據(jù)庫(kù)無(wú)限膨脹。Krawl 每天自動(dòng)清理過(guò)期數(shù)據(jù)由database.retention_days控制默認(rèn)30 天# config.yaml database: path: data/krawl.db retention_days: 30永遠(yuǎn)保留的數(shù)據(jù)不受保留期影響?所有憑據(jù)捕獲記錄credential capture attempts? 所有可疑訪問(wèn)日志與蜜罐觸發(fā)記錄? 有可疑歷史記錄的IP 及其分類(lèi)歷史自動(dòng)清理的數(shù)據(jù)? 超過(guò)保留期的非可疑訪問(wèn)日志? 無(wú)攻擊歷史的過(guò)期 IP 條目? 孤兒攻擊檢測(cè)記錄與孤兒載荷/聚類(lèi)有統(tǒng)計(jì)無(wú)成員的幽靈數(shù)據(jù)清理任務(wù) src/tasks/db_retention.py 按1 萬(wàn)行/批分批刪除避免長(zhǎng)時(shí)間鎖表和 WAL 暴漲刪除完成后還會(huì)自動(dòng)修正累計(jì)計(jì)數(shù)器并刷新表統(tǒng)計(jì)信息保證儀表盤(pán)數(shù)字不失真。每日清理的時(shí)間線時(shí)間任務(wù)作用每天 08:30pre-retention-cleanup重新復(fù)查舊日志的可疑標(biāo)記不再命中規(guī)則的取消標(biāo)記交給保留任務(wù)清理每天 09:00db-retention真正執(zhí)行過(guò)期數(shù)據(jù)刪除與孤兒數(shù)據(jù)清掃在 Scalable 多副本模式下這兩個(gè)任務(wù)都標(biāo)記了single_pod: True由 Redis 租約保證同一時(shí)刻只在一個(gè) Pod 上執(zhí)行避免重復(fù)刪除。Krawl 儀表盤(pán)的數(shù)據(jù)總覽表保留策略正是圍繞這些攻擊數(shù)據(jù)表做精細(xì)化清理Standalone vs Scalable一張表看懂兩種模式遷移前先確認(rèn)你是否真的需要擴(kuò)容。兩種模式差異如下詳見(jiàn) docs/deployment-modes.mdStandaloneScalable數(shù)據(jù)庫(kù)SQLiteWAL 模式PostgreSQL緩存進(jìn)程內(nèi)存字典Redis30s 熱路徑 / 2min 表格 / 10min 預(yù)熱三級(jí) TTL副本數(shù)僅 11可水平擴(kuò)展外部依賴(lài)無(wú)PostgreSQL Redis適用場(chǎng)景開(kāi)發(fā)、單機(jī)、低流量生產(chǎn)、高可用、高流量Krawl 攻擊者排行榜數(shù)據(jù)在遷移后應(yīng)完整保留這是遷移成功的關(guān)鍵驗(yàn)證點(diǎn)Standalone 到 Scalable 遷移分步教程遷移腳本 scripts/migrate_sqlite_to_postgres.py 會(huì)讀取 SQLite 全部表 → 在 PostgreSQL 建表 → 分批默認(rèn) 1000 行/批失敗自動(dòng)退化為逐行插入→ 最后打印源/目標(biāo)行數(shù)比對(duì)摘要。遷移前置檢查清單重要先備份cp data/krawl.db data/krawl.db.backup徹底停止 Krawl遷移期間絕不能有實(shí)例連著 SQLite否則會(huì)出現(xiàn)寫(xiě)鎖與數(shù)據(jù)不一致PostgreSQL 已啟動(dòng)且可訪問(wèn)目標(biāo)數(shù)據(jù)庫(kù)已存在PostgreSQL 主機(jī)有足夠磁盤(pán)空間Docker Compose 環(huán)境的遷移步驟# 1. 停掉 Standalone 棧 docker compose down # 2. 只啟動(dòng) Scalable 棧中的 PostgreSQL 和 Redis docker compose -f docker/docker-compose.scalable.yaml up -d postgres redis # 3. 等待 PostgreSQL 就緒 docker compose -f docker/docker-compose.scalable.yaml exec postgres pg_isready -U krawl -d krawl # 4. 執(zhí)行遷移核對(duì)輸出的行數(shù)比對(duì)是否一致 python scripts/migrate_sqlite_to_postgres.py \ --sqlite-path data/krawl.db \ --postgres-host localhost \ --postgres-user krawl \ --postgres-password krawl \ --postgres-database krawl # 5. 啟動(dòng)完整 Scalable 棧 docker compose -f docker/docker-compose.scalable.yaml up -d常用參數(shù)還有--batch-size批大小、--drop-existing遷移前清空目標(biāo)表。也可以借助 docker/docker-compose.scalable.yaml 掛載./data卷在容器內(nèi)執(zhí)行遷移。KubernetesHelm環(huán)境的遷移K8s 場(chǎng)景下 SQLite 數(shù)據(jù)放在 PVC 里Helm chart 自帶一次性遷移 Job模板見(jiàn) helm/templates/migration-job.yaml先把 Krawl 縮容到 0 副本--set replicaCount0釋放 PVC 文件鎖同時(shí)開(kāi)啟--set migration.enabledtrue并啟用 PostgreSQL/Redis等待 Job 完成kubectl wait --forconditioncomplete job/release-krawl-migrate --timeout600skubectl logs job/release-krawl-migrate核對(duì)行數(shù)比對(duì)再執(zhí)行helm upgrade切換--set modescalable、--set migration.enabledfalse、--set replicaCount2。遷移后必做三件事登錄儀表盤(pán)核對(duì) IP、攻擊日志、統(tǒng)計(jì)圖表與遷移前一致SQLite 備份至少保留幾天確認(rèn)無(wú)誤再刪清理舊資源K8s 中舊 PVC不會(huì)隨模式切換自動(dòng)刪除確認(rèn)后可手動(dòng)回收Docker 環(huán)境則刪除data/krawl.db釋放空間。 遷移失敗怎么辦把krawl.db.backup恢復(fù)回data/krawl.db以 Standalone 模式重新拉起即可回滾。新手常見(jiàn)坑位速查坑說(shuō)明備份默認(rèn)關(guān)閉backups.enabled默認(rèn)為false不開(kāi)就從來(lái)沒(méi)有備份文件備份互相覆蓋每次運(yùn)行覆蓋上一次務(wù)必異地留存邊跑邊遷移遷移時(shí) Krawl 必須完全停止K8s 要縮容到 0 副本只遷移不核對(duì)腳本結(jié)尾的行數(shù)比對(duì)摘要一定要看一眼刪掉舊備份太早建議至少觀察幾天再回收舊 SQLite 數(shù)據(jù)相關(guān)文檔與源碼路徑備份文檔docs/backups.md部署模式與遷移完整指南docs/deployment-modes.md備份任務(wù)源碼src/tasks/db_dump.py保留策略任務(wù)src/tasks/db_retention.py、src/tasks/pre_retention_cleanup.py遷移腳本scripts/migrate_sqlite_to_postgres.pyScalable 部署清單docker/docker-compose.scalable.yaml配置文件示例config.yaml贊分享【免費(fèi)下載鏈接】KrawlKrawl is a customizable, lightweight, cloud-native web deception server and anti-crawler that creates fake web applications with low-hanging vulnerabilities using realistic, randomly generated decoy data and AI-generated HTML templates.項(xiàng)目地址https://gitcode.com/gh_mirrors/kr/Krawl點(diǎn)擊查看免費(fèi)下載相關(guān)推薦打造你的專(zhuān)屬桌面伙伴DyberPet開(kāi)源框架終極指南打造你的專(zhuān)屬桌面伙伴DyberPet開(kāi)源框架終極指南 你是否曾夢(mèng)想過(guò)讓喜歡的角色真正住進(jìn)你的電腦桌面不只是簡(jiǎn)單的動(dòng)畫(huà)展示而是能與你互動(dòng)、成長(zhǎng)、甚至幫助桌面應(yīng)用AI 應(yīng)用HoloISO備份與恢復(fù)完整系統(tǒng)遷移與數(shù)據(jù)保護(hù)策略HoloISO備份與恢復(fù)完整系統(tǒng)遷移與數(shù)據(jù)保護(hù)策略 HoloISO是SteamOS 3 Holo 的Arch Linux發(fā)行版實(shí)現(xiàn)為PC用戶(hù)提供完整的Ste操作系統(tǒng)6步一鍵生成OpenCore EFI新手黑蘋(píng)果配置工具實(shí)戰(zhàn)教程6步一鍵生成OpenCore EFI新手黑蘋(píng)果配置工具實(shí)戰(zhàn)教程 OpCore Simplify 是一款實(shí)現(xiàn) OpenCore EFI自動(dòng)配置 的黑蘋(píng)果配置工具開(kāi)發(fā)工具CLI上一篇React Native Skia 渲染模式指南Retained Mode 與 Immediate Mode 的對(duì)比、選型與組合實(shí)踐下一篇placeholderkv 內(nèi)存分配器性能調(diào)優(yōu)實(shí)戰(zhàn)基于 jemalloc 5.3.0 TUNING.md 的配置指南與源碼級(jí)原理剖析創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考