mirror of
https://github.com/gelusus/wxvl.git
synced 2026-10-28 19:30:54 +00:00
Your Name
ae2f047a3f
run.py: - 移除硬编码 doonsec session cookie (公开仓库凭据泄露, RSS 无需 cookie) - 新增 canon_url() 规范化去重: 长链按 __biz/mid/idx/sn 判重, 避免同一文章因 chksm/scene 跟踪参数不同被重复入库 - 新增 chainreactors 源: 从 archive 分支 dump frontmatter 提取短链 (长链对机房IP有 wappoc 验证码, CI 只收短链) - requests 全部加 30s 超时; 裸 except 改打印错误 - data.json 解析失败保留原文件并退出, 不再覆盖清空 - 修复 URL 提取正则字符类; 零抓取 exit 1 让 workflow 失败通知 - 删除 get_issue_url / issue 模式; 临时目录清理; 子进程 120s 超时 - rep_filename 同名冲突加序号防覆盖 README 更新数据源说明 新增: backfill.py (断档补录), crawl_todo.py (断点续爬)
42 lines
1.3 KiB
Markdown
42 lines
1.3 KiB
Markdown
# 微信公众号安全漏洞文章归档
|
|
|
|
[](https://github.com/gelusus/wxvl/actions)
|
|
[](LICENSE)
|
|
|
|
本项目基于 [原wxvl](https://github.com/20142995/wxvl) 进行扩展
|
|
|
|
## ✨ 项目功能
|
|
|
|
自动抓取微信公众号安全漏洞文章，转换为Markdown格式并建立本地知识库，每日持续更新。
|
|
|
|
## 📰 数据来源
|
|
|
|
数据来自以下渠道的公众号文章：
|
|
- [BruceFeIix/picker](https://github.com/BruceFeIix/picker) 每日归档
|
|
- [Doonsec](https://doonsec.com) RSS订阅源
|
|
|
|
|
|
## 🔍 内容筛选规则
|
|
|
|
系统会自动识别包含以下关键词的文章：
|
|
复现|漏洞|CVE-\d+|CNVD-\d+|CNNVD-\d+|XVE-\d+|QVD-\d+|POC|EXP|0day|1day|nday|RCE|代码执行|命令执行
|
|
|
|
## 🛠️ 技术实现
|
|
|
|
- 使用 [wechatmp2markdown](https://github.com/fengxxc/wechatmp2markdown) 将公众号文章转为Markdown格式
|
|
- 智能处理特殊字符，生成合规文件名
|
|
- 按年月分类存储：`doc/yy-mm/`
|
|
- 通过`data.json`记录已处理链接，避免重复
|
|
|
|
## ⚙️ 使用方法
|
|
|
|
### 自动运行
|
|
- GitHub Actions 每4小时自动执行
|
|
|
|
### 手动运行
|
|
```bash
|
|
# 抓取当日新文章
|
|
python run.py today
|
|
|
|
# 抓取历史文章（更改脚本后使用）
|
|
python run_history.py history |