admin/wxvl

0 Fork 0

mirror of https://github.com/gelusus/wxvl.git synced 2026-10-28 19:30:54 +00:00

Files

T

run.py:
- 移除硬编码 doonsec session cookie (公开仓库凭据泄露, RSS 无需 cookie)
- 新增 canon_url() 规范化去重: 长链按 __biz/mid/idx/sn 判重,
  避免同一文章因 chksm/scene 跟踪参数不同被重复入库
- 新增 chainreactors 源: 从 archive 分支 dump frontmatter 提取短链
  (长链对机房IP有 wappoc 验证码, CI 只收短链)
- requests 全部加 30s 超时; 裸 except 改打印错误
- data.json 解析失败保留原文件并退出, 不再覆盖清空
- 修复 URL 提取正则字符类; 零抓取 exit 1 让 workflow 失败通知
- 删除 get_issue_url / issue 模式; 临时目录清理; 子进程 120s 超时
- rep_filename 同名冲突加序号防覆盖

README 更新数据源说明
新增: backfill.py (断档补录), crawl_todo.py (断点续爬)

2026-08-15 21:01:06 +08:00

1.3 KiB

Raw Blame History

微信公众号安全漏洞文章归档

本项目基于原wxvl 进行扩展

✨ 项目功能

自动抓取微信公众号安全漏洞文章，转换为Markdown格式并建立本地知识库，每日持续更新。

📰 数据来源

数据来自以下渠道的公众号文章：

BruceFeIix/picker 每日归档
Doonsec RSS订阅源

🔍 内容筛选规则

🛠️ 技术实现

使用 wechatmp2markdown 将公众号文章转为Markdown格式
智能处理特殊字符，生成合规文件名
按年月分类存储：doc/yy-mm/
通过data.json记录已处理链接，避免重复

⚙️ 使用方法

自动运行

GitHub Actions 每4小时自动执行

手动运行

# 抓取当日新文章
python run.py today

# 抓取历史文章（更改脚本后使用）
python run_history.py history

1.3 KiB Raw Blame History