Commit Graph
5 Commits
Author SHA1 Message Date
Your Name ae2f047a3f 代码改进 (不含 workflow)
run.py:
- 移除硬编码 doonsec session cookie (公开仓库凭据泄露, RSS 无需 cookie)
- 新增 canon_url() 规范化去重: 长链按 __biz/mid/idx/sn 判重,
  避免同一文章因 chksm/scene 跟踪参数不同被重复入库
- 新增 chainreactors 源: 从 archive 分支 dump frontmatter 提取短链
  (长链对机房IP有 wappoc 验证码, CI 只收短链)
- requests 全部加 30s 超时; 裸 except 改打印错误
- data.json 解析失败保留原文件并退出, 不再覆盖清空
- 修复 URL 提取正则字符类; 零抓取 exit 1 让 workflow 失败通知
- 删除 get_issue_url / issue 模式; 临时目录清理; 子进程 120s 超时
- rep_filename 同名冲突加序号防覆盖

README 更新数据源说明
新增: backfill.py (断档补录), crawl_todo.py (断点续爬)
2026-08-15 21:01:06 +08:00
Your Name a8ae62b9ca 新增历史文章,修改匹配规则,删除误匹配文章 2025-04-16 17:06:28 +08:00
A 478c6f72b7 Update README.md 2024-11-16 21:55:07 +08:00
A d24ab3bf71 Update README.md 2024-11-16 21:51:44 +08:00
test aa1fbadb81 first commit 2024-11-16 19:22:50 +08:00