Commit Graph
128 Commits
Author SHA1 Message Date
M09Ic e93b84dfe4 fix fingerpinthub match bug 2024-02-20 19:34:35 +08:00
M09Ic 4af1378554 issues19, add custom extract config 2024-02-20 19:12:05 +08:00
M09Ic c8d84087ca fix statistor 2024-02-20 18:52:43 +08:00
M09Ic 3657e4d19e support fingerprinthub detect 2024-02-20 18:25:43 +08:00
M09Ic 4aca5fff76 refactor pool 2024-02-12 02:54:07 +08:00
M09Ic acf08cde7b 修复functions重复生成目标的bug
优化自动识别能力, 404,200,403现在都会自动进行unique
append-file 现在生效于uniquestatus与whitestatus
2024-02-10 12:48:22 +08:00
M09Ic 9ab33c654b refactor package dependency 2024-02-08 15:26:01 +08:00
M09Ic 6d98d039c1 进一步简化日志, 提供-v参数开启详细日志 2024-02-08 14:57:33 +08:00
M09Ic b47834e7af add dicc.txt as default dict 2024-02-07 02:59:55 +08:00
M09Ic aceee512a3 修复代理为空时的报错bug 2024-02-07 01:54:31 +08:00
M09Ic 7939f3097c support http/socks5 proxy 2024-02-07 01:29:05 +08:00
M09Ic 920527e935 修复fasthttp client中, timeout不生效的bug 2024-02-07 00:46:11 +08:00
M09Ic c8084a3987 bump dependency 2023-12-28 14:34:19 +08:00
M09Ic b8edbc82e1 优化爬虫的url处理 2023-06-30 17:43:47 +08:00
M09Ic 98b67cf53c 修复--timeout实际没生效的bug 2023-06-30 17:29:49 +08:00
M09Ic 6387e2b22f feat. 新增--index --random 支持自定义index与random目录 2023-06-03 22:24:52 +08:00
M09Ic 76c2cbab38 修复bytes类型转换错误的bug 2023-06-03 21:09:01 +08:00
M09Ic 7434a4129d 新增--retry插件 2023-05-04 12:04:59 +08:00
M09Ic 9f18eef135 添加url错误是的报错信息 2023-04-25 17:33:07 +08:00
M09Ic e0f4c79665 修复派生的url可能导致部分插件出错的bug. 现在一旦url出现错误, 判定该请求无效 2023-04-25 17:28:08 +08:00
M09Ic 64246a5a7a 添加--scope与--no-scope参数, 用来指定爬虫的作用范围
修复recursive中的多个bug
2023-04-14 20:05:21 +08:00
M09Ic 5a29139f68 修复url解析错误的bug
修复redirect的wg计算错误的bug
2023-04-06 21:20:24 +08:00
M09Ic 49c1b8256e 关闭check-only的kepp-alive.
新增checkonly的--match指定过滤器
2023-04-04 01:21:31 +08:00
M09Ic 6876958ca8 修复多个可能导致报错的bug.
checkonly支持upgrade与redirect
2023-04-04 00:47:33 +08:00
M09Ic 650a49c160 适配gogo v2.11.0 2023-04-04 00:47:33 +08:00
M09Ic 105628e338 实装random useragent 2023-03-24 14:20:31 +08:00
M09Ic 2b8f015210 修复部分情况下url不合法导致出现报错的bug 2023-02-21 17:58:16 +08:00
M09Ic 500e73ef4b 调整指纹收集的逻辑 2023-02-19 22:27:16 +08:00
M09Ic 07216e2530 修复check-only失效的bug 2023-02-19 16:14:51 +08:00
M09Ic 344b5a8695 跳过二进制的返回数据读取 2023-02-08 19:18:33 +08:00
M09Ic 6faec1756a 调整extract格式 2023-02-08 15:30:40 +08:00
M09Ic 0dd9c17ad8 新增一种特殊的过滤模式--unique 或指定状态码的--unique-status 200 2023-02-08 12:58:56 +08:00
M09Ic 3197ab6388 优化location的处理, 某些应用可能会使用小写 2023-02-07 18:37:19 +08:00
M09Ic 7577a8fe88 多处性能与代码优化, 能更好的支持不同的fuzz了 2023-02-04 19:44:37 +08:00
M09Ic 7eea77ee91 spray输出相关的代码整合到spray中 2023-02-01 18:31:50 +08:00
M09Ic 5e3df6f80a 修复在优化stat时一个线程安全问题导致程序阻塞的bug 2023-01-29 18:23:55 +08:00
M09Ic 3abc250ab6 适配新版本gogo 2023-01-28 15:56:21 +08:00
M09Ic 8d61235a37 update mod 2023-01-28 14:53:02 +08:00
M09Ic cf08e5cc1d 完成对extract相关功能的重构 2023-01-28 13:15:49 +08:00
M09Ic 9ffc86c5d7 优化了输出中的number字段, 现在能正确判断了, 并且addition中的number会是当前的wordoffset, 可以用来判断错误发生的位置. 2023-01-12 19:21:35 +08:00
M09Ic cf763b5861 优化统计模块, 现在check失败的任务也会在stat中保留了 2023-01-12 18:17:53 +08:00
M09Ic 7f11bd8489 新增--rate-limit, 用来限制单个pool请求速率 2023-01-12 17:41:44 +08:00
M09Ic 581bd56796 添加了多处错误与日志描述 2023-01-12 16:35:34 +08:00
M09Ic db8130651b 调整多条正则 2023-01-11 12:04:03 +08:00
M09Ic ef9b50fdc1 优化stat输出配色 2023-01-11 12:03:54 +08:00
M09Ic 583f1f8d64 调整多条爬虫的正则 2023-01-11 11:40:38 +08:00
M09Ic 64afdcc13a 调整全局的去重列表以及日志输出 2023-01-11 11:26:03 +08:00
M09Ic 2e88cdc071 调整爬虫的正则 2023-01-11 11:12:40 +08:00
M09Ic 1b8fa8d0ed 优化stat, 添加了source的相关统计 2023-01-10 23:54:46 +08:00
M09Ic b54a94241a 重写了目录拼接的所有逻辑, 发现做到安全的目录拼接有些困难, 只能做到尽可能安全 2023-01-10 23:44:03 +08:00