144 Commits

Author SHA1 Message Date
M09Ic
fea6ac7c39 去重策略不再作用于word, 防止内存中维护一个过大的map 2023-02-06 23:29:11 +08:00
M09Ic
645487ea1a 修复默认status配置错误的bug 2023-02-06 15:15:37 +08:00
M09Ic
c3993fc8c2 多处性能与代码优化, 能更好的支持不同的fuzz了 2023-02-04 19:44:37 +08:00
M09Ic
02f601051c spray输出相关的代码整合到spray中 2023-02-01 18:31:50 +08:00
M09Ic
940c5b9e99 修复在优化stat时一个线程安全问题导致程序阻塞的bug 2023-01-29 18:23:55 +08:00
M09Ic
9213c29c3d 新增--recon命令, 打开自动信息提取, 用来提取各种敏感信息 2023-01-28 15:43:43 +08:00
M09Ic
3943943405 完成对extract相关功能的重构 2023-01-28 13:15:49 +08:00
M09Ic
8756b7503e 使用了不太优雅的办法解决并发调度与可能的goroutine泄露问题 2023-01-16 17:30:54 +08:00
M09Ic
3ff46e5e1f 优化了输出中的number字段, 现在能正确判断了, 并且addition中的number会是当前的wordoffset, 可以用来判断错误发生的位置. 2023-01-12 19:21:35 +08:00
M09Ic
e30bab194a 优化统计模块, 现在check失败的任务也会在stat中保留了 2023-01-12 18:17:53 +08:00
M09Ic
758a274684 新增--rate-limit, 用来限制单个pool请求速率 2023-01-12 17:41:44 +08:00
M09Ic
78ee22b044 优化status的处理, 运行通过+!在原有的基础上修改 2023-01-12 17:12:30 +08:00
M09Ic
02195a8005 添加了多处错误与日志描述 2023-01-12 16:35:34 +08:00
M09Ic
427f64f57a 回调redirect逻辑, 只有check不会被重定向 2023-01-11 12:07:07 +08:00
M09Ic
68bef7bc3c 优化redirect, init不需要重定向 2023-01-11 12:03:40 +08:00
M09Ic
a4d912ed4d 调整全局的去重列表以及日志输出 2023-01-11 11:26:03 +08:00
M09Ic
4a774718c9 调整url去重的逻辑, 现在将统一进行去重判断 2023-01-11 11:12:00 +08:00
M09Ic
75236c7708 优化index的init 2023-01-10 23:55:03 +08:00
M09Ic
880b11e860 优化stat, 添加了source的相关统计 2023-01-10 23:54:46 +08:00
M09Ic
b120d703b8 重写了目录拼接的所有逻辑, 发现做到安全的目录拼接有些困难, 只能做到尽可能安全 2023-01-10 23:44:03 +08:00
M09Ic
0b8fed7e80 优化body读取的逻辑, 0byte的body将会自动跳过读取 2023-01-10 11:59:43 +08:00
M09Ic
f197d18621 重写协议升级的逻辑 2023-01-10 02:04:12 +08:00
M09Ic
f87acdf657 实装--crawl-depth 2023-01-10 01:09:00 +08:00
M09Ic
599118284c 进一步优化crawl的正则与特殊情况处理 2023-01-10 00:58:16 +08:00
M09Ic
033f3acdd7 实装-c参数, 可以自定义client 2023-01-10 00:57:55 +08:00
M09Ic
171786c51e 进一步优化crawl的正则与特殊情况 2023-01-09 22:41:05 +08:00
M09Ic
2081e25f93 bl中的exceed显示适配read-all 2023-01-09 22:23:34 +08:00
M09Ic
b019324383 新增--read-all参数, 用来取消body max read限制 2023-01-09 21:47:06 +08:00
M09Ic
f24c7b3bc6 对爬虫进行大量优化, 包括优化性能, 去重, 优化目录拼接, 适配"./"相对目录
fuzzy会在开启debug时自动启用.
2023-01-09 21:33:05 +08:00
M09Ic
f8b84c733b 优化命令行参数, 当-w与-d都为空的时候自动添加"/"防止报错 2023-01-09 15:45:17 +08:00
M09Ic
a94f9e3dc7 优化相似度判断, 并添加了distance/sim字段用来获取.
优化fuzzybaseline的逻辑, 移动到处理线程中.
优化expr的性能
修复--fuzzy没启用也会生效的bug
2023-01-09 14:47:58 +08:00
M09Ic
797ac74af3 适配了favicon的指纹识别
添加了基于contenttype的一些优化
index现在发送的是空数据, 而非添加了"/"之后的
2023-01-09 13:43:00 +08:00
M09Ic
c84440a662 修复程序并发调度失败的bug 2023-01-09 11:55:27 +08:00
M09Ic
e3fc74e78d 优化baseline的性能与信息获取 2023-01-06 15:06:40 +08:00
M09Ic
4a1cb28bdd 新增--common, 探测web常见的通用文件.
优化--bak, bak现在还会带上常见的备份文件名了
2023-01-06 13:07:59 +08:00
M09Ic
6c2f5919d2 优化pool的init, 使用互斥锁提高并发速度 2023-01-06 11:30:17 +08:00
M09Ic
a3082d3f1a 通过fasthttp复用buf导致的数据引用错误的bug
优化代码结构
2023-01-06 04:18:21 +08:00
M09Ic
806f6355d0 misc update 2023-01-06 03:31:28 +08:00
M09Ic
010447c8f2 更加安全的目录拼接, 在不改变/数量的情况下, 实现安全且正确的拼接path 2023-01-06 01:28:09 +08:00
M09Ic
bb92c994cd 实现--bak, 自动生成字典爆破备份文件 2023-01-06 00:48:13 +08:00
M09Ic
26cc384de0 新增--file-bak参数, 开启有效结果的备份文件爆破, 可以使用-a同时开启三个 2023-01-05 23:26:14 +08:00
M09Ic
9750f819cd 新增--append-rule, 用来对valid的结果进行二次基于规则的爆破.
添加了规则表: filebak.txt
2023-01-05 22:42:07 +08:00
M09Ic
8014f06bf5 优化check-pool 2023-01-05 14:56:23 +08:00
M09Ic
f9837c4e29 优化help, 新增multi标记 2023-01-05 14:41:41 +08:00
M09Ic
c64467a588 -u 允许添加多个
调整stat文件名生成方式
2023-01-05 14:40:20 +08:00
M09Ic
e6815fedde 修复多处拼写错误 2023-01-04 13:52:12 +08:00
M09Ic
30a82a7657 初步实现-F
给--probe添加缩写-o
2023-01-04 12:06:13 +08:00
M09Ic
5dc8f7107f 优化content-length输出, 现在超过max的结果也会正确的获取, 但添加了(exceed)标记 2023-01-04 11:31:31 +08:00
M09Ic
f30712bb7e 优化输出, 有价值(200,30x)的index也会输出到文件中 2023-01-04 11:26:25 +08:00
M09Ic
ffd387a28e 优化options的细节, 递归深度的选择 2023-01-04 00:15:34 +08:00