99 Commits

Author	SHA1	Message	Date
M09Ic	68bef7bc3c	优化redirect, init不需要重定向	2023-01-11 12:03:40 +08:00
M09Ic	a4d912ed4d	调整全局的去重列表以及日志输出	2023-01-11 11:26:03 +08:00
M09Ic	4a774718c9	调整url去重的逻辑, 现在将统一进行去重判断	2023-01-11 11:12:00 +08:00
M09Ic	75236c7708	优化index的init	2023-01-10 23:55:03 +08:00
M09Ic	b120d703b8	重写了目录拼接的所有逻辑, 发现做到安全的目录拼接有些困难, 只能做到尽可能安全	2023-01-10 23:44:03 +08:00
M09Ic	0b8fed7e80	优化body读取的逻辑, 0byte的body将会自动跳过读取	2023-01-10 11:59:43 +08:00
M09Ic	f197d18621	重写协议升级的逻辑	2023-01-10 02:04:12 +08:00
M09Ic	f87acdf657	实装--crawl-depth	2023-01-10 01:09:00 +08:00
M09Ic	599118284c	进一步优化crawl的正则与特殊情况处理	2023-01-10 00:58:16 +08:00
M09Ic	171786c51e	进一步优化crawl的正则与特殊情况	2023-01-09 22:41:05 +08:00
M09Ic	2081e25f93	bl中的exceed显示适配read-all	2023-01-09 22:23:34 +08:00
M09Ic	b019324383	新增--read-all参数, 用来取消body max read限制	2023-01-09 21:47:06 +08:00
M09Ic	f24c7b3bc6	对爬虫进行大量优化, 包括优化性能, 去重, 优化目录拼接, 适配"./"相对目录 ... fuzzy会在开启debug时自动启用.	2023-01-09 21:33:05 +08:00
M09Ic	a94f9e3dc7	优化相似度判断, 并添加了distance/sim字段用来获取. ... 优化fuzzybaseline的逻辑, 移动到处理线程中. 优化expr的性能 修复--fuzzy没启用也会生效的bug	2023-01-09 14:47:58 +08:00
M09Ic	797ac74af3	适配了favicon的指纹识别 ... 添加了基于contenttype的一些优化 index现在发送的是空数据, 而非添加了"/"之后的	2023-01-09 13:43:00 +08:00
M09Ic	c84440a662	修复程序并发调度失败的bug	2023-01-09 11:55:27 +08:00
M09Ic	e3fc74e78d	优化baseline的性能与信息获取	2023-01-06 15:06:40 +08:00
M09Ic	4a1cb28bdd	新增--common, 探测web常见的通用文件. ... 优化--bak, bak现在还会带上常见的备份文件名了	2023-01-06 13:07:59 +08:00
M09Ic	6c2f5919d2	优化pool的init, 使用互斥锁提高并发速度	2023-01-06 11:30:17 +08:00
M09Ic	a3082d3f1a	通过fasthttp复用buf导致的数据引用错误的bug ... 优化代码结构	2023-01-06 04:18:21 +08:00
M09Ic	806f6355d0	misc update	2023-01-06 03:31:28 +08:00
M09Ic	010447c8f2	更加安全的目录拼接, 在不改变/数量的情况下, 实现安全且正确的拼接path	2023-01-06 01:28:09 +08:00
M09Ic	bb92c994cd	实现--bak, 自动生成字典爆破备份文件	2023-01-06 00:48:13 +08:00
M09Ic	9750f819cd	新增--append-rule, 用来对valid的结果进行二次基于规则的爆破. ... 添加了规则表: filebak.txt	2023-01-05 22:42:07 +08:00
M09Ic	8014f06bf5	优化check-pool	2023-01-05 14:56:23 +08:00
M09Ic	5dc8f7107f	优化content-length输出, 现在超过max的结果也会正确的获取, 但添加了(exceed)标记	2023-01-04 11:31:31 +08:00
M09Ic	f30712bb7e	优化输出, 有价值(200,30x)的index也会输出到文件中	2023-01-04 11:26:25 +08:00
M09Ic	5142012ceb	实装--cookie --user-agent, --header参数	2023-01-03 18:43:12 +08:00
M09Ic	e6aabe44c5	baseline添加source字段	2023-01-03 18:27:06 +08:00
M09Ic	77d4e25c9e	初步实现主动指纹识别	2023-01-03 17:16:55 +08:00
M09Ic	9e9b0de039	初步实现简易爬虫	2023-01-03 17:09:32 +08:00
M09Ic	a55397eaea	优化resume在因为错误退出时的逻辑	2022-12-16 11:56:27 +08:00
M09Ic	073cf2a095	给全局的输出添加配色, 可以使用--no-color或-q关闭	2022-12-15 00:19:06 +08:00
M09Ic	6c256af5f6	优化性能, 使用启用了表达式才会生成对应的变量. ... 优化words的mask内存性能,完全使用生成器代替保存在内存中.	2022-12-14 14:20:45 +08:00
M09Ic	c9f7620aed	展示删掉根据waf指纹判断waf, 因为可能会有大量误报	2022-12-12 18:01:14 +08:00
M09Ic	b3f297c847	适配gogo2.10.1以及最新的templates	2022-12-12 17:26:07 +08:00
M09Ic	0d81491d5a	大量优化, 实装断点续传, 添加ctrl+c的后续处理	2022-12-12 17:05:44 +08:00
M09Ic	db58771f49	更加的严格waf判断的逻辑, 防止一些误报导致提前退出程序	2022-12-11 04:37:56 +08:00
M09Ic	faf0812858	优化statistor, 现在是线程安全的	2022-12-11 04:21:42 +08:00
M09Ic	71393bfeb4	修复一个严重的闭包的线程安全问题	2022-12-11 03:52:06 +08:00
M09Ic	6d03910049	修复hash计算时的传入值为body导致多处判断出错的bug	2022-12-11 01:21:05 +08:00
M09Ic	155d0d981b	调整默认check-period为200, 减少check发包. ... 优化check报错的输出 优化title输出, 转义换行符	2022-12-11 00:50:03 +08:00
M09Ic	af687701a7	初步实现了递归	2022-12-11 00:24:28 +08:00
M09Ic	10e55bdb9a	实装rule-base的filter rule	2022-12-09 19:30:12 +08:00
M09Ic	7f4c75bf10	修复无效数据重复被送入结果管道的bug	2022-12-06 21:53:09 +08:00
M09Ic	b94a4c3137	实装rulebase 字典生成器	2022-12-06 21:45:14 +08:00
M09Ic	f9c5a71258	实现断点续传	2022-12-02 19:59:15 +08:00
M09Ic	023e316518	实装耗时功能, 现在可以看到每个任务与每个请求的耗时	2022-12-02 18:29:26 +08:00
M09Ic	a780f002bf	修复闭包的线程安全bug	2022-12-02 18:05:33 +08:00
M09Ic	38e654913d	实装extractor ... 多处小优化	2022-12-02 15:21:17 +08:00