128 Commits

Author	SHA1	Message	Date
M09Ic	f35a07050e	support http/socks5 proxy	2024-02-07 01:29:05 +08:00
M09Ic	ea5218b7f3	修复fasthttp client中, timeout不生效的bug	2024-02-07 00:46:11 +08:00
M09Ic	4cbb7b05ba	bump dependency	2023-12-28 14:34:19 +08:00
M09Ic	a36e06e96b	修复--timeout实际没生效的bug	2023-06-30 17:29:49 +08:00
M09Ic	73f724b92a	feat. 新增--index --random 支持自定义index与random目录	2023-06-03 22:24:52 +08:00
M09Ic	1a656b26a1	新增--retry插件	2023-05-04 12:04:59 +08:00
M09Ic	4b78503d64	添加url错误是的报错信息	2023-04-25 17:33:07 +08:00
M09Ic	3698d01903	添加--scope与--no-scope参数, 用来指定爬虫的作用范围 ... 修复recursive中的多个bug	2023-04-14 20:05:21 +08:00
M09Ic	1bcf2f297d	修复url解析错误的bug ... 修复redirect的wg计算错误的bug	2023-04-06 21:20:24 +08:00
M09Ic	77b92b44ea	关闭check-only的kepp-alive. ... 新增checkonly的--match指定过滤器	2023-04-04 01:21:31 +08:00
M09Ic	8ec00abe10	修复多个可能导致报错的bug. ... checkonly支持upgrade与redirect	2023-04-04 00:47:33 +08:00
M09Ic	30506b1f5b	修复部分情况下过滤不生效的bug	2023-03-24 15:39:40 +08:00
M09Ic	4a12286beb	实装random useragent	2023-03-24 14:20:31 +08:00
M09Ic	bdc793c75b	修复-m host 场景下字典与redirect生成错误的bug	2023-03-24 13:41:00 +08:00
M09Ic	296bea96a0	修复check-only失效的bug	2023-02-19 16:14:51 +08:00
M09Ic	b3589db853	新增一种特殊的过滤模式--unique 或指定状态码的--unique-status 200	2023-02-08 12:58:56 +08:00
M09Ic	6287a8e468	--fuzzy-status添加特殊情况 "all", 所有类型的状态码都会启用对应的模糊匹配	2023-02-07 18:42:20 +08:00
M09Ic	c263c11926	优化无效重定向页面的过滤	2023-02-07 18:37:47 +08:00
M09Ic	fea6ac7c39	去重策略不再作用于word, 防止内存中维护一个过大的map	2023-02-06 23:29:11 +08:00
M09Ic	c3993fc8c2	多处性能与代码优化, 能更好的支持不同的fuzz了	2023-02-04 19:44:37 +08:00
M09Ic	02f601051c	spray输出相关的代码整合到spray中	2023-02-01 18:31:50 +08:00
M09Ic	940c5b9e99	修复在优化stat时一个线程安全问题导致程序阻塞的bug	2023-01-29 18:23:55 +08:00
M09Ic	3943943405	完成对extract相关功能的重构	2023-01-28 13:15:49 +08:00
M09Ic	8756b7503e	使用了不太优雅的办法解决并发调度与可能的goroutine泄露问题	2023-01-16 17:30:54 +08:00
M09Ic	3ff46e5e1f	优化了输出中的number字段, 现在能正确判断了, 并且addition中的number会是当前的wordoffset, 可以用来判断错误发生的位置.	2023-01-12 19:21:35 +08:00
M09Ic	e30bab194a	优化统计模块, 现在check失败的任务也会在stat中保留了	2023-01-12 18:17:53 +08:00
M09Ic	758a274684	新增--rate-limit, 用来限制单个pool请求速率	2023-01-12 17:41:44 +08:00
M09Ic	02195a8005	添加了多处错误与日志描述	2023-01-12 16:35:34 +08:00
M09Ic	427f64f57a	回调redirect逻辑, 只有check不会被重定向	2023-01-11 12:07:07 +08:00
M09Ic	68bef7bc3c	优化redirect, init不需要重定向	2023-01-11 12:03:40 +08:00
M09Ic	a4d912ed4d	调整全局的去重列表以及日志输出	2023-01-11 11:26:03 +08:00
M09Ic	4a774718c9	调整url去重的逻辑, 现在将统一进行去重判断	2023-01-11 11:12:00 +08:00
M09Ic	75236c7708	优化index的init	2023-01-10 23:55:03 +08:00
M09Ic	b120d703b8	重写了目录拼接的所有逻辑, 发现做到安全的目录拼接有些困难, 只能做到尽可能安全	2023-01-10 23:44:03 +08:00
M09Ic	0b8fed7e80	优化body读取的逻辑, 0byte的body将会自动跳过读取	2023-01-10 11:59:43 +08:00
M09Ic	f197d18621	重写协议升级的逻辑	2023-01-10 02:04:12 +08:00
M09Ic	f87acdf657	实装--crawl-depth	2023-01-10 01:09:00 +08:00
M09Ic	599118284c	进一步优化crawl的正则与特殊情况处理	2023-01-10 00:58:16 +08:00
M09Ic	171786c51e	进一步优化crawl的正则与特殊情况	2023-01-09 22:41:05 +08:00
M09Ic	2081e25f93	bl中的exceed显示适配read-all	2023-01-09 22:23:34 +08:00
M09Ic	b019324383	新增--read-all参数, 用来取消body max read限制	2023-01-09 21:47:06 +08:00
M09Ic	f24c7b3bc6	对爬虫进行大量优化, 包括优化性能, 去重, 优化目录拼接, 适配"./"相对目录 ... fuzzy会在开启debug时自动启用.	2023-01-09 21:33:05 +08:00
M09Ic	a94f9e3dc7	优化相似度判断, 并添加了distance/sim字段用来获取. ... 优化fuzzybaseline的逻辑, 移动到处理线程中. 优化expr的性能 修复--fuzzy没启用也会生效的bug	2023-01-09 14:47:58 +08:00
M09Ic	797ac74af3	适配了favicon的指纹识别 ... 添加了基于contenttype的一些优化 index现在发送的是空数据, 而非添加了"/"之后的	2023-01-09 13:43:00 +08:00
M09Ic	c84440a662	修复程序并发调度失败的bug	2023-01-09 11:55:27 +08:00
M09Ic	e3fc74e78d	优化baseline的性能与信息获取	2023-01-06 15:06:40 +08:00
M09Ic	4a1cb28bdd	新增--common, 探测web常见的通用文件. ... 优化--bak, bak现在还会带上常见的备份文件名了	2023-01-06 13:07:59 +08:00
M09Ic	6c2f5919d2	优化pool的init, 使用互斥锁提高并发速度	2023-01-06 11:30:17 +08:00
M09Ic	a3082d3f1a	通过fasthttp复用buf导致的数据引用错误的bug ... 优化代码结构	2023-01-06 04:18:21 +08:00
M09Ic	806f6355d0	misc update	2023-01-06 03:31:28 +08:00