117 Commits

Author	SHA1	Message	Date
M09Ic	ea5218b7f3	修复fasthttp client中, timeout不生效的bug	2024-02-07 00:46:11 +08:00
M09Ic	4cbb7b05ba	bump dependency	2023-12-28 14:34:19 +08:00
M09Ic	00c880f16e	优化爬虫的url处理	2023-06-30 17:43:47 +08:00
M09Ic	a36e06e96b	修复--timeout实际没生效的bug	2023-06-30 17:29:49 +08:00
M09Ic	73f724b92a	feat. 新增--index --random 支持自定义index与random目录	2023-06-03 22:24:52 +08:00
M09Ic	fc3f476fe2	修复bytes类型转换错误的bug	2023-06-03 21:09:01 +08:00
M09Ic	1a656b26a1	新增--retry插件	2023-05-04 12:04:59 +08:00
M09Ic	4b78503d64	添加url错误是的报错信息	2023-04-25 17:33:07 +08:00
M09Ic	0167f376db	修复派生的url可能导致部分插件出错的bug. 现在一旦url出现错误, 判定该请求无效	2023-04-25 17:28:08 +08:00
M09Ic	3698d01903	添加--scope与--no-scope参数, 用来指定爬虫的作用范围 ... 修复recursive中的多个bug	2023-04-14 20:05:21 +08:00
M09Ic	1bcf2f297d	修复url解析错误的bug ... 修复redirect的wg计算错误的bug	2023-04-06 21:20:24 +08:00
M09Ic	77b92b44ea	关闭check-only的kepp-alive. ... 新增checkonly的--match指定过滤器	2023-04-04 01:21:31 +08:00
M09Ic	8ec00abe10	修复多个可能导致报错的bug. ... checkonly支持upgrade与redirect	2023-04-04 00:47:33 +08:00
M09Ic	9eb55ebd66	适配gogo v2.11.0	2023-04-04 00:47:33 +08:00
M09Ic	4a12286beb	实装random useragent	2023-03-24 14:20:31 +08:00
M09Ic	58913caba7	修复部分情况下url不合法导致出现报错的bug	2023-02-21 17:58:16 +08:00
M09Ic	d62bbdf5df	调整指纹收集的逻辑	2023-02-19 22:27:16 +08:00
M09Ic	296bea96a0	修复check-only失效的bug	2023-02-19 16:14:51 +08:00
M09Ic	680d18a573	跳过二进制的返回数据读取	2023-02-08 19:18:33 +08:00
M09Ic	5ace37824a	调整extract格式	2023-02-08 15:30:40 +08:00
M09Ic	b3589db853	新增一种特殊的过滤模式--unique 或指定状态码的--unique-status 200	2023-02-08 12:58:56 +08:00
M09Ic	ae746b9e67	优化location的处理, 某些应用可能会使用小写	2023-02-07 18:37:19 +08:00
M09Ic	c3993fc8c2	多处性能与代码优化, 能更好的支持不同的fuzz了	2023-02-04 19:44:37 +08:00
M09Ic	02f601051c	spray输出相关的代码整合到spray中	2023-02-01 18:31:50 +08:00
M09Ic	940c5b9e99	修复在优化stat时一个线程安全问题导致程序阻塞的bug	2023-01-29 18:23:55 +08:00
M09Ic	5aaf062f22	适配新版本gogo	2023-01-28 15:56:21 +08:00
M09Ic	480b7591d4	update mod	2023-01-28 14:53:02 +08:00
M09Ic	3943943405	完成对extract相关功能的重构	2023-01-28 13:15:49 +08:00
M09Ic	3ff46e5e1f	优化了输出中的number字段, 现在能正确判断了, 并且addition中的number会是当前的wordoffset, 可以用来判断错误发生的位置.	2023-01-12 19:21:35 +08:00
M09Ic	e30bab194a	优化统计模块, 现在check失败的任务也会在stat中保留了	2023-01-12 18:17:53 +08:00
M09Ic	758a274684	新增--rate-limit, 用来限制单个pool请求速率	2023-01-12 17:41:44 +08:00
M09Ic	02195a8005	添加了多处错误与日志描述	2023-01-12 16:35:34 +08:00
M09Ic	16d90d9b30	调整多条正则	2023-01-11 12:04:03 +08:00
M09Ic	69471df137	优化stat输出配色	2023-01-11 12:03:54 +08:00
M09Ic	009ca464bd	调整多条爬虫的正则	2023-01-11 11:40:38 +08:00
M09Ic	a4d912ed4d	调整全局的去重列表以及日志输出	2023-01-11 11:26:03 +08:00
M09Ic	8233dcefd3	调整爬虫的正则	2023-01-11 11:12:40 +08:00
M09Ic	880b11e860	优化stat, 添加了source的相关统计	2023-01-10 23:54:46 +08:00
M09Ic	b120d703b8	重写了目录拼接的所有逻辑, 发现做到安全的目录拼接有些困难, 只能做到尽可能安全	2023-01-10 23:44:03 +08:00
M09Ic	0b8fed7e80	优化body读取的逻辑, 0byte的body将会自动跳过读取	2023-01-10 11:59:43 +08:00
M09Ic	33da70c457	优化body为0bytes情况下EOF报错显示	2023-01-10 02:06:02 +08:00
M09Ic	b5da1eb45f	优化crawl的正则表达式	2023-01-10 01:30:05 +08:00
M09Ic	1fca8c146f	修复host输出不适当的bug	2023-01-10 01:08:42 +08:00
M09Ic	599118284c	进一步优化crawl的正则与特殊情况处理	2023-01-10 00:58:16 +08:00
M09Ic	033f3acdd7	实装-c参数, 可以自定义client	2023-01-10 00:57:55 +08:00
M09Ic	171786c51e	进一步优化crawl的正则与特殊情况	2023-01-09 22:41:05 +08:00
M09Ic	a23643ebf0	优化正则, 适配go的正则规则	2023-01-09 22:23:51 +08:00
M09Ic	b019324383	新增--read-all参数, 用来取消body max read限制	2023-01-09 21:47:06 +08:00
M09Ic	f24c7b3bc6	对爬虫进行大量优化, 包括优化性能, 去重, 优化目录拼接, 适配"./"相对目录 ... fuzzy会在开启debug时自动启用.	2023-01-09 21:33:05 +08:00
M09Ic	f8b84c733b	优化命令行参数, 当-w与-d都为空的时候自动添加"/"防止报错	2023-01-09 15:45:17 +08:00