97 Commits

Author	SHA1	Message	Date
M09Ic	f35a07050e	support http/socks5 proxy	2024-02-07 01:29:05 +08:00
M09Ic	ea5218b7f3	修复fasthttp client中, timeout不生效的bug	2024-02-07 00:46:11 +08:00
M09Ic	408004223c	Merge branch 'issue8' into dev	2023-12-28 14:58:23 +08:00
M09Ic	4cbb7b05ba	bump dependency	2023-12-28 14:34:19 +08:00
M09Ic	82f0630324	optimized. 添加没有输出目标时的错误信息	2023-06-12 11:19:23 +08:00
M09Ic	949843ce17	optimized. 优化retry的逻辑, 默认为0, 如果为0则不会在命令行输出配置日志	2023-06-12 11:19:22 +08:00
M09Ic	72853f2a06	optimized. 添加没有输出目标时的错误信息	2023-06-12 11:18:23 +08:00
M09Ic	5454c65fd6	optimized. 优化retry的逻辑, 默认为0, 如果为0则不会在命令行输出配置日志	2023-06-12 11:08:21 +08:00
M09Ic	f196bd9be5	fix --remove-extension not work	2023-06-12 10:44:22 +08:00
M09Ic	73f724b92a	feat. 新增--index --random 支持自定义index与random目录	2023-06-03 22:24:52 +08:00
M09Ic	fc3f476fe2	修复bytes类型转换错误的bug	2023-06-03 21:09:01 +08:00
M09Ic	976ce55bdc	修复url解析错误的bug	2023-06-03 16:39:35 +08:00
M09Ic	2f131ccd02	删除无用参数, 修复示例引号错误	2023-06-02 16:57:08 +08:00
M09Ic	2421c4178d	添加自动化编译	2023-05-04 12:23:24 +08:00
M09Ic	1a656b26a1	新增--retry插件	2023-05-04 12:04:59 +08:00
M09Ic	3698d01903	添加--scope与--no-scope参数, 用来指定爬虫的作用范围 ... 修复recursive中的多个bug	2023-04-14 20:05:21 +08:00
M09Ic	1bcf2f297d	修复url解析错误的bug ... 修复redirect的wg计算错误的bug	2023-04-06 21:20:24 +08:00
M09Ic	ccc9ca3719	修复task count算错误的bug	2023-04-06 20:41:35 +08:00
M09Ic	8ec00abe10	修复多个可能导致报错的bug. ... checkonly支持upgrade与redirect	2023-04-04 00:47:33 +08:00
M09Ic	f44a01e975	新增-c cidr与 -p port-range的支持	2023-04-04 00:47:32 +08:00
M09Ic	4a12286beb	实装random useragent	2023-03-24 14:20:31 +08:00
M09Ic	7879d55856	优化log输出	2023-03-13 13:04:40 +08:00
M09Ic	296bea96a0	修复check-only失效的bug	2023-02-19 16:14:51 +08:00
M09Ic	b3589db853	新增一种特殊的过滤模式--unique 或指定状态码的--unique-status 200	2023-02-08 12:58:56 +08:00
M09Ic	6287a8e468	--fuzzy-status添加特殊情况 "all", 所有类型的状态码都会启用对应的模糊匹配	2023-02-07 18:42:20 +08:00
M09Ic	645487ea1a	修复默认status配置错误的bug	2023-02-06 15:15:37 +08:00
M09Ic	9213c29c3d	新增--recon命令, 打开自动信息提取, 用来提取各种敏感信息	2023-01-28 15:43:43 +08:00
M09Ic	3943943405	完成对extract相关功能的重构	2023-01-28 13:15:49 +08:00
M09Ic	3ff46e5e1f	优化了输出中的number字段, 现在能正确判断了, 并且addition中的number会是当前的wordoffset, 可以用来判断错误发生的位置.	2023-01-12 19:21:35 +08:00
M09Ic	e30bab194a	优化统计模块, 现在check失败的任务也会在stat中保留了	2023-01-12 18:17:53 +08:00
M09Ic	758a274684	新增--rate-limit, 用来限制单个pool请求速率	2023-01-12 17:41:44 +08:00
M09Ic	78ee22b044	优化status的处理, 运行通过+或!在原有的基础上修改	2023-01-12 17:12:30 +08:00
M09Ic	02195a8005	添加了多处错误与日志描述	2023-01-12 16:35:34 +08:00
M09Ic	b120d703b8	重写了目录拼接的所有逻辑, 发现做到安全的目录拼接有些困难, 只能做到尽可能安全	2023-01-10 23:44:03 +08:00
M09Ic	f87acdf657	实装--crawl-depth	2023-01-10 01:09:00 +08:00
M09Ic	033f3acdd7	实装-c参数, 可以自定义client	2023-01-10 00:57:55 +08:00
M09Ic	b019324383	新增--read-all参数, 用来取消body max read限制	2023-01-09 21:47:06 +08:00
M09Ic	f24c7b3bc6	对爬虫进行大量优化, 包括优化性能, 去重, 优化目录拼接, 适配"./"相对目录 ... fuzzy会在开启debug时自动启用.	2023-01-09 21:33:05 +08:00
M09Ic	f8b84c733b	优化命令行参数, 当-w与-d都为空的时候自动添加"/"防止报错	2023-01-09 15:45:17 +08:00
M09Ic	4a1cb28bdd	新增--common, 探测web常见的通用文件. ... 优化--bak, bak现在还会带上常见的备份文件名了	2023-01-06 13:07:59 +08:00
M09Ic	010447c8f2	更加安全的目录拼接, 在不改变/数量的情况下, 实现安全且正确的拼接path	2023-01-06 01:28:09 +08:00
M09Ic	bb92c994cd	实现--bak, 自动生成字典爆破备份文件	2023-01-06 00:48:13 +08:00
M09Ic	26cc384de0	新增--file-bak参数, 开启有效结果的备份文件爆破, 可以使用-a同时开启三个	2023-01-05 23:26:14 +08:00
M09Ic	9750f819cd	新增--append-rule, 用来对valid的结果进行二次基于规则的爆破. ... 添加了规则表: filebak.txt	2023-01-05 22:42:07 +08:00
M09Ic	8014f06bf5	优化check-pool	2023-01-05 14:56:23 +08:00
M09Ic	f9837c4e29	优化help, 新增multi标记	2023-01-05 14:41:41 +08:00
M09Ic	c64467a588	-u 允许添加多个 ... 调整stat文件名生成方式	2023-01-05 14:40:20 +08:00
M09Ic	e6815fedde	修复多处拼写错误	2023-01-04 13:52:12 +08:00
M09Ic	30a82a7657	初步实现-F ... 给--probe添加缩写-o	2023-01-04 12:06:13 +08:00
M09Ic	ffd387a28e	优化options的细节, 递归深度的选择	2023-01-04 00:15:34 +08:00