67 Commits

Author	SHA1	Message	Date
M09Ic	1a656b26a1	新增--retry插件	2023-05-04 12:04:59 +08:00
M09Ic	3698d01903	添加--scope与--no-scope参数, 用来指定爬虫的作用范围 ... 修复recursive中的多个bug	2023-04-14 20:05:21 +08:00
M09Ic	1bcf2f297d	修复url解析错误的bug ... 修复redirect的wg计算错误的bug	2023-04-06 21:20:24 +08:00
M09Ic	ccc9ca3719	修复task count算错误的bug	2023-04-06 20:41:35 +08:00
M09Ic	8ec00abe10	修复多个可能导致报错的bug. ... checkonly支持upgrade与redirect	2023-04-04 00:47:33 +08:00
M09Ic	f44a01e975	新增-c cidr与 -p port-range的支持	2023-04-04 00:47:32 +08:00
M09Ic	4a12286beb	实装random useragent	2023-03-24 14:20:31 +08:00
M09Ic	58913caba7	修复部分情况下url不合法导致出现报错的bug	2023-02-21 17:58:16 +08:00
M09Ic	296bea96a0	修复check-only失效的bug	2023-02-19 16:14:51 +08:00
M09Ic	b3589db853	新增一种特殊的过滤模式--unique 或指定状态码的--unique-status 200	2023-02-08 12:58:56 +08:00
M09Ic	c263c11926	优化无效重定向页面的过滤	2023-02-07 18:37:47 +08:00
M09Ic	f185dd80e9	添加一个常见的waf状态码1020	2023-02-06 23:29:26 +08:00
M09Ic	940c5b9e99	修复在优化stat时一个线程安全问题导致程序阻塞的bug	2023-01-29 18:23:55 +08:00
M09Ic	e30bab194a	优化统计模块, 现在check失败的任务也会在stat中保留了	2023-01-12 18:17:53 +08:00
M09Ic	758a274684	新增--rate-limit, 用来限制单个pool请求速率	2023-01-12 17:41:44 +08:00
M09Ic	880b11e860	优化stat, 添加了source的相关统计	2023-01-10 23:54:46 +08:00
M09Ic	033f3acdd7	实装-c参数, 可以自定义client	2023-01-10 00:57:55 +08:00
M09Ic	f24c7b3bc6	对爬虫进行大量优化, 包括优化性能, 去重, 优化目录拼接, 适配"./"相对目录 ... fuzzy会在开启debug时自动启用.	2023-01-09 21:33:05 +08:00
M09Ic	a94f9e3dc7	优化相似度判断, 并添加了distance/sim字段用来获取. ... 优化fuzzybaseline的逻辑, 移动到处理线程中. 优化expr的性能 修复--fuzzy没启用也会生效的bug	2023-01-09 14:47:58 +08:00
M09Ic	4a1cb28bdd	新增--common, 探测web常见的通用文件. ... 优化--bak, bak现在还会带上常见的备份文件名了	2023-01-06 13:07:59 +08:00
M09Ic	a3082d3f1a	通过fasthttp复用buf导致的数据引用错误的bug ... 优化代码结构	2023-01-06 04:18:21 +08:00
M09Ic	806f6355d0	misc update	2023-01-06 03:31:28 +08:00
M09Ic	bb92c994cd	实现--bak, 自动生成字典爆破备份文件	2023-01-06 00:48:13 +08:00
M09Ic	9750f819cd	新增--append-rule, 用来对valid的结果进行二次基于规则的爆破. ... 添加了规则表: filebak.txt	2023-01-05 22:42:07 +08:00
M09Ic	5142012ceb	实装--cookie --user-agent, --header参数	2023-01-03 18:43:12 +08:00
M09Ic	77d4e25c9e	初步实现主动指纹识别	2023-01-03 17:16:55 +08:00
M09Ic	9e9b0de039	初步实现简易爬虫	2023-01-03 17:09:32 +08:00
M09Ic	a55397eaea	优化resume在因为错误退出时的逻辑	2022-12-16 11:56:27 +08:00
M09Ic	073cf2a095	给全局的输出添加配色, 可以使用--no-color或-q关闭	2022-12-15 00:19:06 +08:00
M09Ic	c9f7620aed	展示删掉根据waf指纹判断waf, 因为可能会有大量误报	2022-12-12 18:01:14 +08:00
M09Ic	b3f297c847	适配gogo2.10.1以及最新的templates	2022-12-12 17:26:07 +08:00
M09Ic	0d81491d5a	大量优化, 实装断点续传, 添加ctrl+c的后续处理	2022-12-12 17:05:44 +08:00
M09Ic	75c33e1135	新增--dump与--dump-file, 用来保存全部数据	2022-12-12 00:13:47 +08:00
M09Ic	faf0812858	优化statistor, 现在是线程安全的	2022-12-11 04:21:42 +08:00
M09Ic	71393bfeb4	修复一个严重的闭包的线程安全问题	2022-12-11 03:52:06 +08:00
M09Ic	af687701a7	初步实现了递归	2022-12-11 00:24:28 +08:00
M09Ic	b94a4c3137	实装rulebase 字典生成器	2022-12-06 21:45:14 +08:00
M09Ic	f9c5a71258	实现断点续传	2022-12-02 19:59:15 +08:00
M09Ic	023e316518	实装耗时功能, 现在可以看到每个任务与每个请求的耗时	2022-12-02 18:29:26 +08:00
M09Ic	f0362b08b0	优化过滤规则,现在可以自定义white, black,fuzzy的状态码	2022-11-29 15:16:33 +08:00
M09Ic	779c98487c	实现文件写入	2022-11-29 15:08:10 +08:00
M09Ic	cc512829ec	新增statistor, 用作统计请求概览与断点续传	2022-11-21 23:56:27 +08:00
M09Ic	cd0ede7e1c	新增--filter与--match参数, 可以自定义过滤与匹配函数	2022-11-21 20:44:02 +08:00
M09Ic	5dddf1933c	优化日志输出, 新增总的命令行进度条	2022-11-21 11:35:38 +08:00
M09Ic	be0fc35cab	实装--check-only参数, 实现类似httpx的批量请求的功能	2022-11-18 20:27:29 +08:00
M09Ic	a5966355ae	新增--white-status, 白名单状态码将跳过precompare	2022-11-17 17:09:37 +08:00
M09Ic	2399c4ff5c	优化代码退出的逻辑, 防止结果无法正确输出, 或管道无法正确关闭	2022-11-17 16:58:14 +08:00
M09Ic	d95b0315ec	实装wafcheck, 目前只对状态码做简单的判断. ... 新增--black-status, 自定义黑名单状态码	2022-11-17 16:27:44 +08:00
M09Ic	32bf598c28	优化--force的逻辑, 开启--force时将关闭check	2022-11-17 05:40:02 +08:00
M09Ic	9439191ed4	修复一个channel提前关闭, 可能导致结果无法正常输出的bug	2022-11-17 05:26:10 +08:00