Commit Graph
144 Commits
Author SHA1 Message Date
M09Ic b8a31be639 新增--read-all参数, 用来取消body max read限制 2023-01-09 21:47:06 +08:00
M09Ic 55ab5b79f2 对爬虫进行大量优化, 包括优化性能, 去重, 优化目录拼接, 适配"./"相对目录
fuzzy会在开启debug时自动启用.
2023-01-09 21:33:05 +08:00
M09Ic 48484d9b68 优化命令行参数, 当-w与-d都为空的时候自动添加"/"防止报错 2023-01-09 15:45:17 +08:00
M09Ic 5d3843e342 优化相似度判断, 并添加了distance/sim字段用来获取.
优化fuzzybaseline的逻辑, 移动到处理线程中.
优化expr的性能
修复--fuzzy没启用也会生效的bug
v0.7.2
2023-01-09 14:47:58 +08:00
M09Ic 82934f7d6c 适配了favicon的指纹识别
添加了基于contenttype的一些优化
index现在发送的是空数据, 而非添加了"/"之后的
2023-01-09 13:43:00 +08:00
M09Ic a81a5cb63b 修复程序并发调度失败的bug 2023-01-09 11:55:27 +08:00
M09Ic 0062c58a19 优化baseline的性能与信息获取 v0.7.1 2023-01-06 15:06:40 +08:00
M09Ic b412fbd781 新增--common, 探测web常见的通用文件.
优化--bak, bak现在还会带上常见的备份文件名了
2023-01-06 13:07:59 +08:00
M09Ic 959437cf6c 优化pool的init, 使用互斥锁提高并发速度 2023-01-06 11:30:17 +08:00
M09Ic 1be5fe1c79 通过fasthttp复用buf导致的数据引用错误的bug
优化代码结构
2023-01-06 04:18:21 +08:00
M09Ic f7e3337d19 misc update 2023-01-06 03:31:28 +08:00
M09Ic 90ef10e23f 更加安全的目录拼接, 在不改变/数量的情况下, 实现安全且正确的拼接path v0.7.0 2023-01-06 01:28:09 +08:00
M09Ic 350cf68e45 实现--bak, 自动生成字典爆破备份文件 2023-01-06 00:48:13 +08:00
M09Ic ae45bd5daa 新增--file-bak参数, 开启有效结果的备份文件爆破, 可以使用-a同时开启三个 2023-01-05 23:26:14 +08:00
M09Ic ab5aa08ba7 新增--append-rule, 用来对valid的结果进行二次基于规则的爆破.
添加了规则表: filebak.txt
2023-01-05 22:42:07 +08:00
M09Ic 9fa563ab44 update README.md 2023-01-05 15:54:48 +08:00
M09Ic aaa4b17b1b 添加help的补充说明, 优化README文档 2023-01-05 15:53:10 +08:00
M09Ic 84cbcea005 调整client中并发池的大小为-t的1.5倍, 优化性能 2023-01-05 15:01:08 +08:00
M09Ic 3292c2cc86 调整client中并发池的大小为-t的1.5倍, 优化性能 2023-01-05 14:58:14 +08:00
M09Ic 94afc01033 优化check-pool 2023-01-05 14:56:23 +08:00
M09Ic 5e38d1399e 优化help, 新增multi标记 2023-01-05 14:41:41 +08:00
M09Ic 71084f9a3f -u 允许添加多个
调整stat文件名生成方式
2023-01-05 14:40:20 +08:00
M09Ic 681eb0182e update README.md 2023-01-04 14:19:32 +08:00
M09Ic a4d31ba372 update README.md 2023-01-04 14:18:03 +08:00
M09Ic 76b38c31d3 修复多处拼写错误 v0.6.1 2023-01-04 13:52:12 +08:00
M09Ic f37414e7d7 probe中添加source. 2023-01-04 13:52:03 +08:00
M09Ic 38d507e060 初步实现-F
给--probe添加缩写-o
2023-01-04 12:06:13 +08:00
M09Ic b632d7ddb2 优化content-length输出, 现在超过max的结果也会正确的获取, 但添加了(exceed)标记 2023-01-04 11:31:31 +08:00
M09Ic d109f10a5d 优化输出, 有价值(200,30x)的index也会输出到文件中 2023-01-04 11:26:25 +08:00
M09Ic 0c397da718 统一crawl与extract的输出 2023-01-04 11:18:03 +08:00
M09Ic 7069ee6b9d 统一extract与crawl的输出 2023-01-04 11:07:18 +08:00
M09Ic d6d262e6d5 优化options的细节, 递归深度的选择 2023-01-04 00:15:34 +08:00
M09Ic 23d36def26 实装--cookie --user-agent, --header参数 2023-01-03 18:43:12 +08:00
M09Ic 8cabcc551a baseline添加source字段 2023-01-03 18:27:06 +08:00
M09Ic a7293af95a 调整爬虫的逻辑, 优化输出颜色 2023-01-03 18:22:13 +08:00
M09Ic ceada5df3c 新增--max-length参数, 允许手动调整最大读取的body v0.6.0 2023-01-03 17:30:14 +08:00
M09Ic ec6e3a4352 添加-a参数, 自动开启--crawl与--active 2023-01-03 17:20:07 +08:00
M09Ic c062309db5 初步实现主动指纹识别 2023-01-03 17:16:55 +08:00
M09Ic 8fa4da47cb 初步实现简易爬虫 2023-01-03 17:09:32 +08:00
M09Ic 7f0159f7c1 update README.md 2022-12-16 17:33:18 +08:00
M09Ic bc854c39ea 优化resume在因为错误退出时的逻辑 2022-12-16 11:56:27 +08:00
M09Ic bda3c45317 update README.md 2022-12-15 00:41:39 +08:00
M09Ic 0b67f08a25 给全局的输出添加配色, 可以使用--no-color或-q关闭 v0.5.1 2022-12-15 00:19:06 +08:00
M09Ic dbc7f3f84d update README.md 2022-12-14 23:15:38 +08:00
M09Ic 28597a5b9e update README.md 2022-12-14 23:09:19 +08:00
M09Ic ad6bb12903 update README.md 2022-12-14 20:24:37 +08:00
M09Ic a20376965d 修复recu没有正确编译的bug.
更新words到最新版
2022-12-14 20:24:25 +08:00
M09Ic 144e7c771c 优化性能, 使用启用了表达式才会生成对应的变量.
优化words的mask内存性能,完全使用生成器代替保存在内存中.
2022-12-14 14:20:45 +08:00
M09Ic f4cc4be9e6 修复cmd输入url时stat文件名不正确的bug 2022-12-13 00:21:04 +08:00
M09Ic f8325ed571 misc update 2022-12-13 00:19:51 +08:00