admin/spray
1
0 Fork 0
mirror of https://github.com/chainreactors/spray.git synced 2026-10-29 03:50:47 +00:00
Code Issues Packages Projects Releases Wiki Activity
179 Commits 18 Branches 56 Tags
7eea77ee9161eb350fc4dcc96a5a3ccae1a653e2
Commit Graph
94 Commits
Author SHA1 Message Date
M09Ic 7eea77ee91 spray输出相关的代码整合到spray中 2023-02-01 18:31:50 +08:00
M09Ic 5e3df6f80a 修复在优化stat时一个线程安全问题导致程序阻塞的bug 2023-01-29 18:23:55 +08:00
M09Ic 3abc250ab6 适配新版本gogo 2023-01-28 15:56:21 +08:00
M09Ic 8d61235a37 update mod 2023-01-28 14:53:02 +08:00
M09Ic cf08e5cc1d 完成对extract相关功能的重构 2023-01-28 13:15:49 +08:00
M09Ic 9ffc86c5d7 优化了输出中的number字段, 现在能正确判断了, 并且addition中的number会是当前的wordoffset, 可以用来判断错误发生的位置. 2023-01-12 19:21:35 +08:00
M09Ic cf763b5861 优化统计模块, 现在check失败的任务也会在stat中保留了 2023-01-12 18:17:53 +08:00
M09Ic 7f11bd8489 新增--rate-limit, 用来限制单个pool请求速率 2023-01-12 17:41:44 +08:00
M09Ic 581bd56796 添加了多处错误与日志描述 2023-01-12 16:35:34 +08:00
M09Ic db8130651b 调整多条正则 2023-01-11 12:04:03 +08:00
M09Ic ef9b50fdc1 优化stat输出配色 2023-01-11 12:03:54 +08:00
M09Ic 583f1f8d64 调整多条爬虫的正则 2023-01-11 11:40:38 +08:00
M09Ic 64afdcc13a 调整全局的去重列表以及日志输出 2023-01-11 11:26:03 +08:00
M09Ic 2e88cdc071 调整爬虫的正则 2023-01-11 11:12:40 +08:00
M09Ic 1b8fa8d0ed 优化stat, 添加了source的相关统计 2023-01-10 23:54:46 +08:00
M09Ic b54a94241a 重写了目录拼接的所有逻辑, 发现做到安全的目录拼接有些困难, 只能做到尽可能安全 2023-01-10 23:44:03 +08:00
M09Ic d2722d8fd5 优化body读取的逻辑, 0byte的body将会自动跳过读取 2023-01-10 11:59:43 +08:00
M09Ic b82bf06d31 优化body为0bytes情况下EOF报错显示 2023-01-10 02:06:02 +08:00
M09Ic 1c294cbc0a 优化crawl的正则表达式 2023-01-10 01:30:05 +08:00
M09Ic 9600d6fe3e 修复host输出不适当的bug 2023-01-10 01:08:42 +08:00
M09Ic 4d338f18c2 进一步优化crawl的正则与特殊情况处理 2023-01-10 00:58:16 +08:00
M09Ic f9e4ab902f 实装-c参数, 可以自定义client 2023-01-10 00:57:55 +08:00
M09Ic 7184891338 进一步优化crawl的正则与特殊情况 2023-01-09 22:41:05 +08:00
M09Ic 75106db917 优化正则, 适配go的正则规则 2023-01-09 22:23:51 +08:00
M09Ic b8a31be639 新增--read-all参数, 用来取消body max read限制 2023-01-09 21:47:06 +08:00
M09Ic 55ab5b79f2 对爬虫进行大量优化, 包括优化性能, 去重, 优化目录拼接, 适配"./"相对目录 
fuzzy会在开启debug时自动启用.
 2023-01-09 21:33:05 +08:00
M09Ic 48484d9b68 优化命令行参数, 当-w与-d都为空的时候自动添加"/"防止报错 2023-01-09 15:45:17 +08:00
M09Ic 5d3843e342 优化相似度判断, 并添加了distance/sim字段用来获取. 
优化fuzzybaseline的逻辑, 移动到处理线程中.
优化expr的性能
修复--fuzzy没启用也会生效的bug
 2023-01-09 14:47:58 +08:00
M09Ic 82934f7d6c 适配了favicon的指纹识别 
添加了基于contenttype的一些优化
index现在发送的是空数据, 而非添加了"/"之后的
 2023-01-09 13:43:00 +08:00
M09Ic a81a5cb63b 修复程序并发调度失败的bug 2023-01-09 11:55:27 +08:00
M09Ic 0062c58a19 优化baseline的性能与信息获取 2023-01-06 15:06:40 +08:00
M09Ic b412fbd781 新增--common, 探测web常见的通用文件. 
优化--bak, bak现在还会带上常见的备份文件名了
 2023-01-06 13:07:59 +08:00
M09Ic 1be5fe1c79 通过fasthttp复用buf导致的数据引用错误的bug 
优化代码结构
 2023-01-06 04:18:21 +08:00
M09Ic f7e3337d19 misc update 2023-01-06 03:31:28 +08:00
M09Ic 90ef10e23f 更加安全的目录拼接, 在不改变/数量的情况下, 实现安全且正确的拼接path 2023-01-06 01:28:09 +08:00
M09Ic 350cf68e45 实现--bak, 自动生成字典爆破备份文件 2023-01-06 00:48:13 +08:00
M09Ic ae45bd5daa 新增--file-bak参数, 开启有效结果的备份文件爆破, 可以使用-a同时开启三个 2023-01-05 23:26:14 +08:00
M09Ic ab5aa08ba7 新增--append-rule, 用来对valid的结果进行二次基于规则的爆破. 
添加了规则表: filebak.txt
 2023-01-05 22:42:07 +08:00
M09Ic 84cbcea005 调整client中并发池的大小为-t的1.5倍, 优化性能 2023-01-05 15:01:08 +08:00
M09Ic 3292c2cc86 调整client中并发池的大小为-t的1.5倍, 优化性能 2023-01-05 14:58:14 +08:00
M09Ic f37414e7d7 probe中添加source. 2023-01-04 13:52:03 +08:00
M09Ic b632d7ddb2 优化content-length输出, 现在超过max的结果也会正确的获取, 但添加了(exceed)标记 2023-01-04 11:31:31 +08:00
M09Ic 0c397da718 统一crawl与extract的输出 2023-01-04 11:18:03 +08:00
M09Ic 7069ee6b9d 统一extract与crawl的输出 2023-01-04 11:07:18 +08:00
M09Ic 23d36def26 实装--cookie --user-agent, --header参数 2023-01-03 18:43:12 +08:00
M09Ic 8cabcc551a baseline添加source字段 2023-01-03 18:27:06 +08:00
M09Ic a7293af95a 调整爬虫的逻辑, 优化输出颜色 2023-01-03 18:22:13 +08:00
M09Ic ceada5df3c 新增--max-length参数, 允许手动调整最大读取的body 2023-01-03 17:30:14 +08:00
M09Ic c062309db5 初步实现主动指纹识别 2023-01-03 17:16:55 +08:00
M09Ic 8fa4da47cb 初步实现简易爬虫 2023-01-03 17:09:32 +08:00