32 Commits

Author	SHA1	Message	Date
M09Ic	09c2a86a18	refactor package dependency	2024-02-08 15:26:01 +08:00
M09Ic	051c270df8	add dicc.txt as default dict	2024-02-07 02:59:55 +08:00
M09Ic	4cbb7b05ba	bump dependency	2023-12-28 14:34:19 +08:00
M09Ic	00c880f16e	优化爬虫的url处理	2023-06-30 17:43:47 +08:00
M09Ic	9eb55ebd66	适配gogo v2.11.0	2023-04-04 00:47:33 +08:00
M09Ic	296bea96a0	修复check-only失效的bug	2023-02-19 16:14:51 +08:00
M09Ic	5ace37824a	调整extract格式	2023-02-08 15:30:40 +08:00
M09Ic	b3589db853	新增一种特殊的过滤模式--unique 或指定状态码的--unique-status 200	2023-02-08 12:58:56 +08:00
M09Ic	02f601051c	spray输出相关的代码整合到spray中	2023-02-01 18:31:50 +08:00
M09Ic	5aaf062f22	适配新版本gogo	2023-01-28 15:56:21 +08:00
M09Ic	480b7591d4	update mod	2023-01-28 14:53:02 +08:00
M09Ic	3943943405	完成对extract相关功能的重构	2023-01-28 13:15:49 +08:00
M09Ic	16d90d9b30	调整多条正则	2023-01-11 12:04:03 +08:00
M09Ic	009ca464bd	调整多条爬虫的正则	2023-01-11 11:40:38 +08:00
M09Ic	8233dcefd3	调整爬虫的正则	2023-01-11 11:12:40 +08:00
M09Ic	b120d703b8	重写了目录拼接的所有逻辑, 发现做到安全的目录拼接有些困难, 只能做到尽可能安全	2023-01-10 23:44:03 +08:00
M09Ic	b5da1eb45f	优化crawl的正则表达式	2023-01-10 01:30:05 +08:00
M09Ic	599118284c	进一步优化crawl的正则与特殊情况处理	2023-01-10 00:58:16 +08:00
M09Ic	171786c51e	进一步优化crawl的正则与特殊情况	2023-01-09 22:41:05 +08:00
M09Ic	a23643ebf0	优化正则, 适配go的正则规则	2023-01-09 22:23:51 +08:00
M09Ic	f24c7b3bc6	对爬虫进行大量优化, 包括优化性能, 去重, 优化目录拼接, 适配"./"相对目录 ... fuzzy会在开启debug时自动启用.	2023-01-09 21:33:05 +08:00
M09Ic	a94f9e3dc7	优化相似度判断, 并添加了distance/sim字段用来获取. ... 优化fuzzybaseline的逻辑, 移动到处理线程中. 优化expr的性能 修复--fuzzy没启用也会生效的bug	2023-01-09 14:47:58 +08:00
M09Ic	797ac74af3	适配了favicon的指纹识别 ... 添加了基于contenttype的一些优化 index现在发送的是空数据, 而非添加了"/"之后的	2023-01-09 13:43:00 +08:00
M09Ic	bb92c994cd	实现--bak, 自动生成字典爆破备份文件	2023-01-06 00:48:13 +08:00
M09Ic	26cc384de0	新增--file-bak参数, 开启有效结果的备份文件爆破, 可以使用-a同时开启三个	2023-01-05 23:26:14 +08:00
M09Ic	835d4663dd	调整爬虫的逻辑, 优化输出颜色	2023-01-03 18:22:13 +08:00
M09Ic	9e9b0de039	初步实现简易爬虫	2023-01-03 17:09:32 +08:00
M09Ic	2bd7af7d98	实装指纹识别	2022-10-28 00:46:54 +08:00
M09Ic	9582a32586	现在同时支持http.net与fasthttp两个库, 适用不同的场景	2022-10-26 18:28:40 +08:00
M09Ic	26d084eb6e	初步实现extract与fingers	2022-09-19 14:42:29 +08:00
M09Ic	cb5d1aeafc	misc commit	2022-09-15 19:27:07 +08:00
M09Ic	c91f863afd	init	2022-09-08 15:57:17 +08:00