x-glacier/kali-pentest / kali-pentest-zh
kali-pentest-zh
Flagged通过 SSH 或 Docker 使用 Kali Linux CLI 工具执行授权渗透测试。 覆盖:信息收集、漏洞分析、嗅探与欺骗、Web/API 渗透、漏洞利用、密码攻击、无线、云原生安全、RFID/NFC、VoIP/ICS、逆向工程、取证分析、后渗透/C2、报告生成。
references/information-gathering/tools/hakrawler.md
View on GitHub# Hakrawler
- **Category**: Information Gathering / Web Endpoint Discovery
- **Risk Level**: 🟢 Low
---
## 描述
专为 Web 应用端点和资产发现设计的快速爬虫。从 HTML 源码、JavaScript、robots.txt 和 sitemap.xml 中提取 URL、JavaScript 文件、表单和子域名。为管道使用而设计——从 stdin 读取 URL,将发现的端点输出到 stdout,便于与 subfinder、httpx 和 ffuf 串联使用。
## 安装
```bash
sudo apt install hakrawler
```
## 参数说明
| 参数 | 说明 |
|------|------|
| `-d <n>` | 爬取深度(默认:2) |
| `-u` | 仅显示唯一 URL |
| `-insecure` | 跳过 TLS 证书验证 |
| `-subs` | 跟踪子域名链接 |
| `-t <n>` | 线程数(默认:8) |
| `-proxy <url>` | 代理 URL(如 http://127.0.0.1:8080) |
| `-h` | 自定义请求头(`"Name: value;;Name2: value2"` 格式,多个请求头以 `;;` 分隔) |
| `-timeout <n>` | 从 stdin 爬取每个 URL 的最大时间(秒) |
| `-s` | 显示 URL 来源(在哪里发现的) |
| `-size <n>` | 页面大小限制(KB) |
| `-json` | 以 JSON 格式输出 |
## 常用命令
```bash
# 爬取单个 URL
echo https://example.com | hakrawler
# 爬取深度为 3
echo https://example.com | hakrawler -d 3
# 跟踪子域名
echo https://example.com | hakrawler -subs
# 完整流水线:子域名发现 → 探活 → 爬取
subfinder -d example.com -silent | httpx -silent | hakrawler
# 对 URL 列表进行爬取
cat urls.txt | hakrawler -d 2 -u
# 通过 Burp Suite 代理路由流量
echo https://example.com | hakrawler -proxy http://127.0.0.1:8080 -insecure
# 提取 JavaScript 文件
echo https://example.com | hakrawler | grep '\.js$'
```
## 注意事项
1. 在 subfinder/amass 发现子域名后使用,对全部子域名进行爬取,完整绘制攻击面。
2. 使用 `-u` 去重 URL 输出——管道处理中保持结果整洁。
3. 与 `ffuf` 或 `gobuster` 配合:hakrawler 找已知路径,再爆破发现隐藏路径。
4. JavaScript 文件(`.js`)通常包含 API 端点、密钥和内部路径——在输出中用 grep 筛选 `.js` 文件。
5. `-subs` 跟踪子域名链接,可显著扩大超出初始域名的攻击面。
---
## 官方参考
- [hakrawler(GitHub)](https://github.com/hakluke/hakrawler)
- [Kali hakrawler](https://www.kali.org/tools/hakrawler/)
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| rea-analysis-optimizationmorluto/reaOptimize REA providers and shared analysis workflows for agent context, latency, CPU, and memory while preserving correctness and Evidence. Use for analysis bottlenecks and cache or query design; CI/test-suite optimization belongs to rea-ci-tests-audit. | Stars: 472k | Updated | Claude CodeCodex | Verified | Install |
| rea-ci-tests-auditmorluto/reaAudit REA CI and test suites for correctness, fixture drift, false passes, and measured performance; use for suite or workflow investigations and efficiency changes, rather than ordinary feature testing or a single test failure. | Stars: 472k | Updated | Claude CodeCodex | Verified | Install |
| rea-tool-designmorluto/reaAudit, investigate, design, or change REA investigation tools, CLI/MCP contracts, provider capabilities, and Evidence semantics. | Stars: 472k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-auditDietrichGebert/ponytailQuality audit of the whole repo: bugs, security, real load, missing tests, speed, and what to delete. Most important first. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |