katana-web-crawling

Guides use of ProjectDiscovery Katana for web crawling and spidering in security testing and recon workflows. Covers installation, standard vs headless mode, scope and rate limits, JSONL output, and piping from httpx or URL lists. Use when the user mentions Katana, projectdiscovery/katana, web crawling, spidering, endpoint discovery, attack surface mapping, or chaining crawlers in automation pipelines.

⚡ おすすめ: コマンド1行でインストール(60秒)

下記のコマンドをコピーしてターミナル(Mac/Linux)または PowerShell(Windows)に貼り付けてください。ダウンロード → 解凍 → 配置まで全自動。

🍎 Mac / 🐧 Linux

mkdir -p ~/.claude/skills && cd ~/.claude/skills && curl -L -o katana-web-crawling.zip https://jpskill.com/download/10134.zip && unzip -o katana-web-crawling.zip && rm katana-web-crawling.zip

🪟 Windows (PowerShell)

$d = "$env:USERPROFILE\.claude\skills"; ni -Force -ItemType Directory $d | Out-Null; iwr https://jpskill.com/download/10134.zip -OutFile "$d\katana-web-crawling.zip"; Expand-Archive "$d\katana-web-crawling.zip" -DestinationPath $d -Force; ri "$d\katana-web-crawling.zip"

完了後、Claude Code を再起動 → 普通に「動画プロンプト作って」のように話しかけるだけで自動発動します。

💾 手動でダウンロードしたい(コマンドが難しい人向け)

1. 下の青いボタンを押して katana-web-crawling.zip をダウンロード
2. ZIPファイルをダブルクリックで解凍 → katana-web-crawling フォルダができる
3. そのフォルダを C:\Users\あなたの名前\.claude\skills\(Win)または ~/.claude/skills/(Mac)へ移動
4. Claude Code を再起動

⬇ .zip でダウンロード(推奨) ⬇ .skill 形式(上級者用) 元のソース ↗

⚠️ ダウンロード・利用は自己責任でお願いします。当サイトは内容・動作・安全性について責任を負いません。

🎯 このSkillでできること

下記の説明文を読むと、このSkillがあなたに何をしてくれるかが分かります。Claudeにこの分野の依頼をすると、自動で発動します。

📦 インストール方法 (3ステップ)

1. 上の「ダウンロード」ボタンを押して .skill ファイルを取得
2. ファイル名の拡張子を .skill から .zip に変えて展開(macは自動展開可)
3. 展開してできたフォルダを、ホームフォルダの .claude/skills/ に置く
- · macOS / Linux: ~/.claude/skills/
- · Windows: %USERPROFILE%\.claude\skills\

Claude Code を再起動すれば完了。「このSkillを使って…」と話しかけなくても、関連する依頼で自動的に呼び出されます。

詳しい使い方ガイドを見る →

最終更新

2026-05-18

取得日時

2026-05-18

同梱ファイル

📖 Claude が読む原文 SKILL.md(中身を展開)

この本文は AI(Claude)が読むための原文(英語または中国語)です。日本語訳は順次追加中。

Katana web crawling

Katana is a fast crawler/spider from ProjectDiscovery, aimed at automation pipelines (URLs in → discovered endpoints out). Official docs and flags: repository README and katana -h.

Scope and ethics

Use only on systems you own or are explicitly authorized to test (contract, bug bounty program rules, internal env). Crawl gently: set concurrency, rate limits, and depth to reduce load. Misuse can violate law and terms of service—you are responsible for your actions (tool ships with that warning).

Installation

Go (requires Go 1.25+ per upstream; verify current README if install fails):

CGO_ENABLED=1 go install github.com/projectdiscovery/katana/cmd/katana@latest

Docker:

docker pull projectdiscovery/katana:latest
docker run projectdiscovery/katana:latest -u https://example.com

Headless in Docker often needs -system-chrome and Chrome/Chromium available—see upstream Docker section.

Input

Single/multiple URLs: -u https://a.com or comma-separated URLs
File: -list urls.txt
STDIN: echo https://example.com | katana or cat domains | httpx | katana

Modes

Mode	When
Standard (default)	Fast; uses Go HTTP client; no full JS/DOM render—may miss post-render routes
Headless (`-headless`)	Browser context; better for JS-heavy apps; optional `-system-chrome`

Enable JS file parsing for more endpoints: -js-crawl (-jc). -jsluice is heavier.

Flags to know first

Flag	Purpose
`-d`, `-depth`	Max crawl depth (default 3)
`-c`, `-concurrency`	Parallel fetchers
`-rl`, `-rate-limit`	Max requests per second
`-ct`, `-crawl-duration`	Cap total crawl time (e.g. `5m`)
`-cs` / `-cos`	In-scope / out-of-scope URL regex
`-ns`	Disable default host scope if you need cross-host (use carefully)
`-iqp`	Ignore same path with different query strings
`-fs`, `-filter-similar`	Reduce near-duplicate paths
`-kf`, `-known-files`	`robots.txt` / `sitemap.xml` etc. (min depth 3 for full coverage per docs)
`-j`, `-jsonl`	JSONL output for scripting
`-o`, `-output`	Write to file
`-sr`, `-store-response`	Store HTTP for review (disk use)
`-proxy`	HTTP/SOCKS5 proxy
`-H`	Extra headers (auth, cookies) via `header:value`

Run katana -h for the full list (filters, form fill, tech detect, TLS options, etc.).

Minimal examples

katana -u https://example.com -d 2 -silent

katana -u https://example.com -jsonl -o endpoints.jsonl

katana -list seeds.txt -d 3 -cs '.*\.example\.com.*' -rl 30 -jsonl

Headless (JS-heavy target):

katana -u https://example.com -headless -d 2

Pipelines

Common pattern: resolve live HTTP first, then crawl:

cat domains.txt | httpx -silent | katana -jsonl -o crawl.jsonl

Combine with other PD tools (naabu, nuclei, etc.) only in authorized assessments.

Troubleshooting

CGO_ENABLED=1 required for go install per README.
Headless failures: try -system-chrome, ensure Chrome/Chromium installed, or use Docker image with documented Chrome setup.
Health check: -health-check / -hc.

References

Source and releases: github.com/projectdiscovery/katana