CrawlForge CLI
Arahan crawlforge disertakan bersama pakej crawlforge-mcp-server, jadi satu pemasangan global memberi anda kedua-dua pelayan MCP dan CLI berdiri sendiri untuk arahan sekali guna dan skrip—tiada klien MCP diperlukan. Tetapkan API key dan anda boleh scraping dalam beberapa saat.
Pasang & Sahkan
Pasang crawlforge-mcp-server secara global—arahan crawlforge disertakan. Cara yang disyorkan untuk mengesahkan ialah crawlforge login, yang meluluskan kunci baharu dalam pelayar anda dan menyimpannya dalam ~/.crawlforge/config.json untuk dibaca oleh CLI secara automatik; npx crawlforge-setup melakukan perkara yang sama dengan kunci yang anda tampal. Dapatkan kunci daripada dashboard API Keys anda.
npm install -g crawlforge-mcp-server
crawlforge login # browser sign-in (recommended)
npx crawlforge-setup # or paste a key by hand
crawlforge --helpKebergantungan, termasuk crawlforge-extractors, dipasang secara automatik.
Log masuk dengan crawlforge login
crawlforge login mencetak URL kelulusan. Bukanya dalam pelayar, log masuk ke CrawlForge dan luluskan permintaan itu; CLI menunggu kelulusan, mengesahkan kunci baharu dan menyimpannya ke ~/.crawlforge/config.json (hanya boleh dibaca oleh anda). Ia berhenti menunggu selepas 10 minit jika tiada sesiapa meluluskannya; --wait <seconds> mengubah had itu.
crawlforge login # prints an approval URL, then waits for you to approve it
crawlforge login --name ci-box # label the key as it will appear in the dashboard
crawlforge login --wait 120 # stop waiting after 120 s (default 600)
crawlforge login --json # machine-readable URL and result for scripts--name menetapkan label kunci dalam dashboard API Keys; --json mencetak URL dan hasil sebagai JSON untuk skrip. login hanya menyimpan kunci—jalankan crawlforge init --client <name> selepas itu untuk mendaftarkan pelayan MCP dengan Claude Code, Claude Desktop atau Cursor, atau gunakan konfigurator MCP untuk klien lain.
CRAWLFORGE_API_KEY=cf_live_... dalam ~/.zshrc / ~/.bashrc anda, atau berikan --api-key cf_live_... pada mana-mana arahan. Keutamaan: --api-key > pemboleh ubah persekitaran > konfigurasi tersimpan.Arahan
16 arahan alat di bawah merangkumi 28 daripada 31 alat CrawlForge (sesetengah arahan mendedahkan berbilang alat melalui flag; reddit_search, extract_embedded_state dan read_result hanya tersedia melalui MCP dan API REST). Jalankan crawlforge <command> --help untuk melihat flag dan pilihan bagi mana-mana arahan.
Satu seruan crawlforge browser ialah satu sesi penuh, dan sesi tidak boleh merentas dua proses CLI: arahan itu membuka halaman, mengambil snapshot, menjalankan langkah dalam --steps, membaca jika diminta, kemudian menutup. Gunakan alat MCP browser_session atau API REST apabila sesuatu sesi perlu kekal lebih lama daripada panggilan yang membukanya.
| Command | Purpose |
|---|---|
scrape | Ambil satu URL (fetch_url); tambah --extract untuk teks/markdown yang dibersihkan |
search | Carian web (--provider crawlforge atau searxng) |
crawl | Crawl mendalam berbilang halaman dengan kawalan kedalaman/halaman/kekonkurenan |
map | Jana peta laman (--format json atau xml) |
extract | Pengekstrakan berstruktur melalui --schema (CSS) atau --prompt (LLM) |
track | Jejaki perubahan kandungan (--selector, --threshold) |
analyze | Analisis sentimen, entiti dan kebolehbacaan |
research | Penyelidikan mendalam berbilang sumber dengan pengesahan sumber |
stealth | Mod pelayar anti-bot (--engine playwright atau camoufox) |
batch | Scrape banyak URL daripada fail yang dipisahkan baris baharu |
actions | Automasi pelayar daripada skrip tindakan JSON (--script) |
browser | Sesi pelayar dijalankan hujung ke hujung: buka, ambil snapshot, bertindak pada ref yang dipulangkan, baca, tutup (--steps, --read) |
localize | Pengambilan sedar lokal/geo (--locale, --country, --currency) |
llmstxt | Jana llms.txt dan llms-full.txt (--include-full) |
template | Jalankan templat laman pra-bina (--list memaparkan kesemua 10) |
monitor | Pemantauan perubahan berjadual (--interval, --webhook) |
Pemasang skills
Dua arahan pembantu menyalin fail skill CrawlForge ke dalam alat pengekodan AI anda supaya ia tahu cara menggunakan setiap arahan CrawlForge.
| Command | Purpose |
|---|---|
install-skills | Pasang skills CrawlForge ke dalam Claude Code, Cursor atau VS Code (--target, --dry-run) |
uninstall-skills | Buang fail skill CrawlForge yang dipasang (--target) |
crawlforge mcp (alias crawlforge serve). Klien MCP biasanya melancarkannya untuk anda—lihat panduan Claude Desktop dan Cursor.Contoh
1. Scrape satu halaman sebagai markdown bersih
crawlforge scrape https://example.com --extract --format markdownTanpa --extract arahan tersebut menjalankan fetch_url (header + badan mentah); dengannya, extract_content mengembalikan teks atau markdown yang dibersihkan. Tambah --pretty untuk mencetak JSON berinden.
2. Jalankan penyelidikan mendalam dengan berbilang sumber
crawlforge research "AI agent frameworks 2026" --depth deep --max-urls 10Menganalisis sehingga 10 sumber, mengesahkan petikan, dan mengeluarkan laporan penyelidikan berstruktur. Kedalaman ialah basic, standard atau deep. Berkos 10 credits.
3. Gunakan templat laman pra-bina
crawlforge template github-repo https://github.com/anthropics/claude-code --pretty
crawlforge template --list # show all 10 templatesTemplat mengekstrak skema yang diketahui untuk laman popular (repo GitHub, produk Amazon, video YouTube dan banyak lagi) tanpa anda perlu menulis selektor sendiri. URL sasaran ialah argumen kedudukan.
4. Salurkan JSON ke alat lain
crawlforge search "nodejs MCP server" --json | jq '.results[].url'--json mengeluarkan JSON satu baris untuk saluran paip shell dan CI; --quiet mengembalikan hanya kod keluar.
Flag Global
Flag ini berfungsi dengan mana-mana arahan dan membentuk cara output disampaikan.
| Flag | Description |
|---|---|
--json | Keluarkan JSON padat (mesra saluran paip) |
--pretty | Keluarkan JSON yang dicetak kemas |
--quiet | Sekat semua output stdout (kod keluar sahaja) |
--api-key <key> | Atasi pemboleh ubah persekitaran CRAWLFORGE_API_KEY |
--timeout <ms> | Had masa permintaan global dalam ms (lalai: 30000) |