CLI

CrawlForge CLI

Arahan crawlforge disertakan bersama pakej crawlforge-mcp-server, jadi satu pemasangan global memberi anda kedua-dua pelayan MCP dan CLI berdiri sendiri untuk arahan sekali guna dan skrip—tiada klien MCP diperlukan. Tetapkan API key dan anda boleh scraping dalam beberapa saat.

Pasang & Sahkan

Pasang crawlforge-mcp-server secara global—arahan crawlforge disertakan. Cara yang disyorkan untuk mengesahkan ialah crawlforge login, yang meluluskan kunci baharu dalam pelayar anda dan menyimpannya dalam ~/.crawlforge/config.json untuk dibaca oleh CLI secara automatik; npx crawlforge-setup melakukan perkara yang sama dengan kunci yang anda tampal. Dapatkan kunci daripada dashboard API Keys anda.

Bash

npm install -g crawlforge-mcp-server
crawlforge login            # browser sign-in (recommended)
npx crawlforge-setup        # or paste a key by hand
crawlforge --help

Kebergantungan, termasuk crawlforge-extractors, dipasang secara automatik.

Log masuk dengan crawlforge login

crawlforge login mencetak URL kelulusan. Bukanya dalam pelayar, log masuk ke CrawlForge dan luluskan permintaan itu; CLI menunggu kelulusan, mengesahkan kunci baharu dan menyimpannya ke ~/.crawlforge/config.json (hanya boleh dibaca oleh anda). Ia berhenti menunggu selepas 10 minit jika tiada sesiapa meluluskannya; --wait <seconds> mengubah had itu.

Bash

crawlforge login                 # prints an approval URL, then waits for you to approve it
crawlforge login --name ci-box   # label the key as it will appear in the dashboard
crawlforge login --wait 120      # stop waiting after 120 s (default 600)
crawlforge login --json          # machine-readable URL and result for scripts

--name menetapkan label kunci dalam dashboard API Keys; --json mencetak URL dan hasil sebagai JSON untuk skrip. login hanya menyimpan kunci—jalankan crawlforge init --client <name> selepas itu untuk mendaftarkan pelayan MCP dengan Claude Code, Claude Desktop atau Cursor, atau gunakan konfigurator MCP untuk klien lain.

Cara lain untuk mengesahkan:

export CRAWLFORGE_API_KEY=cf_live_... dalam ~/.zshrc / ~/.bashrc anda, atau berikan --api-key cf_live_... pada mana-mana arahan. Keutamaan: --api-key > pemboleh ubah persekitaran > konfigurasi tersimpan.

Arahan

16 arahan alat di bawah merangkumi 28 daripada 31 alat CrawlForge (sesetengah arahan mendedahkan berbilang alat melalui flag; reddit_search, extract_embedded_state dan read_result hanya tersedia melalui MCP dan API REST). Jalankan crawlforge <command> --help untuk melihat flag dan pilihan bagi mana-mana arahan.

Satu seruan crawlforge browser ialah satu sesi penuh, dan sesi tidak boleh merentas dua proses CLI: arahan itu membuka halaman, mengambil snapshot, menjalankan langkah dalam --steps, membaca jika diminta, kemudian menutup. Gunakan alat MCP browser_session atau API REST apabila sesuatu sesi perlu kekal lebih lama daripada panggilan yang membukanya.

Command	Purpose
`scrape`	Ambil satu URL (fetch_url); tambah --extract untuk teks/markdown yang dibersihkan
`search`	Carian web (--provider crawlforge atau searxng)
`crawl`	Crawl mendalam berbilang halaman dengan kawalan kedalaman/halaman/kekonkurenan
`map`	Jana peta laman (--format json atau xml)
`extract`	Pengekstrakan berstruktur melalui --schema (CSS) atau --prompt (LLM)
`track`	Jejaki perubahan kandungan (--selector, --threshold)
`analyze`	Analisis sentimen, entiti dan kebolehbacaan
`research`	Penyelidikan mendalam berbilang sumber dengan pengesahan sumber
`stealth`	Mod pelayar anti-bot (--engine playwright atau camoufox)
`batch`	Scrape banyak URL daripada fail yang dipisahkan baris baharu
`actions`	Automasi pelayar daripada skrip tindakan JSON (--script)
`browser`	Sesi pelayar dijalankan hujung ke hujung: buka, ambil snapshot, bertindak pada ref yang dipulangkan, baca, tutup (--steps, --read)
`localize`	Pengambilan sedar lokal/geo (--locale, --country, --currency)
`llmstxt`	Jana llms.txt dan llms-full.txt (--include-full)
`template`	Jalankan templat laman pra-bina (--list memaparkan kesemua 10)
`monitor`	Pemantauan perubahan berjadual (--interval, --webhook)

Pemasang skills

Dua arahan pembantu menyalin fail skill CrawlForge ke dalam alat pengekodan AI anda supaya ia tahu cara menggunakan setiap arahan CrawlForge.

Command	Purpose
`install-skills`	Pasang skills CrawlForge ke dalam Claude Code, Cursor atau VS Code (--target, --dry-run)
`uninstall-skills`	Buang fail skill CrawlForge yang dipasang (--target)

Menjalankan pelayan MCP secara manual:

binari yang sama juga memulakan pelayan melalui stdio dengan crawlforge mcp (alias crawlforge serve). Klien MCP biasanya melancarkannya untuk anda—lihat panduan Claude Desktop dan Cursor.

Contoh

1. Scrape satu halaman sebagai markdown bersih

Bash

crawlforge scrape https://example.com --extract --format markdown

Tanpa --extract arahan tersebut menjalankan fetch_url (header + badan mentah); dengannya, extract_content mengembalikan teks atau markdown yang dibersihkan. Tambah --pretty untuk mencetak JSON berinden.

2. Jalankan penyelidikan mendalam dengan berbilang sumber

Bash

crawlforge research "AI agent frameworks 2026" --depth deep --max-urls 10

Menganalisis sehingga 10 sumber, mengesahkan petikan, dan mengeluarkan laporan penyelidikan berstruktur. Kedalaman ialah basic, standard atau deep. Berkos 10 credits.

3. Gunakan templat laman pra-bina

Bash

crawlforge template github-repo https://github.com/anthropics/claude-code --pretty
crawlforge template --list   # show all 10 templates

Templat mengekstrak skema yang diketahui untuk laman popular (repo GitHub, produk Amazon, video YouTube dan banyak lagi) tanpa anda perlu menulis selektor sendiri. URL sasaran ialah argumen kedudukan.

4. Salurkan JSON ke alat lain

Bash

crawlforge search "nodejs MCP server" --json | jq '.results[].url'

--json mengeluarkan JSON satu baris untuk saluran paip shell dan CI; --quiet mengembalikan hanya kod keluar.

Flag Global

Flag ini berfungsi dengan mana-mana arahan dan membentuk cara output disampaikan.

Flag	Description
`--json`	Keluarkan JSON padat (mesra saluran paip)
`--pretty`	Keluarkan JSON yang dicetak kemas
`--quiet`	Sekat semua output stdout (kod keluar sahaja)
`--api-key <key>`	Atasi pemboleh ubah persekitaran CRAWLFORGE_API_KEY
`--timeout <ms>`	Had masa permintaan global dalam ms (lalai: 30000)

Langkah Seterusnya

Rujukan API

Kesemua 31 alat, parameter dan kos credits.

Protokol MCP

Gunakan backend yang sama daripada mana-mana klien yang serasi dengan MCP.

Mula Bermula

Mula pantas 5 minit untuk akaun baharu.

Bersedia untuk scrape dari terminal?

Daftar untuk credits percuma dan mula menjalankan arahan dalam beberapa minit.

Dapatkan Credits Percuma Urus API Keys