CrawlForge CLI
Arahan crawlforge disertakan bersama pakej crawlforge-mcp-server, jadi satu pemasangan global memberi anda kedua-dua pelayan MCP dan CLI berdiri sendiri untuk arahan sekali guna dan skrip—tiada klien MCP diperlukan. Tetapkan API key dan anda boleh scraping dalam beberapa saat.
Pasang & Sahkan
Pasang crawlforge-mcp-server secara global—arahan crawlforge disertakan. Cara terpantas untuk mengesahkan ialah wizard persediaan, yang menyimpan kunci anda dalam ~/.crawlforge/config.json untuk dibaca oleh CLI secara automatik. Dapatkan kunci daripada dashboard API Keys anda.
CRAWLFORGE_API_KEY=cf_live_... dalam ~/.zshrc / ~/.bashrc anda, atau berikan --api-key cf_live_... pada mana-mana arahan. Keutamaan: --api-key > pemboleh ubah persekitaran > konfigurasi tersimpan.Arahan
15 arahan alat di bawah merangkumi kesemua 23 alat CrawlForge (sesetengah arahan mendedahkan berbilang alat melalui flag). Jalankan crawlforge <command> --help untuk melihat flag dan pilihan bagi mana-mana arahan.
| Command | Purpose |
|---|---|
scrape | Ambil satu URL (fetch_url); tambah --extract untuk teks/markdown yang dibersihkan |
search | Carian web (--provider crawlforge atau searxng) |
crawl | Crawl mendalam berbilang halaman dengan kawalan kedalaman/halaman/kekonkurenan |
map | Jana peta laman (--format json atau xml) |
extract | Pengekstrakan berstruktur melalui --schema (CSS) atau --prompt (LLM) |
track | Jejaki perubahan kandungan (--selector, --threshold) |
analyze | Analisis sentimen, entiti dan kebolehbacaan |
research | Penyelidikan mendalam berbilang sumber dengan pengesahan sumber |
stealth | Mod pelayar anti-bot (--engine playwright atau camoufox) |
batch | Scrape banyak URL daripada fail yang dipisahkan baris baharu |
actions | Automasi pelayar daripada skrip tindakan JSON (--script) |
localize | Pengambilan sedar lokal/geo (--locale, --country, --currency) |
llmstxt | Jana llms.txt dan llms-full.txt (--include-full) |
template | Jalankan templat laman pra-bina (--list memaparkan kesemua 10) |
monitor | Pemantauan perubahan berjadual (--interval, --webhook) |
Pemasang skills
Dua arahan pembantu menyalin fail skill CrawlForge ke dalam alat pengekodan AI anda supaya ia tahu cara menggunakan setiap arahan CrawlForge.
| Command | Purpose |
|---|---|
install-skills | Pasang skills CrawlForge ke dalam Claude Code, Cursor atau VS Code (--target, --dry-run) |
uninstall-skills | Buang fail skill CrawlForge yang dipasang (--target) |
crawlforge mcp (alias crawlforge serve). Klien MCP biasanya melancarkannya untuk anda—lihat panduan Claude Desktop dan Cursor.Contoh
1. Scrape satu halaman sebagai markdown bersih
Tanpa --extract arahan tersebut menjalankan fetch_url (header + badan mentah); dengannya, extract_content mengembalikan teks atau markdown yang dibersihkan. Tambah --pretty untuk mencetak JSON berinden.
2. Jalankan penyelidikan mendalam dengan berbilang sumber
Menganalisis sehingga 10 sumber, mengesahkan petikan, dan mengeluarkan laporan penyelidikan berstruktur. Kedalaman ialah basic, standard atau deep. Berkos 10 credits.
3. Gunakan templat laman pra-bina
Templat mengekstrak skema yang diketahui untuk laman popular (repo GitHub, produk Amazon, video YouTube dan banyak lagi) tanpa anda perlu menulis selektor sendiri. URL sasaran ialah argumen kedudukan.
4. Salurkan JSON ke alat lain
--json mengeluarkan JSON satu baris untuk saluran paip shell dan CI; --quiet mengembalikan hanya kod keluar.
Flag Global
Flag ini berfungsi dengan mana-mana arahan dan membentuk cara output disampaikan.
| Flag | Description |
|---|---|
--json | Keluarkan JSON padat (mesra saluran paip) |
--pretty | Keluarkan JSON yang dicetak kemas |
--quiet | Sekat semua output stdout (kod keluar sahaja) |
--api-key <key> | Atasi pemboleh ubah persekitaran CRAWLFORGE_API_KEY |
--timeout <ms> | Had masa permintaan global dalam ms (lalai: 30000) |