CrawlForge MCP v6.24: MCP Server Web Scraping yang Boleh Dipercayai

Ejen yang membaca web hanya berguna setakat jawapan paling teruk yang diberikan oleh alatnya. Halaman yang pulang separuh kosong, ralat yang menyalahkan perkara yang salah, atau pautan dipetik yang tidak pernah diambil oleh sesiapa, semuanya dikira. Antara 29 September dan 22 Oktober kami menghantar 24 keluaran CrawlForge MCP, v6.12.1 hingga v6.24.0, dan hampir tiada satu pun yang menambah ciri yang akan anda letakkan pada halaman pendaratan. Semuanya tentang satu perkara: menjadikan CrawlForge sebuah MCP server web scraping yang boleh dipercayai, yang outputnya boleh digunakan oleh ejen tanpa manusia menyemaknya.

Kebanyakan pembaikan datang daripada dua semakan langsung kesemua 31 alat terhadap laman sebenar. Yang pertama membuat kira-kira 470 panggilan pada v6.21.1, dan setiap kecacatan dihasilkan semula oleh penguji kedua sebelum dibaiki. Yang kedua merangkumi v6.22.3, dengan sekurang-kurangnya tiga laman langsung bagi setiap alat. Siaran ini ialah rekod tentang apa yang berubah, dikumpulkan mengikut apa yang diubahnya untuk anda.

Isi kandungan

• Apa yang dihantar, keluaran demi keluaran
• Panggilan yang gagal tidak dicaj, di mana-mana pun
• Cache halaman untuk bacaan berulang
• Dua semakan langsung ke arah MCP server web scraping yang boleh dipercayai
• Jawapan ejen yang boleh anda semak
• Embedded state daripada lebih banyak rangka kerja
• Automasi pelayar yang menunggu halaman
• Keselamatan: setiap lompatan melalui pengawal
• Carian beralih ke Brave Search API
• Perubahan tidak serasi (breaking changes) untuk disemak sebelum naik taraf
• Cara naik taraf

Apa yang dihantar, keluaran demi keluaran

Tiada alat ditambah atau dinamakan semula, dan tiada harga senarai berubah. Setiap baris di atas diambil daripada changelog pelayan, dan changelog laman web membawa entri yang sama.

Panggilan yang gagal tidak dicaj, di mana-mana pun

Kebanyakan API scraping menjawab soalan "adakah permintaan yang gagal dicaj?" dengan senarai kod status. Jawapan CrawlForge sejak v6.22.0 lebih pendek: panggilan yang gagal berharga 0 credits, pada MCP server dan pada API REST.

Sebelum v6.22.0, MCP server mengenakan separuh harga bagi ralat. Tiga alat juga mempunyai masalah yang lebih senyap: extract_structured, extract_with_llm dan summarize_content memulangkan success: false tanpa menandakan hasil itu sebagai ralat, jadi panggilan tersebut dibilkan sepenuhnya dan dilog sebagai berjaya. Kini kegagalan ialah salah satu daripada tiga perkara, dan tiada satu pun dibilkan:

• hasil dengan isError ditetapkan
• ralat yang dilontar
• badan success: false di peringkat atas

Penolakan memang sudah percuma dan masih percuma. Larangan robots.txt, hos dalam senarai sekatan, penolakan SSRF atau tembok bot yang menghentikan setiap anak tangga eskalasi, semuanya tidak berharga apa-apa. Sejak v6.16.0 itu juga merangkumi rantaian scrape_with_actions dan browser_session yang dihentikan separuh jalan oleh pintu pematuhan kami sendiri. Blok _cost yang melaporkan caj sesuatu panggilan kini turut muncul dalam structuredContent bagi alat yang mengisytiharkan skema output, bukan dalam hasil teks sahaja, jadi ejen boleh membaca perbelanjaannya sendiri tanpa menghurai prosa.

Cache halaman untuk bacaan berulang

Ejen membaca semula halaman. Model mengikis halaman untuk markdown, memutuskan ia memerlukan metadata, kemudian meminta satu nilai daripada JSON terbenam, dan itu tiga pengambilan bagi URL yang sama. v6.24.0 menambah cache halaman sesi supaya bacaan kedua dan ketiga berharga kurang dan tidak mengganggu laman itu.

Permintaan berulang bagi halaman yang sama dalam tempoh 10 minit menggunakan semula salinan yang sudah diambil dan berharga 1 credit, apa pun yang dimintanya kali ini: format lain, laluan JSON lain, pemilih lain. Panggilan selari bagi satu halaman berkongsi satu permintaan. Ia merangkumi sembilan alat: fetch_url, scrape, extract_metadata, extract_text, extract_links, scrape_structured, extract_embedded_state, extract_structured dan extract_with_llm.

Apa yang tidak pernah disimpan dalam cache sama pentingnya dengan apa yang disimpan:

• respons bukan 2xx, tembok bot dan halaman cabaran
• respons bertanda Cache-Control: no-store
• permintaan yang membawa pengepala Authorization atau Cookie

Hit cache masih menjalankan semakan senarai sekatan dan robots.txt, jadi halaman dalam cache tidak pernah menjadi jalan untuk memintas peraturan sesebuah laman. Cache dihadkan mengikut saiz (CRAWLFORGE_PAGE_CACHE_MB, lalai 64, 0 mematikannya). Ia berjalan dalam pemasangan MCP tempatan sahaja: ia dimatikan di bawah --http dan bagi permintaan melalui API REST.

Apabila anda memerlukan halaman langsung, nyatakannya dengan maxAge (milisaat). maxAge: 0 memaksa pengambilan baharu:

{
  "name": "scrape",
  "arguments": {
    "url": "https://example.com/pricing",
    "formats": ["markdown"],
    "maxAge": 0
  }
}

Setiap hasil daripada sembilan alat itu membawa cache: { state, fetchedAt, ageMs, note }, jadi ejen dapat mengetahui sama ada ia sedang melihat salinan berusia 3 saat atau salinan baharu.

Dua semakan langsung ke arah MCP server web scraping yang boleh dipercayai

Pembaikan scrape dan crawl_deep di bawah hanyalah sampel, dan changelog mempunyai senarai penuh. Persamaannya ialah setiap satu mengubah jawapan salah yang dilaporkan sebagai berjaya kepada jawapan betul atau ralat yang jujur.

Teks yang dibaca seperti halaman

• Halaman senarai mengekalkan teksnya. Readability menyangka pengarang item senarai sebagai bait nama artikel, jadi quotes.toscrape.com kehilangan "by Albert Einstein". Halaman senarai yang pengekstrakan kandungan utamanya mengekalkan kurang daripada 60% teks yang kelihatan kini berundur kepada keseluruhan halaman. Ini sampai ke scrape, extract_content, batch_scrape, crawl_deep dan scrape_with_actions.
• Blok tidak lagi bercantum. Satu pemerata teks kongsi menggantikan beberapa yang lain, jadi "July 2023If you…" dibaca sebagai dua baris, dan pautan yang ditulis bersebelahan masing-masing mendapat baris sendiri.
• Blok kod keluar berpagar, dengan bahasanya. Kod Sphinx pada docs.python.org sebelum ini pulang sebagai prosa yang dilepaskan (escaped).
• Wikipedia mengekalkan tajuk bahagiannya dan menggugurkan pautan "[edit]".

Crawl yang selesai dan mengira dengan jujur

• crawl_deep menyelesaikan pautan berdasarkan halaman tempat ia mendarat. docs.python.org/3/tutorial mengubah hala ke /3/tutorial/, dan setiap pautan bab telah diselesaikan satu tahap terlalu tinggi lalu memulangkan 404.
• Analisis pautan tidak lagi menyekat pelayan. Pada halaman 7.3 MB dengan 16,766 pautan ia mengambil masa 50 saat dan menyekat setiap panggilan lain. Kini ia mengambil masa 0.5 saat.
• crawl_deep berhenti pada max_pages. Sebelum ini ia menghabiskan setiap pautan dalam baris gilir dahulu: 232 saat untuk 3 halaman pada satu laman.
• map_site menyertakan URL permulaan, jadi laman satu halaman memulangkan 1 URL, bukan 0.

Pengekstrakan yang menyatakan apa yang tidak dapat ditemuinya

• extract_structured memulangkan setiap medan yang anda minta. Nilai yang tidak dapat ditemuinya ialah null dan dinamakan dalam tatasusunan missing_fields baharu, dan bukannya medan itu hilang secara senyap.
• analyze_content berhenti menskor bahasa lain dengan formula bahasa Inggeris. Teks Sepanyol telah menskor aduan yang jelas pada −0.08. Sentimen kini menggunakan leksikon AFINN-165 dengan penafian bagi bahasa Inggeris, dan memulangkan not_applicable bagi bahasa lain, seperti yang dilakukan oleh kebolehbacaan.
• summarize_content mencuba ringkasan abstraktif secara lalai pada panjang sederhana apabila LLM boleh dicapai, dan membuang baris kuki dan menu navigasi sebelum meringkaskan.

Ralat yang menamakan punca

Kegagalan DNS dahulunya dibaca sebagai fetch failed semata-mata, dan petunjuk langkah seterusnya mencadangkan stealth_mode, menghantar ejen ke dalam pelayar stealth untuk mengambil kesilapan taip. Ralat kini membawa puncanya (ENOTFOUND, ECONNREFUSED), dan petunjuknya menyuruh menyemak URL. Pemilih yang tidak sepadan dengan apa-apa dilaporkan sebagai pemilih yang terlepas dan menamakan pemilih itu, bukan sebagai laman yang perlahan. Petunjuk itu sendiri kini mengikut kelas ralat (robots, senarai sekatan, SSRF, 404, tamat masa, pengesahan) dan bukannya satu petunjuk generik bagi setiap alat.

Jawapan ejen yang boleh anda semak

Alat agent menjawab soalan daripada web terbuka. Pembaikannya dalam kitaran ini berkisar pada provenans (asal usul), kerana jawapan hanya berguna jika anda dapat melihat dari mana ia datang.

• URL yang dipetik mesti datang daripada sumber. Sejak v6.22.1, setiap URL dalam jawapan mesti merupakan halaman yang diambil oleh ejen, pautan pada halaman itu, atau ditulis dalam teks sumbernya. URL yang tidak memenuhi syarat itu menerima penulisan semula pembetulan. URL yang terselamat daripada penulisan semula dinamakan dalam provenance.unverified_urls dan dalam amaran di dalam jawapan. Sebelum ini, jawapan dengan tajuk Hacker News yang betul dan pautan ke cerita tahun 2021 lulus sebagai disahkan.
• Ejen boleh memaut item yang tepat. Setiap sumber kini membawa sehingga lapan pautannya ke dalam sintesis, jadi "cerita teratas hari ini" datang bersama URL cerita itu.
• Sumber rasmi menang apabila seri. Undian domain yang seri dahulunya menaikkan laman di kedudukan pertama, selalunya Wikipedia.
• "Last updated" bukan tarikh keluaran. Jawapan yang memberikan tarikh kemas kini halaman sebagai tarikh keluaran dibetulkan atau ditandakan, dalam provenance.update_dates.
• Ia kekal dalam had 120 saatnya. Satu larian semakan telah mengambil masa 183 saat. Larian yang mencapai had kini memulangkan degraded: true dengan bukti yang ada padanya.

Harganya tidak berubah: 8 credits, tambah 5 bagi setiap cubaan semula stealth yang mendapat halamannya, paling banyak 18.

Embedded state daripada lebih banyak rangka kerja

Banyak laman menghantar data mereka sebagai JSON di dalam HTML, untuk dihidrasi oleh rangka kerja bahagian hadapan. extract_embedded_state membaca JSON itu daripada pengambilan biasa, tanpa pelayar, pada 2 credits. v6.15.0 dan v6.16.0 meluaskan apa yang boleh dibacanya:

• __NUXT_DATA__ Nuxt 3, dinyahkod menjadi objek sebagai nuxt_data (sebelum ini ia pulang sebagai tatasusunan indeks)
• Data SvelteKit sebagai sveltekit_data, dan data-page Inertia sebagai inertia_page
• ytInitialData dan ytInitialPlayerResponse YouTube, jadi halaman tontonan memulangkan videoDetails daripada pengambilan biasa
• Remix, JSON produk dan meta analitik Shopify, serta pemboleh ubah global yang diberikan literal JavaScript dan bukannya JSON, dibaca oleh penilai statik tanpa sebarang kod halaman dijalankan

Tiga parameter menjadikan muatan besar boleh diurus. find memulangkan setiap sifat dengan nama kunci tertentu, masing-masing dengan laluan untuk dihantar terus semula. keys_only memulangkan dua tahap kunci dengan jenisnya dan bukannya data. Melebihi max_inline_chars, hasilnya ialah pratonton serta pemegang yang anda baca dengan read_result, dan bukannya muatan 2 MB dalam tetingkap konteks.

{
  "name": "extract_embedded_state",
  "arguments": {
    "url": "https://shop.example.com/products/widget",
    "find": "price"
  }
}

Halaman bertembok boleh dibaca semula dalam pelayar stealth dengan escalate: true, yang mengunjurkan 7 credits dan mengecaj 2 apabila pengambilan biasa mendapat halaman itu. Sejak v6.24.0, path yang tidak dapat diselesaikan memulangkan kunci dua tahap ke dalam di tempat ia berhenti, dengan langkah seterusnya yang dibina daripadanya. Sebelum ini, ia menyuruh ejen membaca semula keseluruhan muatan.

Automasi pelayar yang menunggu halaman

scrape_with_actions dan browser_session memandu pelayar sebenar. Kegagalan paling biasa mereka ialah bertindak pada halaman yang belum selesai dipaparkan.

• Syot kilat menunggu halaman menjadi tenang: load (sehingga 5 saat), kemudian tempoh senyap tanpa perubahan DOM selama 300 ms dan tanpa permintaan yang sedang berjalan selama 500 ms (sehingga 3 saat). Syot kilat halaman utama Amazon meningkat daripada 0 nod kepada 236, termasuk kotak carian.
• Syot kilat melihat ke dalam shadow root dan iframe, termasuk yang merentas asal (cross-origin), melalui syot kilat kebolehcapaian asli Playwright.
• Elemen yang diganti ditemui semula. Apabila halaman menukar elemen selepas syot kilat (kotak carian Wikipedia berbuat begitu), ref itu dicari sekali lagi mengikut peranan dan nama dan bukannya gagal sebagai tertanggal.
• Sepanduk kuki dijawab untuk anda. browserOptions.consent: "reject" menjalankan penolakan autoconsent DuckDuckGo selepas setiap navigasi. Dialog Sourcepoint The Guardian mengambil masa kira-kira sesaat.
• Panggilan yang datang serentak beratur dan bukannya gagal. "Maximum concurrent sessions (3) reached" sudah tiada. Panggilan menunggu sehingga 60 saat untuk slot pelayar dan melaporkan queued_ms.
• Kegagalan mengambil masa yang lebih singkat. maxRetries kini lalai kepada 0, jadi klik pada pemilih yang tiada dengan tamat masa 4 saat gagal dalam kira-kira 4 saat dan bukannya 20.8. Klik stealth pada Camoufox turun daripada 12.5–20 saat kepada 1.4.

Setiap navigasi dalam rantaian kini disemak untuk tembok bot, bukan halaman akhir sahaja. Hasilnya menyenaraikan setiap satu di bawah navigations, dengan AWS WAF dan F5 dinamakan bersama Cloudflare, DataDome dan yang lain. Bagi apa yang berlaku selepas tembok, siaran keluaran v6.12 merangkumi tangga eskalasi.

Keselamatan: setiap lompatan melalui pengawal

Pelayan scraping mengambil URL yang dipilih oleh model, dan model itu mungkin telah membacanya daripada halaman yang berniat jahat. Pengawal SSRF telah wujud sejak v5. Kitaran ini menutup laluan yang memintasnya:

• Trafik pelayar melalui proksi pengawal. Sejak v6.23.0, setiap konteks pelayar menyambung melalui proksi hadapan tempatan yang memeriksa setiap sambungan (lompatan ubah hala, iframe, subsumber, fetch, XHR dan WebSocket) dan menyambung ke alamat yang telah diperiksanya, jadi DNS rebinding tidak lagi dapat melepasi laluan pelayar. Sebelum ini, halaman yang mengubah hala ke 127.0.0.1 sampai ke sana sebelum sekatan dilaporkan.
• [::] disekat. Alamat IPv6 yang tidak ditentukan itu mencapai hos tempatan, seperti 0.0.0.0.
• Setiap lompatan ubah hala disaring seperti permintaan pertama. Sejak v6.16.0, senarai sekatan dan robots.txt disemak semula sebelum setiap lompatan, dan setiap lompatan menunggu Crawl-delay hos. Ubah hala ke laluan yang tidak dibenarkan tidak pernah diminta.
• Bacaan fail tempatan dihadkan. process_document dengan laluan tempatan kini hanya menerima jenis fail dokumen dan menolak direktori bertitik seperti ~/.ssh. Tetapkan CRAWLFORGE_ALLOWED_DIRS untuk mengehadkan bacaan kepada direktori yang anda senaraikan.
• Laluan dan kelayakan anda kekal pada mesin anda. Laluan fail tempatan tidak lagi sampai ke laporan penggunaan. Kelayakan proksi disunting keluar daripada hasil, mesej ralat dan laporan penggunaan, dan kelayakan dalam URL disunting keluar daripada log audit pematuhan.
• MCP SDK 2.3.1, bagi tiga nasihat keselamatan dalam pengangkutan HTTP dan pengendalian pengesahan SDK itu.

Carian beralih ke Brave Search API

Pada 19 Oktober, API CrawlForge memindahkan search_web daripada Google Custom Search, yang dihentikan oleh Google pada 1 Januari 2027, ke Brave Search API. Hasil datang daripada indeks bebas Brave, dan provider.backend melaporkan backend mana yang melayan panggilan itu. total_results ialah null kerana Brave tidak melaporkan jumlah, dan 0 akan dibaca sebagai "tiada hasil". Penomboran halaman adalah tepat: offset yang bukan gandaan saiz halaman kini memulangkan tetingkap yang anda minta.

serp_rank mendapat semakan umpan. Google kini menyajikan sesetengah carian automatik dengan halaman hasil yang kelihatan realistik tetapi tidak berkaitan dengan pertanyaan. Apabila kurang daripada 1 dalam 5 hasil teratas menyebut kata kunci itu, hasilnya membawa suspect: true dan menyatakan berapa banyak yang menyebutnya. Kedalaman lalai kini 30 pada kedua-dua MCP server dan API REST, masih 5 credits.

Perubahan tidak serasi (breaking changes) untuk disemak sebelum naik taraf

Kebanyakan daripada 24 keluaran itu tidak mengubah apa-apa yang anda panggil. Yang berikut mengubahnya:

Cara naik taraf

npm install -g crawlforge-mcp-server@latest
crawlforge --version   # 6.24.0

# Optional: size the session page cache in MB (default 64), or 0 to turn it off
export CRAWLFORGE_PAGE_CACHE_MB=64

Klien MCP yang melancarkan pelayan dengan npx mengambil v6.24.0 pada mula semula berikutnya. Jika anda telah memasang Agent Skills, segarkannya dengan crawlforge install-skills --target claude-code --force supaya nota alatnya sepadan dengan pelayan.

Mahu melihat perbezaannya pada halaman yang dibaca oleh ejen anda? Mulakan percuma dengan 1,000 credits, halakan ejen anda ke laman yang pernah menyusahkannya, dan semak caj setiap panggilan dalam blok _cost-nya. Panggilan yang gagal akan menunjukkan 0. Harga bagi setiap alat ada di halaman harga.