CrawlForge MCP v5.2: setiap perubahan merentas 28 alat

Setiap satu ujian amazon-product kami lulus. Alat itu memulangkan null untuk mata wang harga, null untuk penarafan, null untuk setiap imej, dan rentetan "Brand: Amazon" di tempat yang sepatutnya jenama. Tiada apa-apa nampak rosak dalam CI, kerana fixture ditulis supaya padan dengan pemilih, bukan dengan laman sebenar.

Itulah bentuk sebahagian besar CrawlForge MCP v5.2. Selama dua hari kami menjalankan kesemua 28 alat terhadap laman sebenar — Wikipedia, Hacker News, Amazon, kedai Shopify, npm, YouTube, GitHub, Reddit, sebuah PDF cukai IRS — dan menghantar enam keluaran: v5.2.0 hingga v5.2.5, serta empat keluaran pakej kongsi crawlforge-extractors. Ini keseluruhan set itu, disusun mengikut apa yang ia lakukan untuk anda, bukan mengikut nombor versi.

Jumlah alat kekal 28. Satu harga berubah. Tiada apa-apa dinamakan semula dan tiada bentuk output berubah, jadi ini naik taraf terus pakai.

Isi kandungan

• Keluaran ini secara ringkas
• Kenapa begitu banyak pembaikan mendarat serentak
• Data produk: Shopify, Amazon, npm, YouTube
• Carian seluruh Reddit selepas PullPush terpadam
• Penjejakan perubahan yang benar-benar berbunyi
• Kesetiaan scraping: kandungan yang sedang dipadam
• LLM tempatan: Ollama akhirnya berfungsi
• Automasi pelayar dan pelayar stealth yang tersekat
• Pengesanan bahasa dan jadual PDF
• Infrastruktur: cache, pengangkutan, Chromium
• Satu salinan extractor sahaja
• Kos credits
• Cara menaik taraf

Keluaran ini secara ringkas

Kenapa begitu banyak pembaikan mendarat serentak

Kerana kami berhenti mempercayai suite ujian dan menghalakan alat ke laman sebenar.

Kegagalan amazon-product di atas ialah kes paling jelas. Enam ujian unit melindungi templat itu dan kesemua enam lulus, kerana setiap pemilih yang diuji — meta tag priceCurrency, #acrPopover .a-size-base, img.a-thumbnail-image — tidak wujud di mana-mana pada Amazon hari ini, dan HTML fixture ditulis supaya mengandunginya. Ujian itu hanya menyemak bahawa kod kami bersetuju dengan dirinya sendiri.

Corak itu berulang. scrape_with_actions mempunyai tujuh kecacatan Playwright yang tidak kelihatan kepada suitenya kerana halaman palsunya melaksanakan apa sahaja yang dipanggil oleh pelaksana, termasuk API yang Playwright tidak ada. Templat youtube-video membaca atribut yang tidak muncul di mana-mana pada halaman tontonan YouTube sementara fixturenya mengekalkan ujian itu hijau. process_document membaca medan yang pustaka PDF isytiharkan tetapi tidak pernah tulis.

Jadi suite baharu ditulis supaya gagal dahulu terhadap kod sebelum pembaikan — 15 daripada 24 untuk amazon-product, 8 daripada 10 untuk skop cache crawl_deep, 7 untuk API Playwright scrape_with_actions. Suite itu kini 1,122 ujian unit dengan pematuhan protokol MCP 100% merentas kesemua 28 alat, tetapi angka yang penting ialah yang di atasnya: setiap pembaikan di bawah ditemui oleh halaman sebenar, bukan oleh CI.

Data produk: Shopify, Amazon, npm, YouTube

Empat daripada templat scrape_template berubah, dan tiga daripadanya bergerak ke arah yang sama: berhenti menghurai halaman yang dirender, baca data berstruktur yang laman itu sudah terbitkan.

shopify-product, yang baharu

Tema Dawn Shopify menghantar setiap lencana harga dalam markup tanpa syarat dan menyembunyikan yang tidak berkenaan dengan CSS komponen. Scraper yang membaca DOM nampak lencana "Sold out" pada produk yang ada seratus unit dalam stok. Minta LLM memberi harga bandingan bagi produk yang tidak mempunyainya dan ia akan menghasilkan satu yang munasabah — dalam ujian kami ia mereka-reka 27.99.

Shopify menyajikan data yang sama sebagai JSON di /products/<handle>.json, pada setiap kedai termasuk domain tersuai, jadi templat itu membaca yang itu:

{
  "tool": "scrape_template",
  "params": {
    "template": "shopify-product",
    "url": "https://shop.example.com/products/kelpie-bandana"
  }
}

Anda dapat harga tepat, harga bandingan, on_sale, mata wang, julat harga merentas varian, stok setiap varian, pilihan, imej dan tag — tanpa penghuraian HTML dan tanpa LLM dalam laluan itu. Kerenah kedai yang ditemui dalam tangkapan sebenar sudah dikendalikan: harga bandingan yang tiada ialah "" pada satu kedai dan "0.00" pada kedai lain (kedua-duanya dibaca sebagai null, manakala produk yang betul-betul percuma mengekalkan harga 0.00), tag tiba sebagai tatasusunan atau rentetan bercantum koma, dan kerana endpoint itu tidak membawa bendera available, stok diterbitkan daripada pengurusan inventori, polisi dan kuantiti — melaporkan null dan bukannya meneka "ada stok" apabila muatan itu tidak menyatakannya.

Untuk membolehkannya, satu perubahan diperlukan di lapisan bawah: TemplateRegistry mendapat dua cangkuk pilihan, resolveUrl(url) untuk mengalihkan satu-satunya pengambilan alat itu dan extractRaw(body, url) untuk menghurai respons bukan HTML. Alat itu masih memiliki pengambilan yang dikawal SSRF dan kini melaporkan fetchedUrl apabila berlaku penulisan semula. Templat HTML tidak berubah.

amazon-product, dibina semula

Pemilih diterbitkan semula daripada tangkapan sebenar tiga halaman — sebuah peranti keluaran Amazon sendiri, sebuah kedai berjenama dan sebuah buku:

• Mata wang datang daripada medan borang tambah-ke-troli yang tersembunyi, bukan meta tag.
• Penarafan dihurai menjadi nombor daripada atribut title pada #acrPopover, jadi anda dapat 4.7 dan bukan "4.7 out of 5 stars".
• Kiraan ulasan dihurai daripada "(198,594)" atau "198,594 global ratings" — Amazon guna kedua-duanya — dan memulangkan 198594.
• Jenama menurunkan ketiga-tiga bentuk baris pengarang kepada nama semata.
• Imej menggugurkan token saiz Amazon daripada URL. URL bertoken itu ialah thumbnail 1 KB; URL sama tanpanya ialah asal 16 KB.

npm-package, kini membaca registri

npmjs.com menjawab pengambilan HTTP biasa dengan 403, dan di mana badan respons sampai pun, pemilihnya bergantung pada serpihan nama kelas yang tidak lagi padan — versi kembali null, muat turun mingguan null, dan repository menunjuk ke pautan stargazers. Kini ia meleraikan halaman pakej kepada dokumen registrinya dan membaca yang itu, memulangkan versi, lesen, repositori, laman utama, penyelenggara, keywords, kebergantungan dan sebarang notis penamatan. URL repositori tiba sebagai git+ssh://, git+https://, git:// atau owner/repo ringkas, dan dinormalkan kepada https yang boleh dilayari.

Muat turun mingguan ditinggalkan dan bukan dipulangkan sebagai null, dan itu disengajakan. Ia berada pada endpoint berasingan, dan endpoint registri yang membawanya bersama data pakej ialah endpoint carian: minta left-pad dan ia menjawab pad-left. Memulangkan kiraan muat turun pakej lain lebih buruk daripada tidak memulangkan apa-apa.

youtube-video, mengira statistik yang betul

Templat itu membaca meta[itemprop="interactionCount"], yang tidak muncul di mana-mana pada halaman tontonan, jadi tontonan kembali null terhadap setiap video sebenar. Markup sebenarnya ialah satu blok InteractionCounter schema.org bagi setiap statistik, dibezakan hanya oleh interactionType adik-beradik — dan YouTube mengeluarkan kaunter LikeAction dahulu, jadi pembaikan yang paling jelas akan senyap-senyap memulangkan suka di tempat tontonan. Pemilihan kini mengikut interactionType, dihurai kepada nombor supaya sifar tontonan dibaca sebagai 0 dan bukan null, dan medan likes yang perihalannya sudah janjikan kini wujud.

Carian seluruh Reddit selepas PullPush terpadam

Jika saluran paip Reddit anda mula memulangkan 429 bulan ini, penyelesaiannya bukan tidur lebih lama, memutar user agent atau menambah proksi. Kami menguji ketiga-tiganya. Setiap permintaan ke PullPush kini memulangkan:

{ "error": "Rate limit exceeded. This website does not provide free scraping resources for agents..." }

Apa-apa user agent, tiada user agent, user agent pelayar — tiada bezanya, dan dari sesetengah IP pelayan ia cabaran 403 Cloudflare pula. Ini polisi, bukan had kadar.

Ia lebih penting daripada sekadar satu endpoint mati, kerana peranan unik yang dimainkan PullPush. Arctic Shift, arkib Reddit awam yang satu lagi, tidak boleh mencari kata kunci merentas seluruh Reddit secara reka bentuk. Minta ia satu pertanyaan yang tidak menamakan subreddit dan tidak menamakan pengarang, dan ia memulangkan HTTP 400:

Jadi carian berskop (satu subreddit, satu pengguna) masih berfungsi, dan yang tidak berskop — di mana anda tahu frasanya tetapi bukan komunitinya — langsung tiada backend. Itulah carian yang paling ramai orang mahukan, dan yang API Reddit sendiri tidak pernah dedahkan dengan kemas.

reddit_search kini menyajikannya dalam dua langkah. Penemuan: carian web terhad ke reddit.com memulangkan URL post mengikut susunan relevan, dan ID post diambil daripada segmen /comments/<id>/. Penghidratan: ID itu dihantar ke arkib Arctic Shift dalam satu carian pukal, yang memulangkan baris post sebenar — skor, kiraan komen, subreddit, pengarang, cap masa, selftext penuh — dan susunan arkib itu dipetakan semula kepada susunan relevan.

Perbezaan yang penting: ini baris arkib, bukan petikan carian. Penemuan hanya membekalkan alamat. Respons membawa source: "web_discovery" supaya anda tahu laluan mana yang menyajikannya.

Dua had, kedua-duanya dilaporkan dan bukan disembunyikan: after dan before tidak boleh digunakan pada laluan penemuan, dan respons menyatakan penapis itu diabaikan dan bukannya memulangkan hasil yang kelihatan tertapis; dan carian komen tanpa skop kini langsung tiada backend, jadi ia meminta skop subreddit atau author dan bukan gagal secara umum. PullPush tidak lagi dicuba secara automatik di mana-mana, termasuk sebagai sandaran carian berskop — di situ ia hanya mampu membelanjakan satu permintaan dan menimbus ralat Arctic Shift yang sebenar di bawah kegagalan kedua. Menghantar source: "pullpush" masih sampai kepadanya.

Apa-apa yang masih memberitahu anda bahawa PullPush ialah satu-satunya alat yang boleh mencari merentas subreddit ditulis sebelum Ogos 2026.

Penjejakan perubahan yang benar-benar berbunyi

track_changes mempunyai tujuh kecacatan merentas keluaran ini, dan yang pertama bermakna pemantauan harga — kegunaan utamanya — tidak berfungsi.

Perubahan harga dinilai mengikut berapa banyak ruang halaman yang diambilnya. Keertian adalah semata-mata isipadu, jadi $19.99 → $29.99 dan $19.99 → $99.99 kedua-duanya dinilai "minor", dan tanpa skop perubahan itu langsung tidak didaftarkan. Dengan notificationThreshold lalai kepada "moderate", pemantau yang disediakan dengan cara paling jelas tidak pernah berbunyi. Jumlah wang kini dibandingkan terus dan magnitud relatifnya menaikkan keertian sekurang-kurangnya kepada "moderate", atau "major" pada 20%+. Hanya nombor bertanda mata wang dikira, jadi kaunter tontonan dan jumlah ulasan tidak berbunyi; pemisah ribuan dihurai, jadi $1,299 dibaca sebagai 1299. Pasangan itu ditunjukkan dalam details.valueChanges supaya anda nampak sebab pemantau berbunyi.

customSelectors tidak pernah mengecilkan skop apa-apa. Ia dibaca hanya di dalam analisis peringkat bahagian, di mana ia menambah hash — jadi mengecilkan skop perbandingan menjadikannya lebih teruk. Pada halaman produk Amazon, mengecilkan skop ke blok harga menaikkan elemen terubah 456 → 3204 dan muatan 5.35 MB → 6.18 MB, serta melaporkan perubahan pada halaman yang harganya tidak bergerak. Analisis kini menyempitkan dokumen kepada subpokok yang padan, yang mengecilkan skop hashing, keserupaan dan diff serentak. Pemilih yang tidak memadankan apa-apa berpatah balik kepada dokumen penuh dan memberi amaran, bukannya senyap-senyap menjejak tiada apa-apa.

structuralSimilarity menipu dalam kedua-dua arah. Ia melaporkan 0 apabila ia langsung tidak mengukur — dan sifar ialah skor sebenar yang bermaksud "struktur berubah sepenuhnya", jadi memilih keluar daripada penjejakan struktur menghasilkan isyarat paling kuat bahawa struktur telah berubah. Ia kini null apabila tidak diukur. Kemudian dalam 5.2.1: skor itu tidak pernah boleh jatuh di bawah 0.5, kerana separuh hierarki dalam purata itu membandingkan objek yang dimulakan kosong dan tidak pernah ditulis, memulangkan pemalar 1. Halaman yang dibina semula daripada tag yang sama dalam sarang yang sama sekali berbeza mendapat 1.0 yang sempurna — tepat kes yang metrik itu wujud untuk menangkap. Ia kini histogram kiraan elemen mengikut kedalaman yang dibandingkan sebagai Jaccard berwajaran.

Muatan diff kini terbatas. line_diff membenamkan dokumen penuh sebelum+selepas, kerana pengempisan ruang putih merosotkan diff menjadi "buang semua, tambah semua". Kedua-dua diff kini membawa penanda omittedEntries yang jelas.

Tiga lagi muncul dalam 5.2.5, semasa menguji penjejakan harga di Zillow dan Newegg.

Mengecilkan skop kepada apa-apa selain segelintir tag langsung tidak menjejak apa-apa. Analisis peringkat elemen mengindeks senarai tetap — h1-h6, p, div, span, a — jadi pemantau yang diskopkan kepada address, td, li, tr atau dd membina garis dasar sifar elemen dan tidak akan pernah dapat melaporkan perubahan peringkat elemen. Halaman Zillow yang diskopkan kepada ['address'] membina garis dasar 0 elemen daripada 9 nod yang padan. Padanan di luar senarai itu kini turut di-hash; tag dalam senarai dilangkau, jadi kiraan berskop div tidak berubah.

Perbandingan berskop senyap-senyap berjalan tanpa skop. compareWithBaseline membuang pilihan penjejakan pemanggil dan menggunakan pilihan garis dasar. Itu betul dan diperlukan untuk diff yang sah — kedua-dua belah mesti dianalisis secara identik, dan garis dasar berskop tidak lagi memegang dokumen penuh untuk diskop semula — tetapi ia tidak berkata apa-apa, jadi perbandingan berskop memulangkan hasil yang sama dengan larian tanpa skop tanpa cara untuk mengetahuinya. Pilihan yang diabaikan kini dipulangkan dalam tatasusunan warnings.

"Text content changed" muncul pada perbandingan yang tidak menemui apa-apa perubahan, kerana bunyi token bawah ambang masih mengisi textChanges walaupun hasChanges ialah false. Ringkasan kini merujuk kepada keertian.

Disahkan terhadap halaman Zillow sebenar yang mendedahkannya: garis dasar bergerak daripada 0 kepada 9 elemen, dan perbandingan yang sebelum ini mendakwa true/"moderate"/28 diubah kini melaporkan false/"none"/0 diubah pada keserupaan 100%.

Kesetiaan scraping: kandungan yang sedang dipadam

Tiga kecacatan scrape berkongsi punca yang sama: laluan pembersihan yang melucutkan kandungan tidak kelihatan sedang membuang kandungan yang kelihatan.

Kandungan strim rangka kerja dipadam. Pelucutan kandungan tersembunyi membuang <div id="S:0" hidden>, iaitu tempat App Router Next.js menstrim halaman yang dirender. Pada halaman harga, pembalut itu ialah keseluruhan halaman yang kelihatan, jadi markdown kembali kosong dan setiap harga hilang bersamanya. Pengawal pembalut kini mengambil yang lebih besar antara bahagian teks dan bahagian markup.

Muatan skrip dikira sebagai teks halaman. Pengawal pembuangan pukal mengukur elemen dengan $('body').text(), yang merangkumi sumber setiap <script> sebaris. Pada sebuah kedai Shopify penyebutnya ialah 62,269 aksara yang mana 4,295 sahaja teks kelihatan — jadi pembalut yang memegang keseluruhan bahagian produk terukur di bawah ambang dan dipadam bersama harganya, selepas itu laluan json tiada harga untuk diekstrak dan model mereka-reka satu. Kedua-dua belah nisbah itu kini mengecualikan script/style/noscript/template.

Gema skema LLM dipulangkan sebagai data. Format json membaca hanya success daripada extract_with_llm dan membuang selebihnya, jadi tiga kegagalan sampai kepada pemanggil kelihatan seperti pengekstrakan bersih: dokumen skema dipulangkan dan bukan data halaman (JSON yang terbentuk baik, dan tanpa medan wajib ia lulus pengesahan juga), output yang gagal pengesahan, dan input yang senyap-senyap dipotong pada had 50,000 aksara. extract_with_llm kini mengesan gema skema, mencuba semula sekali, dan gagal dengan ralat yang boleh ditindaki; scrape menunjukkan ketidakpadanan skema dan pemotongan sebagai amaran sambil mengekalkan data.

Dan dalam 5.2.2, format markdown berhenti memulangkan HTML mentah. turndown-plugin-gfm menukar jadual hanya apabila baris pertamanya sepenuhnya <th>; setiap jadual lain terkena penapis keep pemalam itu dan dikeluarkan sebagaimana adanya. Halaman sebenar penuh dengan jadual susun atur — jadual yang digunakan untuk mengatur halaman, bukan untuk membentangkan data, dan Hacker News dibina sepenuhnya daripadanya — jadi scrape dengan formats: ["markdown"] dan extract_text dengan output_format: "markdown" memulangkan markup <table>. Peraturan yang didaftarkan selepas pemalam itu kini memadankan jadual tersebut dahulu dan meratakannya kepada kandungan selnya. Jadual dengan baris pengepala sebenar tidak disentuh dan masih dirender sebagai jadual paip GFM; kami menyemak sebuah jadual data Wikipedia sebelum dan selepas dan ia sama bait demi bait.

LLM tempatan: Ollama akhirnya berfungsi

Ollama tidak pernah didaftarkan sebagai pembekal LLM. LLMManager mendaftarkan hanya OpenAI dan Anthropic, kedua-duanya berpagar API key. Jadi pada mesin yang menjalankan Ollama tanpa kunci awan, extract_structured melangkau pengekstrakan LLM sepenuhnya dan melaporkan css_fallback — menghasilkan nilai seperti "$79.99$79.99" dan menggugurkan medan — dan deep_research senyap-senyap mematikan pengembangan pertanyaan, pemeringkatan semantik dan sintesis. extract_with_llm mempunyai klien peribadinya sendiri, itulah sebabnya ia berfungsi dan menutup jurang itu. Panggilan LLM yang gagal juga tidak lagi melaporkan extraction_method: "llm" dengan keyakinan 0.9.

Penghalaan model memilih model terpasang yang terbaik dan bukan sentiasa llama3.2. Diukur terhadap tiga halaman produk sebenar dengan jawapan rujukan yang disahkan, gemma3:4b mendapat 18/18 pada 1040 ms manakala llama3.2 mendapat 16/18 — dan kegagalannya bersistem, bukan bunyi pensampelan: sepanjang lima larian llama3.2 mereka-reka harga bandingan kelima-lima kali. Bilangan parameter tidak meramalkan ketepatan; model 4B itu mengalahkan kedua-dua 12B dan 20B. selectOllamaModel() memilih model terpasang berpangkat tertinggi; OLLAMA_DEFAULT_MODEL masih menang jika anda menetapkannya.

Endpoint Ollama jauh berfungsi melalui OLLAMA_API_KEY. Setiap panggilan HTTP Ollama menghantar Authorization: Bearer apabila pemboleh ubah itu ditetapkan, jadi pemasangan terhos boleh menghala ke Ollama Cloud atau mana-mana instance berpagar pengesahan tanpa kunci OpenAI atau Anthropic. Jika tidak ditetapkan, tiada apa-apa berubah.

Automasi pelayar dan pelayar stealth yang tersekat

scrape_with_actions membawa tujuh kecacatan API Playwright dan pemulihan ralat, semuanya tidak kelihatan kepada suite kerana halaman palsunya melaksanakan apa sahaja yang dipanggil pelaksana — termasuk API yang Playwright tidak ada:

• scroll toElement memanggil scrollIntoView(), yang tidak wujud pada handle atau locator, jadi cabang itu melontar ralat setiap kali ia berjalan.
• Tindakan wait mengiklankan enabled/disabled/stable tetapi menghantarnya ke API yang menolaknya.
• Promise.race setiap tindakan berkongsi tarikh akhir dengan kerja yang dilumbanya dan menang, menggantikan ralat sebenar Playwright dengan "Action timeout" kosong — dan meninggalkan pemasa hidup bagi setiap tindakan.
• Klik dan tekanan kekunci tidak menunggu dokumen yang digantikannya.
• Percubaan semula rantaian dimainkan semula terhadap apa sahaja yang ditinggalkan percubaan gagal, tanpa pernah memuat semula.
• Setiap strategi pemulihan terletak di sebalik retries > 0 sedangkan skema itu menetapkan retries lalai kepada 0, jadi tiada satu pun boleh berjalan.

Pelayar stealth menyekat dirinya sendiri. stealth_mode create_page tidak pernah menutup halamannya, membocorkan satu perenderan Chromium setiap panggilan sehingga instance itu kehabisan memori. Pelayar yang tersekat kemudian digunakan semula selama-lamanya di sebalik semakan kebenaran semata-mata, dan pembersihan tergantung pada panggilan protokol ke pelayar yang sudah mati, jadi ia tidak boleh dilepaskan dari jauh. Kini ada pengesanan mayat isConnected(), pengendali putus sambungan, pembersihan yang melumbakan penutupan terhadap tarikh akhir 5 s dengan sandaran SIGKILL dan penciptaan semula kolam, serta mutex pelancaran dalam penerbangan.

Imej terhos mengabaikan Chromium sistem. chromium.launch kini mematuhi PLAYWRIGHT_CHROMIUM_EXECUTABLE_PATH — Dockerfile menetapkannya sejak dahulu, tetapi Playwright sendiri tidak pernah membaca pemboleh ubah persekitaran — jadi laluan pelayar berhenti mati pada Alpine mencari chrome-headless-shell yang tidak pernah dimuat turun.

Pengesanan bahasa dan jadual PDF

Lima bahasa tidak boleh dikesan. analyze_content menapis output franc terhadap peta nama bahasa, dan lima kunci dalam peta itu ialah kod ISO 639-2/B — chi, gre, ara, nor, msa — yang franc, yang mengeluarkan ISO 639-3, tidak pernah hasilkan. Kesannya senyap dan menyeluruh: halaman yang ditulis sepenuhnya dalam bahasa Cina memulangkan null. Begitu juga Greek, Arab, Norway dan Melayu. Kodnya kini cmn, ell, arb, nob dan zlm/zsm.

Satu lagi pepijat berada di belakangnya: franc menilai sistem tulisan yang paling kerap, dan halaman Cina atau Jepun membawa deretan biasa nama produk dan contoh kod bahasa Inggeris, jadi ia dinilai sebagai prosa tulisan Latin. Pengesanan kini memintas apabila bahagian Han, kana atau hangul mencapai sekurang-kurangnya 10% daripada huruf — diukur merentas halaman sebenar, halaman tulisan Latin berada pada 0% dan halaman CJK tulen pada 24–51%.

Pengekstrakan jadual PDF memulangkan [] untuk setiap dokumen yang pernah dihantar kepadanya. Laluan process_document terhos membaca TableResult.mergedTables, medan yang pustaka PDF isytiharkan tetapi tidak pernah tulis; jadualnya berada pada result.pages[].tables. Terhadap tiga PDF sebenar — kertas arXiv "Attention Is All You Need", borang W-9 dan borang 1040 IRS — medan yang dibaca itu memegang 0 jadual dalam setiap kes manakala tatasusunan setiap halaman memegang 7, 6 dan 11. Bersama pembaikan itu, jadual yang selnya kosong semua digugurkan (ia kotak yang dilukis — garis luar borang dan sempadan rajah — bukan data), setiap jadual melaporkan halamannya, had 20 jadual menyatakan berapa banyak yang ditinggalkannya, dan jadual yang bergaris mendatar sahaja membawa nota dan bukannya dibaca sebagai jadual satu lajur yang tulen.

Infrastruktur: cache, pengangkutan, Chromium

CACHE_DIR dan CACHE_ENABLE_DISK tidak melakukan apa-apa. Kedua-duanya sentiasa didedahkan dalam konfigurasi, tetapi CacheManager tidak membaca satu pun: direktorinya dipasang mati dan cache cakera dihidupkan tanpa syarat. Setiap proses ujian oleh itu berkongsi satu direktori yang bertahan setiap larian — 1,778 fail telah terkumpul — dan kerana crawl_deep berkunci pada URL yang dirangkak manakala pelayan ujian mengikat port sementara yang OS kitar semula, satu larian boleh diberikan rangkakan larian terdahulu terhadap laman yang berbeza. Itulah punca satu kegagalan sekejap-sekejap yang jarang berlaku dalam larian selari, yang petandanya ada pada masa: dua kegagalan mengambil 13 ms dan 5 ms untuk ujian yang melakukan dua rangkakan penuh setiap satu. Nilai lalai tidak berubah — pemboleh ubah itu cuma melakukan apa yang sentiasa didakwanya.

cacheEnabled: false pada crawl_deep mematikan hanya separuh daripada cache. BFSCrawler membina cachenya sendiri dan menyimpan setiap badan halaman yang diambil tanpa cara untuk mematikannya, jadi pemanggil yang secara jelas meminta tiada cache masih disajikan halaman bercache. Kedua-dua cache juga menulis ke cakera walaupun diperihalkan dalam kod sebagai setiap-sesi; pada cakera, badan halaman hidup lebih lama sejam daripada perangkak itu dan merentas sempadan proses. Kedua-duanya kini dalam memori sahaja.

Alat berkeupayaan tugas gagal melalui Streamable HTTP. cloneServerForSession menggugurkan keupayaan dan stor tugas, jadi tools/call pada agent, crawl_deep, batch_scrape atau deep_research melontar "No task store provided for task-capable tool."

Satu salinan extractor sahaja

Pelayan MCP dan API REST CrawlForge masing-masing membawa salinan extractor templat mereka sendiri, dalam dua bahasa, tanpa apa-apa yang mengesan percanggahan — dan ia bercanggah dua kali dalam dua hari. amazon-product dibaiki di pihak MCP pada 25 Ogos manakala salinan REST terus memulangkan penarafan null dan "Brand: Amazon" sehingga 26 haribulan, dan shopify-product wujud di satu pihak sahaja.

Kini ada satu pelaksanaan sahaja, diterbitkan sebagai crawlforge-extractors, yang dipasang oleh kedua-dua permukaan. TemplateRegistry dieksport semula dengan API yang tidak berubah — tiada apa-apa tentang scrape_template berubah bagi pemanggil. Ia kebergantungan masa jalan, bukan peer dependency, jadi npm install -g crawlforge-mcp-server menariknya masuk secara automatik; tiada apa-apa tambahan untuk dipasang.

Dua lagi kelakuan berpindah ke sana kerana satu permukaan memilikinya dan yang satu lagi tidak:

• readBody menyahkod respons menggunakan charsetnya sendiri dan enggan menimbal melebihi had. Pelayan MCP melakukan kedua-duanya; API REST memanggil response.text(), yang menganggap UTF-8 — jadi halaman yang disajikan sebagai Shift_JIS, GBK atau ISO-8859-1 kembali sebagai mojibake — dan akan menimbal badan bersaiz apa pun ke dalam fungsi serverless.
• structureSignature mencap jari dokumen sebagai perbendaharaan tagnya campur histogram kiraan elemen mengikut kedalaman, cukup kecil untuk disimpan bersebelahan garis dasar penjejakan perubahan, dan menerima punca pilihan supaya pemanggil yang menjejak pemilih CSS menilai kawasan itu sahaja.

Pilihan lain ialah ujian pariti yang memberitahu kami selepas kejadian salinan mana yang salah. Memadam salinan kedua lebih murah daripada mengesan percanggahan di dalamnya.

Kos credits

Satu harga berubah dalam keluaran ini. reddit_search berubah daripada 2 credits kepada 5, sepadan dengan search_web.

Sebabnya ialah mekanisme di atas: carian seluruh Reddit kini membelanjakan panggilan carian huluan yang sama seperti search_web, pada kos yang sama kepada kami. Carian berskop masih menanyakan arkib secara terus dan tidak menelan kos tambahan kepada kami, tetapi turut dibilkan 5, kerana alat itu mempunyai satu harga terbitan dan bukan harga setiap permintaan yang anda perlu modelkan. Pada 1,000 credits sekali sahaja pelan Free, itu 200 carian Reddit.

Selebihnya tidak berubah: scrape_template ialah 1 credit setiap panggilan templat mana pun yang anda guna, fetch_url 1, track_changes 3, crawl_deep 4, batch_scrape 5 setiap URL. Permintaan yang gagal tidak pernah dicaj.

Cara menaik taraf

npm install -g crawlforge-mcp-server@latest
crawlforge --version   # 5.2.5

Jika klien MCP anda melancarkan pelayan dengan npx, ia mengambil keluaran itu pada mula semula berikutnya. 5.2.5 bergantung terus pada crawlforge-extractors@^1.2.1, jadi pembaikan kiraan tontonan youtube-video datang bersamanya.

Tiada perubahan yang memecahkan apa-apa: tiada alat dinamakan semula, tiada bentuk output berubah, dan hanya reddit_search mengubah harga. Satu perkara untuk disemak sebelum menaik taraf ialah kiraan bajet anda jika anda memanggil reddit_search dalam gelung — ia 5 credits sekarang, bukan 2.

Pembaikan yang sama sudah aktif pada API REST terhos, jadi tiada apa-apa untuk dipasang jika anda memanggil CrawlForge melalui HTTP.

Mahu mencuba mana-mana daripada ini tanpa menyediakan pelayan? Mula percuma dengan 1,000 credits — tanpa kad kredit — kemudian layari rujukan API untuk kesemua 28 alat. Bacaan berkaitan: alternatif API Reddit yang masih berfungsi pada 2026 dan mengekstrak data dengan LLM tempatan dan Ollama.