CrawlForge MCP v6.7–v6.12: Mengikis Laman yang Dilindungi Cloudflare

"MCP pelayar apa untuk memintas Cloudflare?" ialah soalan yang masih hangat di r/ClaudeAI, dan jawapan jujurnya bagi sebahagian besar 2026 ialah: tiada satu pun yang boleh diharap, termasuk kami. Satu penanda aras pengesanan bot yang kami jalankan terhadap v6.6.2 pada pertengahan September mengesyorkan penghalaan melalui proksi kediaman. Kami mengkonfigurasinya. Ia tidak berbuat apa-apa. Mencari sebabnya bertukar menjadi enam keluaran dalam sebelas hari, dan siaran ini ialah rekod tentang apa yang diubah olehnya bagi sesiapa yang perlu mengikis laman yang dilindungi Cloudflare daripada MCP server tanpa berpura-pura menjadi sesuatu yang bukan dirinya.

CrawlForge MCP v6.7.0 hingga v6.12.0 semuanya berkisar pada satu halaman: halaman yang pulang sebagai tembok cabaran. Pengambilan biasa masih berjalan dahulu dan masih berharga 2 credits. Yang berubah ialah segala yang berlaku selepas ia ditolak.

Isi kandungan

• Apa yang dihantar, keluaran demi keluaran
• Mengapa pengambilan biasa gagal pada laman yang dilindungi Cloudflare
• Satu panggilan, tiga cubaan: tangga eskalasi
• Cabaran yang sudah diselesaikan kekal selesai
• Ejen mencuba semula halaman bertembok sendiri
• Bawa proksi kamu sendiri, dan kini ia benar-benar dihalakan
• Diukur terhadap penanda aras, bukan didakwa
• Apa yang CrawlForge tidak akan lakukan
• Menjalankannya untuk klien: persediaan agensi
• Cara naik taraf

Apa yang dihantar, keluaran demi keluaran

Tiada alat ditambah atau dinamakan semula, dan tiada harga berubah kecuali siling agent, yang kini bergantung pada apa yang berjaya lepas. Setiap baris di atas diambil daripada changelog pelayan.

Mengapa pengambilan biasa gagal pada laman yang dilindungi Cloudflare

Cloudflare menskor permintaan sebelum halaman disajikan, dan klien HTTP Node gagal skor itu di tiga tempat serentak: IP-nya ialah julat pusat data yang dikenali, jabat tangan TLS-nya tidak kelihatan seperti pelayar, dan interstisial itu memerlukan JavaScript yang tidak akan dijalankan oleh klien tersebut. Hasilnya ialah 403, atau 200 yang membawa tidak lain daripada cengkerang cabaran. Panduan stealth mode merangkumi lapisan pengesanan secara terperinci; siaran ini tentang apa yang kini dilakukan oleh pelayan apabila ia menemui satu daripadanya.

Sejak v5.6.11, scrape telah melaporkan tembok itu sebagai success: false dengan blocked.vendor menamakan Cloudflare, DataDome, PerimeterX, Akamai, Amazon atau Vercel, apa pun status HTTP-nya, dan tidak mengenakan apa-apa caj untuknya. Sejak v5.9.0, escalate: true telah membolehkan panggilan yang sama memaparkan halaman itu sekali dalam pelayar stealth dan bukannya memulangkan sekatan. Enam keluaran di bawah ialah apa yang telah dijadikan oleh peringkat eskalasi itu.

Satu panggilan, tiga cubaan: tangga eskalasi

Dengan escalate: true dan enjin lalai "auto", satu panggilan scrape kini menaiki tangga, dan berhenti pada anak tangga pertama yang memulangkan halaman:

1. Pengambilan biasa, dengan User-Agent CrawlForge/<version>. 2 credits. Jika hos itu menembok satu permintaan dalam 24 jam terakhir, MCP server melangkau anak tangga ini dan bukannya mengulangi pengambilan yang pasti gagal.
2. Jabat tangan TLS Chrome melalui impit, baharu dalam v6.11.0. Ia mempersembahkan cap jari TLS Chrome dan masih membawa User-Agent CrawlForge yang jujur. Tiada pelayar dimulakan. Daripada IP kediaman di mana Cloudflare menyekat pengambilan biasa, indeed.com pulang dalam lebih kurang sesaat.
3. Pelayar stealth, Camoufox dahulu dan Chromium dengan amaran apabila binari Camoufox tiada (v6.8.0). Balang pelepasan daripada v6.10.0 digunakan di sini, dan pada Chromium tembok yang masih berdiri selepas tempoh tunggu biasa, dengan bingkai challenges.cloudflare.com pada halaman, mendapat satu klik pada kotak semak Turnstile (v6.11.0).

Harganya ialah 2 + 5 mana-mana antara dua anak tangga terakhir yang mendapat halaman, dan panggilan yang disajikan oleh pengambilan biasa masih membayar 2. Halaman yang menemui tembok pada setiap anak tangga pulang sebagai sekatan yang membawa escalated: true dan tidak dicaj apa-apa.

// npm install crawlforge-sdk
import { CrawlForge } from 'crawlforge-sdk';

const client = new CrawlForge({ apiKey: process.env.CRAWLFORGE_API_KEY });

// One call. The plain fetch runs first; only a wall triggers the rest.
const result = await client.scrape({
  url: 'https://www.indeed.com/cmp/Burger-King/reviews',
  formats: ['markdown', 'metadata'],
  escalate: true
});

const data = result.data as {
  escalated?: boolean;
  stealth?: { engine: string };
  content: { markdown: string };
};

// "impit" means the TLS rung got it and no browser ever launched.
console.log(data.escalated, data.stealth?.engine, data.content.markdown.length);

Dua pengawal berada di dalam anak tangga impit. Setiap lompatan ubah hala disemak SSRF dengan resolusi DNS-nya sendiri, kerana impit menyelesaikan nama sendiri. Dan halaman dengan kurang daripada 200 aksara teks kelihatan diteruskan ke pelayar dan bukannya dipulangkan: quora.com menjawab jabat tangan Chrome dengan fallback "Something went wrong" aplikasi kliennya di bawah tajuk yang sepenuhnya normal, dan v6.12.0 kini menganggap fallback itu sebagai sekatan lembut pada setiap laluan, bukan yang ini sahaja.

Satu perbezaan yang disengajakan: eskalasi scrape pada API REST terhos kekal pelayar sahaja. Diukur daripada IP pusat data instans terhos, langkah impit tidak melepasi satu pun tembok penanda aras, jadi perkhidmatan terhos berjalan dengan CRAWLFORGE_IMPIT=off manakala pemasangan npm mengekalkannya hidup.

Cabaran yang sudah diselesaikan kekal selesai

Sebelum v6.10.0, setiap pemaparan stealth bermula sejuk. Jika interstisial Cloudflare melepaskan pelayar, pelepasan itu mati bersama konteks pelayar, dan panggilan seterusnya ke hos yang sama menyelesaikannya sekali lagi.

Balang pelepasan menyimpan tepat tiga cookies daripada pemaparan yang melepasi tembok: cf_clearance, __cf_bm dan datadome. Ia dimainkan semula ke konteks stealth seterusnya dengan enjin, User-Agent dan proksi yang sama, iaitu identiti yang menerima pelepasan itu. Itu merangkumi peringkat eskalasi scrape, stealth_mode, cubaan semula stealth ejen, browser_session dan scrape_with_actions.

Diukur pada stackoverflow.com daripada IP kediaman: panggilan stealth pertama melepasi interstisial Cloudflare dalam 4.1 saat, dengan permintaan cabaran orchestrate dan fo kelihatan dalam surih. Yang kedua terus ke 200 tanpa kedua-duanya, dalam 1.6 saat. Proses kedua menggunakan semula pelepasan daripada cakera dan memuatkan indeed.com dengan sifar permintaan platform cabaran.

Sempadannya sama pentingnya dengan cirinya:

• Tiada cookie lain pernah disimpan. Cookie sesi daripada log masuk seorang pemanggil tidak dapat sampai ke konteks pemanggil lain, kerana balang itu tidak menyimpannya.
• Pemaparan yang menemui tembok semula menggugurkan pelepasan hos itu, jadi pelepasan basi tidak boleh bergelung.
• Tamat tempohnya ialah milik cookie itu sendiri, dihadkan pada 24 jam. Balang itu memegang paling banyak 32 identiti dengan 200 cookies setiap satu.
• Ia kekal di ~/.crawlforge/stealth-clearance.json, mod 0600, kunci dicincang. CRAWLFORGE_CLEARANCE_JAR=off mematikannya.

Kolam profil Chromium kekal dipertimbangkan untuk fasa yang sama dan sengaja tidak dibina. Profil kongsi menyimpan log masuk dan storan laman, dan pada instans terhos itu akan bocor antara pelanggan.

Ejen mencuba semula halaman bertembok sendiri

Sebelum v6.9.0, peringkat tindakan alat agent hanya menjalankan pengambilan biasa. Halaman benih yang dicabar digugurkan dan jawapannya dipasang daripada petikan carian. Dalam semakan kami sendiri itu menghasilkan ayat "3.3 stars, based on 3.3 reviews" bagi halaman Burger King di Indeed, iaitu apa yang berlaku apabila penarafan bocor ke medan bilangan sesuatu petikan.

Kini halaman yang menemui cabaran, 403 atau 429, cengkerang kosong atau tamat masa dicuba semula melalui peringkat eskalasi yang sama digunakan oleh scrape, dengan pintu pematuhan, penyelesai enjin dan proksi yang sama. URL yang dinamakan oleh pemanggil dicuba semula dahulu. URL yang ditemui dicuba semula hanya apabila ia tiada petikan carian yang relevan. Penolakan, 404 dan ralat 5xx tidak pernah dicuba semula, satu larian membuat paling banyak dua cubaan semula, dan tiada satu pun bermula dengan kurang daripada 20 saat jam dinding berbaki.

Dengan enjin Chromium, ujian Indeed yang sama membaca halaman benih itu sendiri dan menjawab 3.3 bintang daripada 58,942 ulasan, dengan buktinya ditandakan via: "stealth".

Harga mengikut apa yang berjaya lepas:

Hasilnya melaporkan stealth_retries (percubaan) dan stealth_retries_charged (dibilkan). Cubaan semula yang menemui tembok lagi, atau melontar, adalah percuma. API REST mengenakan 8 + 5 yang sama bagi setiap cubaan semula yang dicaj.

Bawa proksi kamu sendiri, dan kini ia benar-benar dihalakan

CrawlForge tidak membekalkan proksi. Apa yang dibetulkan oleh v6.7.0 ialah proksi yang kamu bekalkan benar-benar digunakan. stealthConfig.proxyRotation dahulunya tidak berkesan dalam tiga cara berasingan: proksi itu dimasukkan ke bendera --proxy-server Chromium, yang tidak dapat membawa user:pass yang dikeluarkan bersama setiap proksi kediaman, jadi proksi yang memerlukan pengesahan menjawab 407; laluan pelancaran Camoufox pulang sebelum senarai argumen dibina, jadi enjin Firefox berjalan tanpa proksi apa pun yang diminta; dan senarai itu dibaca sekali pada pelancaran, jadi rotationInterval tidak pernah dapat berlalu.

Ketiga-tiganya dibetulkan. Proksi ialah URL biasa (http, https, socks4, socks5, kelayakan dikodkan peratus), digunakan bagi setiap konteks pelayar supaya kedua-dua enjin mengesahkan, dan entri yang cacat ialah ralat dan bukannya permintaan yang senyap-senyap tanpa proksi. Camoufox kini berjalan dengan ciri geoip, block_webrtc dan humanize miliknya dihidupkan, jadi di sebalik proksi ia menerbitkan lokal, zon waktu dan lokasi daripada IP keluar dan bersetuju dengan alamat yang dilihat oleh laman.

v6.8.0 menambah bentuk peringkat pelayan, CRAWLFORGE_STEALTH_PROXIES: senarai dipisahkan koma yang digunakan oleh peringkat eskalasi, stealth_mode, browser_session, scrape_with_actions dan cubaan semula ejen apabila panggilan tidak menghantar apa-apa. Proksi pada panggilan sentiasa menang.

Keluaran yang sama membetulkan masalah identiti Camoufox yang wujud sebelum semua ini. Kira-kira dua pertiga konteks Camoufox telah mempersembahkan User-Agent Chrome pada enjin Gecko dan menghantar petunjuk klien sec-ch-ua yang tidak pernah dilaksanakan oleh Firefox. Pengesan boleh bertindak atas itu daripada pengepala permintaan sahaja, sebelum sebaris skrip pun berjalan. Camoufox kini mempersembahkan identiti Firefox-nya sendiri, tanpa apa-apa berbentuk Chromium disuntik ke atasnya.

Diukur terhadap penanda aras, bukan didakwa

Setiap angka dalam siaran ini datang daripada npm run bench:stealth, yang ditukarkan oleh v6.8.0 daripada jadual yang dijalankan secara manual kepada satu perintah. Ia memandu pelayar stealth dan pengambilan biasa terhadap dua belas tembok bot dan lima halaman pengesan, dan mengepalai matriksnya dengan OS hos, kelas IP keluar, enjin dan versi pelayar, kerana hasil Cloudflare daripada sambungan kediaman dan daripada pusat data ialah dua pengukuran yang berbeza.

Diukur terhadapnya, kebocoran cap jari ditutup: navigator.webdriver membaca false dan bukannya dipadam, tiada apa-apa menjadi sifat sendiri navigator, userAgentData menggugurkan jenama HeadlessChrome-nya, versi major Chrome datang daripada binari yang dipasang, dan Web Worker menjawab apa yang dijawab oleh dokumen. Probe kendiri pengesan beralih daripada senarai kegagalan yang diketahui kepada 19 lulus, 0 gagal, 1 langkau pada kedua-dua enjin. npm run bench:stealth:ci menjalankan sepuluh probe itu tanpa laman pihak ketiga dan gagal hanya pada regresi, dengan kawalan negatif yang memaksa navigator.webdriver kepada true dan mesti ditangkap.

Dua penemuan daripada penanda aras wajar dibawa bersama kamu:

• Enjin mana yang lulus bergantung pada IP keluar. Daripada sambungan kediaman Camoufox melepasi indeed.com di mana Chromium gagal. Daripada alamat pusat data instans terhos dua larian mendapati sebaliknya sama sekali. Itulah sebabnya CRAWLFORGE_STEALTH_ENGINE wujud untuk memacak penempatan, sebabnya perkhidmatan terhos memacak Chromium, dan sebabnya lalai npm masih mengutamakan Camoufox.
• Satu sel DataDome bukan satu hasil. leboncoin pada Chromium lulus pada satu larian dan disekat sejam kemudian daripada IP yang sama tanpa apa-apa berubah di antaranya.

Apa yang belum ditutup dinyatakan dalam changelog dan bukannya ditutup-tutup. Chromium masih membocorkan HeadlessChrome daripada SharedWorker, sasaran yang tidak dilekatkan apa-apa oleh Playwright. Dan klik Turnstile disahkan terhadap sitekey ujian interaktif-paksa Cloudflare, yang membuktikan mekanismenya sahaja; sama ada laman sebenar menerima klik itu masih bergantung pada IP dan cap jari yang diskornya.

Apa yang CrawlForge tidak akan lakukan

Perkataan pencari ialah "bypass". Perkataan kami lebih sempit, dan keluaran ini berpegang teguh padanya:

• Tiada penyelesaian CAPTCHA dan tiada token cabaran palsu. Klik Turnstile ialah satu klik pada kotak semak yang diletakkan Cloudflare pada halaman, pada Chromium sahaja. Tiada API token dipanggil.
• User-Agent jujur pada setiap anak tangga. Jabat tangan impit mempersembahkan cap jari TLS Chrome dan masih mengenal pasti dirinya sebagai CrawlForge/<version>. Pada indeed.com, User-Agent yang jujur lulus 3 larian daripada 4 di mana User-Agent Chrome lulus 0, jadi pengepala yang jujur bukanlah perkara yang merugikan kami halaman itu.
• Cookies pelepasan tidak pernah dipindahkan antara identiti. Memainkan semula cookie cf_clearance melalui impit ditolak, kerana cookie itu terikat pada User-Agent yang memperolehnya, dan memainkannya semula bermakna menghantar User-Agent pelayar dan bukan milik kami sendiri.
• robots.txt disemak sebelum mana-mana anak tangga berjalan, terhadap token produk CrawlForge yang sama digunakan oleh pengambilan biasa. Penindihan respect_robots: false ditulis ke log audit pematuhan.
• Setiap eskalasi diaudit. Sejak v6.11.0, scrape dengan escalate, cubaan semula stealth ejen dan stealth_mode masing-masing menulis baris stealth_escalation ke logs/compliance-audit.log, selepas pintu pematuhan dan sebelum pelayar menavigasi, membawa URL, alat, enjin yang diselesaikan dan cincangan terpotong API key. Permintaan yang ditolak tidak menulis apa-apa.

Senarai itu ialah perbezaan antara pengikis yang boleh diletakkan nama agensi di sebelahnya dan yang tidak boleh.

Menjalankannya untuk klien: persediaan agensi

Jika kamu menjalankan CrawlForge untuk beberapa klien, bahagian-bahagian di atas tersusun menjadi satu penempatan:

# Your residential or ISP proxies. CrawlForge supplies none.
CRAWLFORGE_STEALTH_PROXIES=http://user:pass@proxy-a:8000,socks5://user:pass@proxy-b:1080

# Pin the engine once you have measured which one passes from your exit IP.
CRAWLFORGE_STEALTH_ENGINE=chromium

# Leave the Chrome TLS rung on unless your exit IP is a datacenter range.
# CRAWLFORGE_IMPIT=off

# Clearances persist per engine, User-Agent and proxy; off if you would rather start cold.
# CRAWLFORGE_CLEARANCE_JAR=off

Kemudian ukur sebelum kamu menjanjikan apa-apa: npm run bench:stealth daripada mesin yang akan melakukan kerja itu, supaya matriksnya membawa kelas IP keluar kamu dan bukan milik kami. Log audit memberi kamu rekod setiap eskalasi stealth mengikut kunci untuk diserahkan kepada klien yang bertanya apa yang diambil bagi pihaknya, dan peraturan tiga cookie balang pelepasan bermakna log masuk seorang klien tidak pernah berada dalam konteks yang digunakan semula oleh kerja klien lain.

Bagi API terhos, penerangan jujurnya begini: trafik stealth keluar daripada IP pusat data, eskalasinya pelayar sahaja, dan tembok mana yang dilepasinya ialah sifat IP itu. Di mana sasaran klien berada di sebalik semakan reputasi IP, MCP server hos sendiri dengan senarai proksi kamu sendiri ialah persediaan yang mengukur dengan baik.

Cara naik taraf

npm install -g crawlforge-mcp-server@latest
crawlforge --version   # 6.12.0

Klien MCP yang melancarkan pelayan dengan npx mengambil v6.12.0 pada mula semula berikutnya. impit ialah kebergantungan pilihan dengan binari prabina; apabila ia tiada, eskalasi berkelakuan tepat seperti dalam v6.10.0. Camoufox juga pilihan, memerlukan Node 22 untuk kebergantungan transitifnya, dan "auto" berundur kepada Chromium dengan amaran yang menyatakannya. Tiada skema atau bentuk output berubah pada mana-mana alat.

Mahu melihat apa yang dilepasi tangga ini daripada IP kamu? Mulakan percuma dengan 1,000 credits, jalankan scrape dengan escalate: true terhadap halaman yang telah menyekat kamu, dan baca rujukan API scrape untuk setiap parameter yang diterima oleh peringkat eskalasi.