Langkau ke kandungan
CrawlForge MCP

Kemas Kini Terakhir: September 2026

Apa yang keluar dari mesin anda, apa yang kami simpan, berapa lama, dan dengan siapa kami berkongsinya. Setiap tempoh di halaman ini ialah tempoh yang dikuatkuasakan oleh kod.

Cara Data Anda Mengalir

CrawlForge mempunyai dua laluan masuk. MCP server berjalan pada mesin anda dan berhubung terus dengan laman web. REST API berjalan pada pelayan kami. Kedua-duanya mengendalikan data anda secara berbeza, jadi ia diterangkan secara berasingan.

Anak panah pejal membawa kandungan halaman. Anak panah putus-putus membawa metadata penggunaan sahaja.LALUAN MCPMesin andaKlien MCPcrawlforge-mcp-serverLaman web sasaranAPI CrawlForgekandungan halamanmetadata penggunaan sahajaLALUAN RESTKlien REST andaFungsi API (Vercel)Laman web sasaranPekerja pelayar (Render)respons, tidak disimpanlima tool
Anak panah pejal membawa kandungan halaman. Anak panah putus-putus membawa metadata penggunaan sahaja.

Laluan MCP: hasil kekal pada mesin anda

  • Anda memasang crawlforge-mcp-server pada mesin anda. Klien MCP anda (Claude Desktop, Claude Code, Cursor dan lain-lain) berhubung dengannya melalui stdio.
  • Pelayan mengambil laman sasaran dari rangkaian anda. Kandungan halaman, data yang diekstrak dan tangkapan skrin dipulangkan kepada klien anda dan tidak pernah melalui CrawlForge.
  • Pelayan memanggil API kami untuk tiga perkara: mengesahkan kunci API anda semasa ia bermula, membaca baki credits anda, dan melaporkan setiap panggilan selepas ia dijalankan.
  • Laporan penggunaan mengandungi nama tool, credits yang digunakan, status, tempoh, versi pelayan dan parameter panggilan dengan rahsia disamarkan. Ia tidak pernah mengandungi hasil.
  • Tool yang menggunakan model bahasa menjalankannya di tempat yang anda konfigurasikan: instance Ollama tempatan secara lalai, atau penyedia yang anda tetapkan kunci API untuknya. Trafik itu pergi dari mesin anda ke penyedia tersebut, bukan kepada kami.

Laluan REST: hasil melalui pelayan kami dan dipulangkan, bukan disimpan

  • Permintaan anda sampai ke fungsi tanpa pelayan di Vercel. Fungsi itu mengambil laman sasaran, dikenal pasti dan ditandatangani sebagai CrawlForge, membina respons dan memulangkannya kepada anda.
  • Lima tool (stealth_mode, scrape_with_actions, agent, extract_with_llm dan list_ollama_models) berjalan pada pekerja pelayar yang kami kendalikan di Render. Kandungan halaman melalui pekerja itu semasa panggilan berjalan.
  • Respons tidak disimpan, dengan tiga pengecualian berhad masa yang disenaraikan dalam jadual pengekalan: hasil kelompok tak segerak, garis dasar penjejakan perubahan dan hasil bersaiz besar yang disimpan untuk read_result.
  • Satu baris penggunaan ditulis bagi setiap panggilan, dengan parameter disamarkan yang sama seperti laluan MCP, serta endpoint dan kaedah.
  • REST API tidak menjalankan model bahasa sendiri. extract_with_llm dan agent menghantar teks ke endpoint model yang dikonfigurasikan pada pekerja Render.

Apa Yang Kami Simpan, dan Berapa Lama

Jadual ini ialah jadual pengekalan untuk CrawlForge. Dasar privasi memaparkan jadual yang sama. Setiap tempoh datang daripada laluan kod yang menguatkuasakannya; jika sesuatu tempoh ditetapkan oleh penyedia dan bukan oleh kami, jadual ini menyatakannya.

Data
Hasil tool di laluan MCP (kandungan halaman, data yang diekstrak, tangkapan skrin)
Di mana ia disimpan
Mesin anda sahaja
Disimpan selama
Tidak pernah dihantar ke CrawlForge
Nota
MCP server mengambil laman secara terus dan melaporkan metadata penggunaan sahaja kepada API kami.
Data
Hasil tool di laluan REST
Di mana ia disimpan
Dipulangkan dalam respons HTTP
Disimpan selama
Tidak disimpan
Nota
Tiga storan berhad masa di bawah ialah satu-satunya pengecualian.
Data
Hasil kelompok (kerja batch_scrape tak segerak, dibaca semula dengan get_batch_results)
Di mana ia disimpan
Redis (Upstash)
Disimpan selama
24 jam
Nota
Luput dengan sendirinya. ID kerja ialah satu-satunya cara untuk membacanya.
Data
Garis dasar penjejakan perubahan (teks halaman yang ditangkap oleh track_changes)
Di mana ia disimpan
Redis (Upstash)
Disimpan selama
90 hari
Nota
Mencipta garis dasar baharu untuk URL dan pemilih yang sama menggantikan yang lama dan memulakan semula tempoh.
Data
Garis dasar pemantau terhos (teks terakhir yang ditangkap bagi setiap halaman yang dipantau)
Di mana ia disimpan
PostgreSQL (Neon)
Disimpan selama
Sehingga pemantau dipadamkan
Nota
Setiap semakan menggantikan tangkapan sebelumnya, jadi hanya teks terkini bagi setiap sasaran disimpan. Memadamkan pemantau memadamkan garis dasarnya.
Data
Semakan pemantau terhos (status setiap semakan, kiraan, credits serta baris yang ditambah dan dibuang bagi setiap sasaran)
Di mana ia disimpan
PostgreSQL (Neon)
Disimpan selama
30 hari secara lalai, 1 hingga 365 hari ditetapkan bagi setiap pemantau
Nota
Larian berjadual memadamkan semakan yang lebih lama; memadamkan pemantau memadamkan sejarahnya.
Data
Hasil bersaiz besar yang disimpan untuk read_result (hasil yang terlalu besar untuk dipulangkan dalam respons)
Di mana ia disimpan
Redis (Upstash)
Disimpan selama
1 jam
Nota
Disimpan di bawah akaun anda. Handle hasil ialah satu-satunya cara untuk membacanya.
Data
Log penggunaan: nama tool, parameter disamarkan (termasuk URL sasaran atau pertanyaan), status, tempoh, credits, ID kunci API dan versi klien
Di mana ia disimpan
PostgreSQL (Neon)
Disimpan selama
12 bulan
Nota
Kerja harian memadam baris yang lebih lama. Rahsia disamarkan sebelum baris ditulis dan sekali lagi sebelum ia dipaparkan dalam papan pemuka.
Data
Data akaun: e-mel, nama, cincangan kata laluan, ID penyedia log masuk, tetapan, baki credits dan jawapan tinjauan maklum balas
Di mana ia disimpan
PostgreSQL (Neon)
Disimpan selama
Selagi akaun anda wujud
Nota
Dipadam bersama akaun. Lihat Pemadaman Akaun di bawah.
Data
Kunci API
Di mana ia disimpan
PostgreSQL (Neon), sebagai cincangan SHA-256 dengan salt serta awalan kunci
Disimpan selama
Sehingga anda membatalkannya
Nota
Kunci penuh dipaparkan sekali, semasa ia dicipta. Ia tidak disimpan dan tidak boleh dipaparkan lagi.
Data
Sesi log masuk
Di mana ia disimpan
Cookies httpOnly, dengan cache pengesahan dalam Redis (Upstash)
Disimpan selama
Token akses 15 minit, token segar semula 7 hari
Nota
Log keluar mengosongkan kedua-duanya. Cache pengesahan luput selepas 5 minit.
Data
Token set semula kata laluan dan pengesahan e-mel
Di mana ia disimpan
PostgreSQL (Neon), dicincang
Disimpan selama
Pautan set semula 1 jam, pautan pengesahan 24 jam
Nota
Sekali guna. Pautan dalam e-mel ialah satu-satunya salinan token.
Data
Data pencegahan penipuan: cap jari peranti, skor risiko dan pembilang had kadar pendaftaran
Di mana ia disimpan
PostgreSQL (Neon) dan Redis (Upstash)
Disimpan selama
Cap jari dan skor risiko sehingga pemadaman akaun, selepas itu hanya cincangan cap jari disimpan, tanpa pautan (lihat Akaun yang dipadam); pembilang had kadar 1 jam hingga 30 hari
Nota
Digunakan hanya untuk menyekat penyalahgunaan pendaftaran dan penciptaan kunci. Tidak pernah digunakan untuk pemprofilan atau pengiklanan.
Data
Rekod pembayaran
Di mana ia disimpan
Stripe
Disimpan selama
Selagi undang-undang cukai dan perakaunan memerlukannya
Nota
Kami menyimpan ID pelanggan dan langganan Stripe, pelan dan tempoh pengebilan. Nombor kad tidak pernah sampai ke pelayan kami.
Data
Langganan surat berita (alamat e-mel)
Di mana ia disimpan
PostgreSQL (Neon)
Disimpan selama
Sehingga anda berhenti melanggan
Nota
Setiap surat berita membawa pautan berhenti melanggan.
Data
Akaun yang dipadam
Di mana ia disimpan
PostgreSQL (Neon)
Disimpan selama
Dipadam serta-merta dari Tetapan (dalam tempoh 30 hari bagi permintaan melalui e-mel); cincangan sehala disimpan selama-lamanya
Nota
Akaun, kunci, log penggunaan, langganan, pemantau, cap jari, skor risiko dan token dipadam bersama-sama. Cincangan sehala bagi alamat e-mel dan cap jari peranti kekal, tanpa pautan kepada apa-apa yang lain, supaya akaun baharu yang sepadan tidak menerima credits percuma. Entri Redis luput mengikut tempoh di atas. Stripe menyimpan rekod pembayaran seperti yang dikehendaki undang-undang.

Dua baris pemantau terhos hanya terpakai setelah anda mencipta pemantau. Akaun tanpa pemantau tidak menyimpan sebarang data pemantau.

Subpemproses

Ini ialah penyedia yang menerima data anda apabila anda menggunakan CrawlForge, dan apa yang diterima oleh setiap satu. Laman web sasaran bukan subpemproses: ia menerima permintaan perangkak kami, dikenal pasti sebagai CrawlForge, dan tiada apa-apa tentang akaun anda.

Penyedia
Vercel
Tujuan
Pengehosan untuk laman web, papan pemuka dan REST API
Apa yang diterima
Setiap permintaan: alamat IP, pengepala dan badan permintaan.
Penyedia
Neon
Tujuan
Pangkalan data PostgreSQL
Apa yang diterima
Data akaun, cincangan kunci API, log penggunaan, langganan dan data pencegahan penipuan.
Penyedia
Upstash
Tujuan
Redis
Apa yang diterima
Cache pengesahan sesi, had kadar, tempahan credits, hasil kelompok, garis dasar penjejakan perubahan, hasil bersaiz besar, idempotensi webhook dan bendera nyahduplikasi e-mel.
Penyedia
Render
Tujuan
Pekerja pelayar dan model bahasa untuk lima tool REST: stealth_mode, scrape_with_actions, agent, extract_with_llm dan list_ollama_models
Apa yang diterima
URL sasaran, parameter permintaan dan kandungan halaman semasa panggilan berjalan. Teks yang dihantar oleh extract_with_llm dan agent kepada model bahasa pergi ke endpoint model yang dikonfigurasikan pada pekerja ini.
Penyedia
Stripe
Tujuan
Pembayaran dan langganan
Apa yang diterima
E-mel, nama, butiran kad yang anda masukkan di halaman pembayaran Stripe, dan sejarah pembelian.
Penyedia
Resend
Tujuan
E-mel transaksi
Apa yang diterima
Alamat e-mel, nama dan kandungan setiap e-mel: pautan pengesahan, set semula kata laluan, amaran pengebilan dan credits, serta surat berita.
Penyedia
Sentry
Tujuan
Pemantauan ralat
Apa yang diterima
Jejak tindanan dan metadata permintaan. Cookies, pengepala kebenaran, kunci API, token dan kata laluan dibuang sebelum acara dihantar.
Penyedia
Google, GitHub
Tujuan
Log masuk dengan Google atau GitHub, hanya jika anda memilihnya
Apa yang diterima
Kami menerima e-mel, nama dan avatar anda daripada penyedia. Penyedia mengetahui bahawa anda log masuk ke CrawlForge.
Penyedia
Google Custom Search, DataForSEO
Tujuan
Hasil carian untuk search_web dan serp_rank
Apa yang diterima
Pertanyaan carian, dan untuk serp_rank domain yang disemak kedudukannya.
Penyedia
Arctic Shift, PullPush, reddit.com
Tujuan
Arkib Reddit untuk reddit_search
Apa yang diterima
Pertanyaan carian.

Infrastruktur utama kami berada di Amerika Syarikat. Kami menambah penyedia ke senarai ini sebelum ia menerima data pelanggan.

Identiti Perangkak dan Kawalan Pemilik Laman

Kedua-dua permukaan mengenal pasti diri dengan cara yang sama dan mengikut peraturan yang sama pada setiap pengambilan. Pemilik laman boleh mengesahkan kami, mengehadkan kadar kami atau menyekat kami tanpa perlu meneka.

  • Setiap permintaan keluar membawa User-Agent CrawlForge/<version> (+https://crawlforge.dev). Token produk ialah CrawlForge pada kedua-dua MCP server dan REST API.
  • Setiap permintaan keluar ditandatangani dengan Ed25519 di bawah RFC 9421 (profil Web Bot Auth). Direktori kunci awam berada di /.well-known/http-message-signatures-directory, jadi sesuatu laman boleh mengesahkan bahawa permintaan yang mendakwa sebagai CrawlForge memang benar.
  • robots.txt dihormati secara lalai pada kedua-dua permukaan. Pemanggil boleh menghantar respect_robots: false; pengatasan itu adalah eksplisit, memulangkan amaran dalam respons dan direkodkan terhadap kunci API dalam log penggunaan.
  • Kami tidak menyelesaikan CAPTCHA atau memalsukan token cabaran. Halaman cabaran dilaporkan sebagai disekat, bukan dipintas. stealth_mode membuat pelayar sebenar memaparkan seperti pelayar sebenar; ia tidak mengalahkan kawalan akses.
  • Pemilik laman yang memilih untuk keluar ditambah ke senarai sekat kekal yang terpakai pada kedua-dua permukaan dan tidak boleh diatasi oleh mana-mana pelanggan. Tulis kepada simon@crawlforge.dev untuk memilih keluar.
  • Token yang dibersarakan CrawlForge-Bot masih dihormati sebagai peraturan disallow, jadi peraturan yang ditulis pemilik laman sebelum penamaan semula terus berfungsi.

Kelayakan dan Penyulitan

Apa yang kami lakukan dengan rahsia yang anda berikan kepada kami, dan apa yang tidak kami dakwa.

  • Semua trafik ke crawlforge.dev menggunakan TLS, dan laman ini menghantar pengepala Strict-Transport-Security.
  • Kata laluan dicincang dengan bcrypt. Kami tidak pernah melihat atau menyimpan kata laluan itu sendiri.
  • Kunci API dicincang dengan SHA-256 dan salt sebelah pelayan sebelum disimpan, bersama-sama awalan kunci yang dipaparkan dalam papan pemuka. Kunci penuh wujud dalam teks biasa sekali sahaja, dalam respons yang menciptanya. Kami tidak dapat memulihkannya, jadi kunci yang hilang dibatalkan dan diganti, bukan diperoleh semula.
  • Sesi log masuk menggunakan JWT 15 minit dan token segar semula 7 hari, kedua-duanya dalam cookies httpOnly, secure, same-site. Permintaan papan pemuka yang mengubah keadaan membawa token CSRF.
  • Pautan set semula kata laluan dan pengesahan e-mel ialah token sekali guna yang disimpan sebagai cincangan dengan tempoh luput masing-masing 1 jam dan 24 jam.
  • Rahsia dalam permintaan anda, seperti kata laluan yang ditaip oleh scrape_with_actions, kelayakan proksi atau pengepala kebenaran, disamarkan sebelum baris penggunaan ditulis dan sekali lagi sebelum ia dipaparkan dalam papan pemuka.
  • Neon dan Upstash menyulitkan data tersimpan, dan setiap sambungan kepada mereka menggunakan TLS.
  • Apa yang tidak kami dakwa: CrawlForge tidak memegang pensijilan SOC 2 atau ISO 27001, belum menawarkan pengesahan berbilang faktor pada akaun lagi, dan tidak menugaskan ujian penembusan pihak ketiga. Jika perolehan anda memerlukan salah satu daripada ini, tanya kami tentang kedudukannya sebelum anda membeli.

Pemadaman Akaun

Padam akaun anda sendiri dari Tetapan dalam papan pemuka. Pemadaman berlaku serta-merta dan tidak boleh dibuat asal.

  • Buka Tetapan, pilih Padam akaun saya, dan sahkan dengan alamat e-mel anda, serta kata laluan anda jika akaun itu mempunyainya.
  • Batalkan mana-mana langganan aktif di halaman Pengebilan terlebih dahulu; pemadaman kekal dikunci sehingga anda berbuat demikian. Pelan yang sudah ditetapkan untuk tamat bersama tempoh semasanya ditamatkan serta-merta. Tiada bayaran balik untuk credits yang tidak digunakan.
  • Pemadaman membuang baris akaun, dan bersamanya kunci API, log penggunaan, rekod langganan, pemantau, cap jari peranti, skor risiko, token, jawapan tinjauan maklum balas dan langganan surat berita anda. Entri dalam Redis luput mengikut tempoh dalam jadual pengekalan, paling lama 90 hari.
  • Kami menyimpan cincangan sehala bagi alamat e-mel dan cap jari peranti anda, tanpa pautan kepada apa-apa yang lain. Akaun baharu yang sepadan dengan salah satunya tidak menerima credits percuma, jadi pemadaman akaun tidak boleh digunakan untuk menuntutnya dua kali. Cincangan itu disimpan selama-lamanya.
  • Stripe menyimpan rekod pembayaran selagi undang-undang cukai dan perakaunan memerlukannya.
  • Tidak dapat log masuk? E-mel simon@crawlforge.dev dari alamat pada akaun anda dengan subjek "Delete my account" (Padam akaun saya), dan kami akan memadamnya untuk anda dalam tempoh 30 hari.

Pendedahan Kerentanan

Jika anda menemui isu keselamatan dalam laman web, API, pakej crawlforge-mcp-server atau SDK, beritahu kami secara terus. Butiran juga diterbitkan di /.well-known/security.txt.

  • E-mel simon@crawlforge.dev dengan subjek "Security" (Keselamatan). Sertakan URL atau tool yang terjejas, langkah untuk menghasilkan semula dan kesan yang anda perhatikan.
  • Kami mengesahkan penerimaan laporan dalam tempoh lima hari bekerja dan memaklumkan anda sehingga isu itu dibaiki. Kami tidak menjalankan program ganjaran pepijat berbayar.
  • Uji hanya terhadap akaun dan kunci API anda sendiri. Jangan akses, ubah suai atau padam data pelanggan lain.
  • Tiada penafian perkhidmatan, tiada pengimbasan volum, tiada kejuruteraan sosial terhadap orang yang bekerja di CrawlForge, dan tiada ujian terhadap laman web sasaran yang diambil oleh tool kami.
  • Berhenti sebaik sahaja anda dapat menunjukkan isu itu dan laporkannya. Jangan simpan data yang anda capai.
  • Kami meminta masa yang munasabah untuk membaiki isu sebelum ia diterbitkan, dan kami akan menyebut nama anda dalam pembaikan jika anda mahukannya.

Penyelidikan yang mengikut peraturan ini adalah dibenarkan. Kami tidak akan mengambil tindakan undang-undang terhadapnya dan kami tidak akan melaporkannya kepada penguatkuasa undang-undang.

Hubungan boleh dibaca mesin: /.well-known/security.txt

Dasar Berkaitan

Dasar Privasi

Apa yang kami kumpul, mengapa, dan hak anda di bawah GDPR dan CCPA

Dasar Penggunaan Boleh Diterima

Garis panduan untuk penggunaan tool mengikis web kami secara beretika dan sah

Mengesahkan Perangkak CrawlForge

Corak User-Agent, tandatangan Web Bot Auth dan peraturan robots.txt untuk pemilik laman

Kandungan Tidak Dipercayai dan Suntikan Prompt

Model kepercayaan untuk teks halaman yang sampai kepada ejen anda, dan apa yang sengaja tidak kami bersihkan

Soalan Tentang Keselamatan?

Jika anda memerlukan sesuatu yang tidak dijawab oleh halaman ini, seperti perjanjian pemprosesan data atau penerangan tentang sesuatu kawalan sebelum anda membeli, tulis kepada kami.

simon@crawlforge.dev