Langkau ke kandungan

CrawlForge TeamPasukan Kejuruteraan

4 min bacaan

API pemantauan pesaing untuk RevOps: tiada scraper untuk dijaga

Harga pesaing berubah pada hari Selasa. Pasukan hasil mendengarnya pada hari Khamis, daripada seorang wakil jualan yang kalah tawaran pada hari Rabu.

Penyelesaian biasa ialah sebuah scraper: satu kerja cron, satu pelayar headless, satu diff, satu mesej Slack — dijaga oleh sesiapa yang ada masa lapang suku tahun lepas. Ia berfungsi lebih kurang sebulan. Kemudian satu susun atur berubah atau mesin tempat ia berjalan diputar, dan tiada siapa perasan ia sudah berhenti, kerana monitor yang tidak menemui apa-apa dan monitor yang sudah mati menghasilkan kesunyian yang sama.

API pemantauan pesaing untuk RevOps memindahkan bahagian yang perlu dijalankan keluar daripada pihak anda. Anda menerangkan apa yang hendak diperhatikan; pemeriksaan, perbandingan dan cubaan semula menjadi masalah ketersediaan orang lain.

Apa yang API pemantauan pesaing lakukan untuk RevOps

Anda POST satu monitor — sehingga 20 URL, satu jadual cron, dan ke mana keputusan dihantar. Penjadual CrawlForge menjalankan pemeriksaan, membandingkan setiap halaman dengan yang sebelumnya, dan menghantar apa yang berubah.

Bash
curl -X POST https://crawlforge.dev/api/v1/monitors \
  -H "X-API-Key: cf_live_YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "competitor pricing",
    "targets": [
      { "url": "https://competitor-a.com/pricing", "selector": ".pricing-table" },
      { "url": "https://competitor-b.com/pricing", "selector": "main" }
    ],
    "schedule_cron": "0 7 * * 1-5",
    "timezone": "America/New_York",
    "notify_emails": ["revops@example.com"],
    "webhook_url": "https://example.com/hooks/crawlforge"
  }'

selector menentukan sama ada ini bertahan apabila berdepan tapak sebenar. Hadkan perbandingan kepada jadual harga dan reka bentuk semula navigasi bukan lagi peristiwa harga; tinggalkannya dan setiap ubah suai pemasaran akan mencetuskannya.

Pemeriksaan pertama sesuatu sasaran menangkap garis dasar dan melaporkannya sebagai new. Setiap pemeriksaan seterusnya membandingkan dengan pemeriksaan sebelumnya dan menggulung garis dasar ke hadapan, jadi apa yang sampai kepada anda ialah "berubah sejak kali terakhir" dan bukan "berubah sejak satu hari Selasa pada bulan Mac". Tiada apa-apa berjalan pada infrastruktur anda: penjadual bangun setiap lima minit dan memulakan apa sahaja yang tiba masanya. Rujukan titik akhir yang penuh ada dalam dokumentasi.

Bagaimana isyarat itu sampai ke seluruh timbunan teknologi anda

Melalui webhook, dan itulah sebabnya ini tergolong dalam timbunan RevOps dan bukan dalam tab pelayar seseorang. Setiap pemeriksaan menghantar satu peristiwa monitor.page bagi setiap halaman yang bukan unchanged, kemudian satu ringkasan monitor.check.completed.

Muatan halaman membawa change_percent, added_count dan removed_count, serta sehingga 20 baris sampel daripada setiap belah diff — cukup untuk pengendali membuat keputusan tanpa mengambil apa-apa sendiri:

  • change_percent melepasi ambang anda pada URL harga — buka tugasan, hantar ke saluran tawaran, maklumkan PMM.
  • Selain itu — rekodkan dan teruskan.

Dua pengepala penting. X-Webhook-Signature ialah sha256= diikuti HMAC-SHA256 bagi badan mentah, dikunci dengan webhook_secret monitor itu (dikembalikan semasa penciptaan dan pada GET satu monitor, tidak pernah dalam senarai) — sahkannya sebelum anda menghuraikannya. X-Webhook-ID kekal sama merentas cubaan semula, dan ada sehingga empat cubaan, jadi nyahduplikasi berdasarkannya atau satu perubahan harga pesaing menjadi empat tugasan CRM.

Berapa kosnya untuk memerhati seorang pesaing

Tiada yuran setiap monitor, dan mencipta, menyenarai atau menjeda monitor adalah percuma. Setiap pemeriksaan menahan 3 credits bagi setiap sasaran — harga track_changes — dan mengekalkannya bagi sasaran yang kembali sebagai new, changed atau unchanged. Sasaran yang kembali sebagai blocked atau error tidak dicaj, jadi dinding Cloudflare tidak menelan kos.

JadualSasaranLarian / 30 hariCredits / bulan
0 9 * * *530450
0 * * * *17202,160
*/15 * * * *12,8808,640

Setiap monitor melaporkan estimated_credits_per_month miliknya sendiri, iaitu siling — angka itu mengandaikan setiap sasaran diambil dan dibandingkan pada setiap larian. Lima halaman pesaing diperiksa setiap pagi ialah 450 credits sebulan, jadi 1,000 credits sekali sahaja pada peringkat percuma menampung dua bulan pertamanya.

Apa yang ia tidak akan lakukan

Ia membaca halaman yang anda tunjukkan kepadanya. Ia tidak menyimpan rekod kenalan, data firmografik atau carta organisasi, jadi ia tidak menggantikan pangkalan data yang menjalankan pengayaan data anda — ia ialah lapisan pemantauan di atas sumber anda sendiri. Dua had berbaloi diketahui sebelum anda menyambungkannya: robots.txt sentiasa dipatuhi tanpa sebarang pengecualian, jadi laluan yang dilarang dilaporkan sebagai error dengan ROBOTS_DISALLOWED pada setiap pemeriksaan dan tidak pernah dicaj, dan dua larian berturut-turut mesti berselang sekurang-kurangnya lima minit.

Jika anda lebih suka Claude membaca dan meringkaskan setiap diff daripada menghalakannya dalam pengendali webhook, gelung itu ada dalam catatan yang lain, dan track_changes ialah primitif yang sama untuk dipanggil sendiri.

Mulakan secara percuma dengan 1,000 credits, atau cipta monitor pertama daripada papan pemuka dan baca muatan sebenar sebelum anda menulis sebarang kod.

Cuba sendiri — tiada pendaftaran diperlukan

Terokai kesemua 31 alat scraping dan pengekstrakan CrawlForge dalam playground, kemudian mula secara percuma dengan 1,000 credits.

1,000 credits percuma • Sekali sahaja • Tiada kad kredit diperlukan

Tag

  • revops
  • competitor monitoring
  • monitors
  • track_changes
  • b2b

Tentang Penulis

CrawlForge Team

Pasukan Kejuruteraan

Membina MCP server web scraping yang paling menyeluruh. Kami mencipta alatan yang membantu pembangun mengekstrak, menganalisis dan mengubah data web untuk aplikasi AI.

Surat berita

Kekal dikemas kini dengan pandangan terkini

Dapatkan tutorial, kemas kini produk dan petua web scraping terus ke peti masuk anda.

Tiada spam. Berhenti melanggan bila-bila masa.

Soalan Lazim

Soalan lazim

01Perlukah saya menjalankan apa-apa di pihak saya

Tidak. Monitor itu hidup pada CrawlForge: penjadualnya bangun setiap lima minit dan memulakan setiap pemeriksaan yang slotnya sudah berlalu, jadi satu pemeriksaan bermula dalam masa lima minit daripada waktu yang dijadualkan sama ada apa-apa milik anda sedang berjalan atau tidak. Anda hanya perlukan satu URL yang boleh menerima POST, atau sekadar satu alamat e-mel. Satu akaun menyimpan sehingga 50 monitor, setiap satu dengan sehingga 20 sasaran.

02Apa bezanya monitor terhos dengan saya memanggil track_changes sendiri

track_changes ialah primitifnya — create_baseline sekali, kemudian compare bila-bila anda memanggilnya — dan panggilan, jadual serta cubaan semula adalah milik anda untuk diuruskan. Monitor terhos membungkus perbandingan yang sama itu dalam jadual yang dijalankan CrawlForge, sejarah pemeriksaan yang boleh anda baca semula, dan penghantaran webhook dengan cubaan semula. Harga setiap sasaran adalah sama, 3 credits, jadi bezanya ialah siapa yang mengendalikan gelung itu, bukan berapa kosnya.

03Apa yang berlaku apabila pesaing menyekat pemeriksaan itu

Sasaran itu kembali dengan status blocked dan blocked_vendor yang menamakan dindingnya — Cloudflare, DataDome, PerimeterX, Akamai dan lain-lain dikesan — dan ia tidak pernah dilaporkan sebagai perubahan, yang penting kerana halaman cabaran akan kelihatan seperti halaman itu ditulis semula sepenuhnya. Sasaran yang disekat atau ralat tidak dicaj, jadi pesaing yang menghidupkan perlindungan bot tidak menelan kos apa-apa kecuali isyarat itu.

04Bolehkah ia mengayakan akaun dengan data kenalan atau firmografik

Tidak. CrawlForge tidak memiliki e-mel, nombor telefon, carta organisasi atau rekod syarikat; ia membaca halaman yang anda tunjukkan kepadanya. Bagi RevOps, itu menjadikannya lapisan penyelidikan dan pemantauan di atas sumber anda, bukan pengganti pangkalan data pengayaan yang anda sudah bayar. Penggunaan yang jujur ialah memerhati halaman yang penting — harga, changelog, kerjaya, status — dan menghalakan apa yang berubah ke dalam sistem yang anda sudah gunakan.

Teruskan membaca

Artikel Berkaitan