API pemantauan pesaing untuk RevOps: tiada scraper untuk dijaga

Harga pesaing berubah pada hari Selasa. Pasukan hasil mendengarnya pada hari Khamis, daripada seorang wakil jualan yang kalah tawaran pada hari Rabu.

Penyelesaian biasa ialah sebuah scraper: satu kerja cron, satu pelayar headless, satu diff, satu mesej Slack — dijaga oleh sesiapa yang ada masa lapang suku tahun lepas. Ia berfungsi lebih kurang sebulan. Kemudian satu susun atur berubah atau mesin tempat ia berjalan diputar, dan tiada siapa perasan ia sudah berhenti, kerana monitor yang tidak menemui apa-apa dan monitor yang sudah mati menghasilkan kesunyian yang sama.

API pemantauan pesaing untuk RevOps memindahkan bahagian yang perlu dijalankan keluar daripada pihak anda. Anda menerangkan apa yang hendak diperhatikan; pemeriksaan, perbandingan dan cubaan semula menjadi masalah ketersediaan orang lain.

Apa yang API pemantauan pesaing lakukan untuk RevOps

Anda POST satu monitor — sehingga 20 URL, satu jadual cron, dan ke mana keputusan dihantar. Penjadual CrawlForge menjalankan pemeriksaan, membandingkan setiap halaman dengan yang sebelumnya, dan menghantar apa yang berubah.

curl -X POST https://crawlforge.dev/api/v1/monitors \
  -H "X-API-Key: cf_live_YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "competitor pricing",
    "targets": [
      { "url": "https://competitor-a.com/pricing", "selector": ".pricing-table" },
      { "url": "https://competitor-b.com/pricing", "selector": "main" }
    ],
    "schedule_cron": "0 7 * * 1-5",
    "timezone": "America/New_York",
    "notify_emails": ["revops@example.com"],
    "webhook_url": "https://example.com/hooks/crawlforge"
  }'

selector menentukan sama ada ini bertahan apabila berdepan tapak sebenar. Hadkan perbandingan kepada jadual harga dan reka bentuk semula navigasi bukan lagi peristiwa harga; tinggalkannya dan setiap ubah suai pemasaran akan mencetuskannya.

Pemeriksaan pertama sesuatu sasaran menangkap garis dasar dan melaporkannya sebagai new. Setiap pemeriksaan seterusnya membandingkan dengan pemeriksaan sebelumnya dan menggulung garis dasar ke hadapan, jadi apa yang sampai kepada anda ialah "berubah sejak kali terakhir" dan bukan "berubah sejak satu hari Selasa pada bulan Mac". Tiada apa-apa berjalan pada infrastruktur anda: penjadual bangun setiap lima minit dan memulakan apa sahaja yang tiba masanya. Rujukan titik akhir yang penuh ada dalam dokumentasi.

Bagaimana isyarat itu sampai ke seluruh timbunan teknologi anda

Melalui webhook, dan itulah sebabnya ini tergolong dalam timbunan RevOps dan bukan dalam tab pelayar seseorang. Setiap pemeriksaan menghantar satu peristiwa monitor.page bagi setiap halaman yang bukan unchanged, kemudian satu ringkasan monitor.check.completed.

Muatan halaman membawa change_percent, added_count dan removed_count, serta sehingga 20 baris sampel daripada setiap belah diff — cukup untuk pengendali membuat keputusan tanpa mengambil apa-apa sendiri:

• change_percent melepasi ambang anda pada URL harga — buka tugasan, hantar ke saluran tawaran, maklumkan PMM.
• Selain itu — rekodkan dan teruskan.

Dua pengepala penting. X-Webhook-Signature ialah sha256= diikuti HMAC-SHA256 bagi badan mentah, dikunci dengan webhook_secret monitor itu (dikembalikan semasa penciptaan dan pada GET satu monitor, tidak pernah dalam senarai) — sahkannya sebelum anda menghuraikannya. X-Webhook-ID kekal sama merentas cubaan semula, dan ada sehingga empat cubaan, jadi nyahduplikasi berdasarkannya atau satu perubahan harga pesaing menjadi empat tugasan CRM.

Berapa kosnya untuk memerhati seorang pesaing

Tiada yuran setiap monitor, dan mencipta, menyenarai atau menjeda monitor adalah percuma. Setiap pemeriksaan menahan 3 credits bagi setiap sasaran — harga track_changes — dan mengekalkannya bagi sasaran yang kembali sebagai new, changed atau unchanged. Sasaran yang kembali sebagai blocked atau error tidak dicaj, jadi dinding Cloudflare tidak menelan kos.

Setiap monitor melaporkan estimated_credits_per_month miliknya sendiri, iaitu siling — angka itu mengandaikan setiap sasaran diambil dan dibandingkan pada setiap larian. Lima halaman pesaing diperiksa setiap pagi ialah 450 credits sebulan, jadi 1,000 credits sekali sahaja pada peringkat percuma menampung dua bulan pertamanya.

Apa yang ia tidak akan lakukan

Ia membaca halaman yang anda tunjukkan kepadanya. Ia tidak menyimpan rekod kenalan, data firmografik atau carta organisasi, jadi ia tidak menggantikan pangkalan data yang menjalankan pengayaan data anda — ia ialah lapisan pemantauan di atas sumber anda sendiri. Dua had berbaloi diketahui sebelum anda menyambungkannya: robots.txt sentiasa dipatuhi tanpa sebarang pengecualian, jadi laluan yang dilarang dilaporkan sebagai error dengan ROBOTS_DISALLOWED pada setiap pemeriksaan dan tidak pernah dicaj, dan dua larian berturut-turut mesti berselang sekurang-kurangnya lima minit.

Jika anda lebih suka Claude membaca dan meringkaskan setiap diff daripada menghalakannya dalam pengendali webhook, gelung itu ada dalam catatan yang lain, dan track_changes ialah primitif yang sama untuk dipanggil sendiri.

Mulakan secara percuma dengan 1,000 credits, atau cipta monitor pertama daripada papan pemuka dan baca muatan sebenar sebelum anda menulis sebarang kod.