MCP server carian web dengan LLM tempatan: model mana yang benar-benar berjalan

Kebanyakan panduan tentang menjalankan MCP server carian web "dengan LLM tempatan" berhenti pada arahan pemasangan. Soalan yang lebih berguna ialah model mana yang sebenarnya digunakan oleh mesin anda, kerana CrawlForge tidak menetapkan satu pun secara keras — ia memberi pangkat kepada model yang sudah anda pasang dan memilih yang terbaik.

Dua tugas perlu dibezakan dahulu. search_web mencari halaman; ia satu panggilan API carian dan tiada LLM terlibat. Model tempatan penting untuk apa yang berlaku selepas itu — extract_with_llm, summarize_content, analyze_content, deep_research. Jadi "MCP server carian web dengan LLM tempatan" sebenarnya bermaksud: cariannya jauh, bacaannya tempatan.

Adakah MCP server carian web menggunakan LLM tempatan secara lalai?

CrawlForge ya, tanpa sebarang konfigurasi. Provider didaftarkan mengikut susunan keutamaan tetap — openai, anthropic, ollama — tetapi dua provider awan itu hanya didaftarkan apabila API key masing-masing ada. Ollama tidak memerlukan kunci, jadi pada mesin tanpa sebarang kunci ia satu-satunya provider yang didaftarkan dan menjadi pilihan lalai.

Tetapkan OPENAI_API_KEY dan OpenAI mengatasi Ollama. Itu memang disengajakan: kunci awan hanya ada kerana seseorang sengaja mengkonfigurasinya, jadi ia menang berbanding pilihan tempatan tanpa konfigurasi. Tetapkan DISABLE_OLLAMA=true untuk menyingkirkan Ollama sepenuhnya.

Model tempatan mana yang dipilih CrawlForge?

Mengikut susunan ini:

1. OLLAMA_DEFAULT_MODEL jika ditetapkan — penetapan eksplisit sentiasa menang.
2. Jika tidak, model berpangkat tertinggi yang benar-benar anda pasang.
3. Jika tidak, model pertama yang dipasang, apa sahaja ia.
4. llama3.2 hanya apabila Ollama langsung tidak dapat dihubungi — supaya mesej ralat menamakan model sebenar, bukan pemegang tempat.

Senarai yang dipasang datang daripada satu GET /api/tags terhadap OLLAMA_BASE_URL (lalai http://localhost:11434) dengan had masa tiga saat, dicache sepanjang hayat proses.

Langkah 1 yang selalu menggigit. Satu OLLAMA_DEFAULT_MODEL yang tertinggal dalam .env tempatan membatalkan keseluruhan pangkat itu secara senyap, dan tiada apa-apa memberi amaran.

Mengapa model 4B mengatasi model 20B?

Kerana pangkat itu diukur, bukan diandaikan. Dinilai terhadap tiga halaman produk sebenar dengan data rujukan yang disahkan secara bebas, mengira medan betul daripada 18:

Bilangan parameter tidak meramalkan ketepatan. gemma3:4b menyamai skor model 20B pada kira-kira satu pertiga kependaman, dan mengekalkan 45/45 merentas lima larian.

Bahagian yang menarik ialah kegagalannya. llama3.2 — pilihan lalai lama yang ditetapkan secara keras — mereka-reka harga bandingan pada produk yang langsung tiada harga sedemikian, pada setiap larian. Itulah sebabnya memilih model terpasang yang terbaik menggantikan penetapan satu model secara keras.

Ada pangkat kedua untuk tugas berbeza. Menilai dakwaan — kaitan, pengumpulan makna sama, percanggahan — bukan kerja mengekstrak, dan hanya gemma3:12b disenaraikan sebagai sesuai untuknya. gemma3:4b, juara pengekstrakan, memberi halaman pemasaran Playwright lawan Selenium skor 0.9 berkaitan dengan topik anti-bot. Model yang tiada dalam senarai itu tidak pernah diminta menilai, kerana model yang mereka-reka percanggahan antara sumber yang sebenarnya sependapat lebih buruk daripada model yang tidak melaporkan apa-apa.

Apa berlaku apabila Ollama tidak berjalan?

Ia diuji sekali sahaja. Jika hos tidak dapat dihubungi, provider Ollama dinyahdaftar dan pemilihan dijalankan semula, jadi mesin yang memegang kunci awan berundur kepadanya, dan mesin tanpa kedua-duanya melaporkan tiada provider tersedia dan bukannya tergantung. Tools yang boleh turun taraf kepada pengekstrakan CSS atau kata kunci akan berbuat demikian dan bukannya gagal.

Adakah menjalankan model secara tempatan menjadikan carian percuma?

Tidak. Inferens tempatan tidak berkos untuk dijalankan, tetapi tools tetap memakan credits: search_web 5, summarize_content 4, extract_with_llm 3, analyze_content 3, list_ollama_models 1. Pengiraan kos berjalan sebelum provider dipilih, jadi ia tidak pernah tahu bahawa model tempatan yang menjawab.

Apa yang diubah oleh inferens tempatan ialah ke mana data anda pergi. Dengan Ollama, kandungan halaman yang dikikis tidak pernah dihantar kepada model pihak ketiga. Gandingkan dengan provider: "searxng" pada search_web dan pertanyaan itu juga tidak keluar dari rangkaian anda — walaupun itu perubahan privasi, bukan perubahan kos.