LlamaIndex
Penyepaduan LlamaIndex
Sepadukan CrawlForge MCP dengan LlamaIndex untuk membina penyambung data, indeks dan enjin pertanyaan dengan keupayaan web scraping. Sesuai untuk aplikasi RAG dan pangkalan pengetahuan.
Kes Penggunaan
Penyambung Data Web
Cipta penyambung data yang mengambil dan mengindeks kandungan web secara automatik
Pangkalan Pengetahuan
Bina pangkalan pengetahuan boleh cari daripada halaman web dan dokumen
Enjin Pertanyaan
Cipta enjin pertanyaan dengan perolehan data web masa nyata
Pemprosesan Dokumen
Ekstrak dan proses dokumen daripada URL untuk pengindeksan
Pemasangan
Pasang LlamaIndex dan penyesuai CrawlForge MCP.
Bash
Anda juga memerlukan API key CrawlForge daripada dashboard.
Penyambung Data Web
Gunakan CrawlForge sebagai penyambung data untuk mengambil dan memuatkan dokumen web.
Typescript
Petua: Gunakan
extract_content untuk pengekstrakan artikel yang bersih atau extract_text untuk teks halaman penuh.Indeks Vector Store
Cipta indeks vector store daripada dokumen web untuk carian semantik.
Typescript
Enjin Pertanyaan dengan Alat
Cipta enjin pertanyaan yang boleh mengambil data web masa nyata atas permintaan.
Typescript
Petua Ejen: Ejen akan memilih alat yang hendak digunakan secara automatik berdasarkan pertanyaan. Tetapkan
verbose=true untuk melihat pemilihan alat.Pengambil Web Tersuai
Bina pengambil tersuai yang mengambil data web berdasarkan pertanyaan.
Typescript
Pemprosesan Kelompok dengan Async
Proses berbilang URL dengan cekap menggunakan operasi kelompok async.
Typescript
Petua Prestasi: Gunakan
batch_scrape untuk memproses berbilang URL—ia dioptimumkan untuk pelaksanaan selari dan berkos hanya 1 credit setiap URL.Amalan Terbaik
- Pilih Alat yang Cekap — Gunakan
batch_scrapeuntuk berbilang URL,extract_contentuntuk teks bersih - Laksanakan Caching — Cache dokumen yang diindeks untuk mengelakkan pengambilan berulang dan menjimatkan credits
- Gunakan Operasi Async — Manfaatkan async/await untuk pemprosesan selari bagi mempercepatkan operasi pukal
- Pantau Credits — Jejaki penggunaan credit dalam metadata dokumen dan sediakan amaran dalam dashboard anda
Bersedia untuk membina dengan LlamaIndex?
Terokai kesemua 23 alat CrawlForge atau lihat penyepaduan lain.