Tetingkap Konteks
Definisi
Tetingkap konteks ialah jumlah maksimum teks (diukur dalam token) yang boleh diproses oleh model bahasa dalam satu permintaan. Ia termasuk kedua-dua gesaan input dan output yang dijana.
Bagaimana Ia Berkaitan dengan CrawlForge
Saiz tetingkap konteks menentukan berapa banyak kandungan yang di-scrape boleh digunakan oleh ejen AI pada satu masa. Tetingkap konteks 200K token Claude boleh menampung kira-kira 150,000 perkataan, manakala model yang lebih kecil mungkin terhad kepada 4K-32K token. Melebihi tetingkap konteks bermakna data dipotong atau hilang.
CrawlForge membantu menguruskan kekangan tetingkap konteks melalui alat seperti summarize_content, yang memadatkan halaman panjang, dan extract_text, yang melucutkan teks pelat dandang. Untuk penyelidikan berskala besar, deep_research mensintesis pelbagai sumber kepada ringkasan padat dan bukan membuang semua kandungan mentah ke dalam konteks.
Alat CrawlForge Berkaitan
Istilah Berkaitan
Token
Token ialah unit asas teks yang diproses oleh model bahasa. Teks dipecahkan kepada token (kira-kira 4 aksara atau 0.75 perkataan setiap satu) sebelum diproses oleh model. Kiraan token menentukan kos dan had konteks.
Model Bahasa Besar (LLM)
Model bahasa besar ialah rangkaian neural yang dilatih dengan jumlah data teks yang besar yang boleh memahami dan menjana bahasa manusia. LLM menguasakan pembantu AI, penjana kod, dan ejen autonomi.
Kejuruteraan Gesaan
Kejuruteraan gesaan ialah amalan mereka bentuk dan memperhalus arahan yang diberikan kepada model bahasa untuk mencapai output yang dikehendaki. Ia melibatkan penghasilan gesaan sistem, contoh few-shot, dan pertanyaan berstruktur.
Retrieval-Augmented Generation (RAG)
RAG ialah seni bina AI yang menggabungkan perolehan maklumat dengan penjanaan teks. Ia mula-mula mendapatkan dokumen yang relevan daripada sumber luaran, kemudian menggunakannya sebagai konteks untuk model bahasa menjana respons yang tepat dan berasas.
Mula Scraping dengan 1,000 Credits Percuma
Mulakan dengan CrawlForge hari ini. Tiada kad kredit diperlukan.
Mula scraping dengan 1,000 credits percuma