CrawlForge
Alat AI5 credits

generate_llms_txt

Perangkak tapak, analisis strukturnya dan keluarkan fail llms.txt (dan llms-full.txt pilihan) yang mematuhi piawaian bagi menentukan cara model AI patut berinteraksi dengan kandungan anda. Tahap pematuhan daripada permisif hingga ketat.

Kes Penggunaan

Hantar Dokumentasi Sedia AI

Terbitkan llms.txt bersama dokumen anda supaya Claude, ChatGPT dan perangkak lain membaca garis panduan yang bersih.

Penerbitan Pematuhan AI

Gunakan pematuhan ketat untuk menetapkan peraturan data latihan, caching dan atribusi di satu tempat.

Penjanaan Dasar Bot

Tambah garis panduan dan sekatan tersuai untuk agen pengguna AI tertentu pada domain anda.

Endpoint

POST/api/v1/tools/generate_llms_txt
Auth Required
2 req/s pada pelan Free
5 credits

Parameters

Operasi berat: Alat ini mungkin merangkak sehingga 500 halaman. Ia menggunakan sistem tempahan supaya credits ditahan sepanjang tempoh tugas.
NameTypeRequiredDefaultDescription
url
stringRequired-
URL tapak web untuk menjana llms.txt
Example: https://example.com
format
stringOptionalboth
Format output: "both" | "llms-txt" | "llms-full-txt"
Example: both
complianceLevel
stringOptionalstandard
Tahap pematuhan untuk garis panduan yang dijana: "basic" | "standard" | "strict"
Example: standard
analysisOptions
objectOptional-
Pilihan analisis tapak web (maxDepth 1-5, maxPages 10-500, respectRobots, detectAPIs, analyzeContent, checkSecurity)
Example: {"maxDepth": 3, "maxPages": 100, "detectAPIs": true}
outputOptions
objectOptional-
Penyesuaian output (organizationName, contactEmail, customGuidelines, customRestrictions, includeDetailed, includeAnalysis)
Example: {"organizationName": "Example Inc.", "contactEmail": "ai@example.com"}

Contoh Permintaan

cURL — both formats, standard compliance

terminalBash

TypeScript — strict with custom guidelines

generateLlmsTxt.tsTypescript

Python

generate_llms_txt.pyPython

Contoh Respons

200 OK4.1s
{
  "success": true,
  "data": {
    "url": "https://example.com",
    "hostname": "example.com",
    "compliance_level": "standard",
    "files": {
      "llms.txt": "# llms.txt for Example Inc.\n# Generated by CrawlForge — compliance: standard\n\nUser-Agent: *\nAllow: /\n\nContact: ai@example.com",
      "llms-full.txt": "# llms.txt for Example Inc.\n..."
    }
  },
  "credits_used": 5,
  "credits_remaining": 995,
  "processing_time": 4100
}
Field Descriptions
data.filesKandungan teks sedia untuk diterbitkan bagi setiap fail
data.compliance_levelMemantulkan tahap yang anda minta
credits_used5 credits tetap setiap panggilan tanpa mengira halaman yang dirangkak

Kos Credit

5 credits
5 credits setiap permintaan
5 credits tetap tidak kira berapa banyak halaman yang dilawati perangkak.

Petua: Gandingkan dengan map_site (2 credits) apabila anda hanya memerlukan inventori URL sebelum menjana garis panduan.

Alat Berkaitan

map_site
Temui URL sebelum menjana llms.txt (2 credits)
crawl_deep
Perangkakan BFS mendalam dengan pengekstrakan kandungan (4 credits)
Bersedia untuk menerbitkan garis panduan interaksi AI? Daftar secara percuma dan dapatkan 1,000 credits.