extract_with_llm

Pengekstrakan berkuasa AI yang berjalan pada model Ollama tempatan secara lalai — tiada kunci API LLM diperlukan. Anda boleh menghala ke OpenAI atau Anthropic apabila anda memerlukan model terhos. Berikan ia gesaan (dan secara pilihan JSON Schema) dan dapatkan semula data berstruktur.

Kes Penggunaan

Pengekstrakan Tempatan Dahulu

Jalankan pengekstrakan terhadap Ollama pada mesin anda sendiri — sifar kos API LLM dan peribadi secara lalai.

Tasik Data Dipacu Skema

Gabungkan gesaan dengan JSON Schema untuk mengisi baris bertaip bagi gudang atau stor graf anda.

Failover Berbilang Penyedia

Mulakan pada Ollama tempatan, undur ke OpenAI atau Anthropic untuk halaman berisiko tinggi dengan menogol satu parameter.

Endpoint

POST/api/v1/tools/extract_with_llm

Auth Required

1 req/s pada pelan Free

3 credits

Parameters

`provider` lalai kepada `"auto"`: Pada pelayan MCP yang anda jalankan sendiri, "auto" menggunakan Ollama tempatan anda — tiada kunci API LLM diperlukan. Pada API CrawlForge terhos pula tiada Ollama tempatan, jadi "openai" atau "anthropic" hanya berfungsi apabila kunci yang berkaitan dikonfigurasikan pada backend pelaksanaan.

Name	Type	Required	Default	Description
url	string	Optional	-	URL untuk diambil dan diekstrak. Sama ada url atau content diperlukan. Example: https://example.com/article/42
content	string	Optional	-	Kandungan teks atau HTML mentah untuk diekstrak. Sama ada url atau content diperlukan. Example: "<html>...</html>"
prompt	string	Required	-	Arahan bahasa semula jadi yang memandu pengekstrakan LLM Example: Extract the headline, author, and three key takeaways
schema	object	Optional	-	JSON Schema pilihan yang menerangkan struktur data untuk diekstrak Example: {"type":"object","properties":{"title":{"type":"string"}},"required":["title"]}
provider	string	Optional	auto	Penyedia LLM: "ollama" (tempatan, lalai), "openai", "anthropic", atau "auto" Example: ollama
model	string	Optional	-	Pengecam model. Lalai mengikut penyedia: llama3.2, gpt-4o-mini, claude-haiku-4-5-20251001 Example: llama3.2
maxTokens	number	Optional	4096	Token maksimum untuk respons LLM Example: 4096

Contoh Permintaan

cURL — local Ollama (default, no API key)

terminalBash

curl -X POST https://crawlforge.dev/api/v1/tools/extract_with_llm \
  -H "X-API-Key: cf_test_YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/article/42",
    "prompt": "Extract the headline, author, and three key takeaways",
    "provider": "ollama"
  }'

TypeScript — OpenAI with schema

extractWithLlm.tsTypescript

const response = await fetch('https://crawlforge.dev/api/v1/tools/extract_with_llm', {
  method: 'POST',
  headers: {
    'X-API-Key': process.env.CRAWLFORGE_API_KEY!,
    'Content-Type': 'application/json',
  },
  body: JSON.stringify({
    url: 'https://example.com/product/123',
    prompt: 'Extract product name, price in USD, and stock status',
    provider: 'openai',
    model: 'gpt-4o-mini',
    schema: {
      type: 'object',
      properties: {
        title: { type: 'string' },
        price: { type: 'number' },
        in_stock: { type: 'boolean' },
      },
      required: ['title', 'price'],
    },
  }),
});

const data = await response.json();
if (data.success) {
  console.log(data.data.extracted);
}

Python — Anthropic

extract_with_llm.pyPython

import requests, os

response = requests.post(
    'https://crawlforge.dev/api/v1/tools/extract_with_llm',
    headers={
        'X-API-Key': os.environ['CRAWLFORGE_API_KEY'],
        'Content-Type': 'application/json',
    },
    json={
        'url': 'https://example.com/article/42',
        'prompt': 'Extract headline, author, publish date (ISO 8601), and tags',
        'provider': 'anthropic',
        'model': 'claude-haiku-4-5-20251001',
        'schema': {
            'type': 'object',
            'properties': {
                'headline': {'type': 'string'},
                'author': {'type': 'string'},
                'published_at': {'type': 'string'},
                'tags': {'type': 'array'},
            },
            'required': ['headline'],
        },
    },
)

data = response.json()
if data['success']:
    print(data['data']['extracted'])

Contoh Respons

200 OK3.5s

{
  "success": true,
  "data": {
    "extracted": {
      "headline": "How Local LLMs Are Changing Data Pipelines",
      "author": "Jane Doe",
      "takeaways": [
        "Lower cost",
        "Better privacy",
        "Faster iteration"
      ]
    },
    "model_used": "llama3.2",
    "provider": "ollama"
  },
  "credits_used": 3,
  "credits_remaining": 997,
  "processing_time": 3500
}

Field Descriptions

data.providerPenyedia yang diselesaikan — "ollama" apabila provider ialah "auto"

data.model_usedModel lalai mengikut penyedia melainkan anda menetapkan satu

credits_used3 credits tetap tanpa mengira penyedia

Kos Credit