Langkau ke kandungan
Alat AI3 credits

extract_with_llm

Pengekstrakan berkuasa AI yang berjalan pada model Ollama tempatan secara lalai — tiada kunci API LLM diperlukan. Anda boleh menghala ke OpenAI atau Anthropic apabila anda memerlukan model terhos. Berikan ia gesaan (dan secara pilihan JSON Schema) dan dapatkan semula data berstruktur.

Kes Penggunaan

Pengekstrakan Tempatan Dahulu

Jalankan pengekstrakan terhadap Ollama pada mesin anda sendiri — sifar kos API LLM dan peribadi secara lalai.

Tasik Data Dipacu Skema

Gabungkan gesaan dengan JSON Schema untuk mengisi baris bertaip bagi gudang atau stor graf anda.

Failover Berbilang Penyedia

Mulakan pada Ollama tempatan, undur ke OpenAI atau Anthropic untuk halaman berisiko tinggi dengan menogol satu parameter.

Endpoint

POST/api/v1/tools/extract_with_llm
Auth Required
1 req/s pada pelan Free
3 credits

Parameters

NameTypeRequiredDefaultDescription
url
stringOptional-
URL untuk diambil dan diekstrak. Sama ada url atau content diperlukan.
Example: https://example.com/article/42
content
stringOptional-
Kandungan teks atau HTML mentah untuk diekstrak. Sama ada url atau content diperlukan.
Example: "<html>...</html>"
prompt
stringRequired-
Arahan bahasa semula jadi yang memandu pengekstrakan LLM
Example: Extract the headline, author, and three key takeaways
schema
objectOptional-
JSON Schema pilihan yang menerangkan struktur data untuk diekstrak
Example: {"type":"object","properties":{"title":{"type":"string"}},"required":["title"]}
provider
stringOptionalauto
Penyedia LLM: "ollama" (tempatan, lalai), "openai", "anthropic", atau "auto"
Example: ollama
model
stringOptional-
Pengecam model. Lalai mengikut penyedia: llama3.2, gpt-4o-mini, claude-haiku-4-5-20251001
Example: llama3.2
maxTokens
numberOptional4096
Token maksimum untuk respons LLM
Example: 4096

Contoh Permintaan

cURL — local Ollama (default, no API key)

terminalBash
curl -X POST https://crawlforge.dev/api/v1/tools/extract_with_llm \
  -H "X-API-Key: cf_test_YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/article/42",
    "prompt": "Extract the headline, author, and three key takeaways",
    "provider": "ollama"
  }'

TypeScript — OpenAI with schema

extractWithLlm.tsTypescript
// npm install crawlforge-sdk
import { CrawlForge } from 'crawlforge-sdk';

const client = new CrawlForge({ apiKey: process.env.CRAWLFORGE_API_KEY });

const result = await client.extractWithLlm({
  url: 'https://example.com/product/123',
  prompt: 'Extract product name, price in USD, and stock status',
  provider: 'openai',
  model: 'gpt-4o-mini',
  schema: {
    type: 'object',
    properties: {
      title: { type: 'string' },
      price: { type: 'number' },
      in_stock: { type: 'boolean' },
    },
    required: ['title', 'price'],
  },
});

// result.data is untyped in crawlforge-sdk 0.1 — its shape is the Response Example below.
const { extracted } = result.data as {
  extracted: { title: string; price: number; in_stock: boolean };
};
console.log(extracted);

Python — Anthropic

extract_with_llm.pyPython
# pip install crawlforge
from crawlforge import CrawlForge

client = CrawlForge()  # reads CRAWLFORGE_API_KEY

result = client.extract_with_llm(
    url='https://example.com/article/42',
    prompt='Extract headline, author, publish date (ISO 8601), and tags',
    provider='anthropic',
    model='claude-haiku-4-5-20251001',
    schema={
        'type': 'object',
        'properties': {
            'headline': {'type': 'string'},
            'author': {'type': 'string'},
            'published_at': {'type': 'string'},
            'tags': {'type': 'array'},
        },
        'required': ['headline'],
    },
)

# result.data is a plain dict — its shape is the Response Example below.
print(result.data['extracted'])

Contoh Respons

200 OK3.5s
{
"success": true,
"data": {
"extracted": {
"headline": "How Local LLMs Are Changing Data Pipelines",
"author": "Jane Doe",
"takeaways": [
"Lower cost",
"Better privacy",
"Faster iteration"
]
},
"model_used": "llama3.2",
"provider": "ollama"
},
"credits_used": 3,
"credits_remaining": 997,
"processing_time": 3500
}
Field Descriptions
data.providerPenyedia yang diselesaikan — "ollama" apabila provider ialah "auto"
data.model_usedModel lalai mengikut penyedia melainkan anda menetapkan satu
credits_used3 credits tetap tanpa mengira penyedia

Kos Credit

3 credits
3 credits setiap permintaan
3 credits tetap sama ada anda menggunakan Ollama tempatan, OpenAI atau Anthropic.

Petua: Gunakan list_ollama_models dahulu untuk mengetahui model tempatan yang tersedia sebelum menghantar pengekstrakan.

Alat Berkaitan