Primeros pasos con CrawlForge MCP
Obtenga su primera respuesta de la API en menos de 5 minutos. CrawlForge MCP ofrece 31 herramientas especializadas de scraping web diseñadas para aplicaciones de IA.
¿Qué es CrawlForge MCP?
CrawlForge MCP es un potente servidor de scraping web construido sobre el Model Context Protocol (MCP). Ofrece 31 herramientas especializadas para extraer, analizar y procesar datos web, todas accesibles a través de una sencilla API REST o de la integración nativa con MCP.
Ya sea que esté creando un asistente de investigación con IA, un agregador de contenido o una canalización de datos, CrawlForge MCP gestiona la complejidad del scraping web para que usted pueda concentrarse en desarrollar su aplicación.
Por qué elegir CrawlForge?
Inicio rápido
aInstalación del paquete
Instale de forma global:
npm install -g crawlforge-mcp-serverLas dependencias, incluida crawlforge-extractors, se instalan automáticamente.
Asistente de configuración rápida:
npx crawlforge-setupbConfiguración de Claude Desktop
Añada a claude_desktop_config.json:
{
"mcpServers": {
"crawlforge": {
"command": "npx",
"args": ["-y", "crawlforge-mcp-server"]
}
}
}- macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
- Windows: %APPDATA%/Claude/claude_desktop_config.json
- Linux: ~/.config/Claude/claude_desktop_config.json
cConfiguración de Cursor IDE
Añada a ~/.cursor/mcp.json:
{
"mcpServers": {
"crawlforge": {
"type": "stdio",
"command": "crawlforge-mcp"
}
}
}dVariables de entorno
export CRAWLFORGE_API_KEY="cf_live_your_api_key_here"
export CRAWLFORGE_API_URL="https://api.crawlforge.dev"eEjemplos de uso
"Busca las últimas noticias sobre IA"
"Extrae todos los enlaces de example.com"
"Rastrea el sitio de documentación y resúmelo"
crawlforge-sdk en npm y crawlforge en PyPI, y cURL llama directamente a la API REST.cURL
curl -X POST https://www.crawlforge.dev/api/v1/tools/fetch_url \
-H "X-API-Key: cf_test_YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com"}'TypeScript
npm install crawlforge-sdk// npm install crawlforge-sdk
import { CrawlForge } from 'crawlforge-sdk';
const client = new CrawlForge({ apiKey: process.env.CRAWLFORGE_API_KEY });
const result = await client.fetchUrl({ url: 'https://example.com' });
// result.data is untyped in crawlforge-sdk 0.1 — its shape is the response shown in the next step.
const { status, content_length } = result.data as { status: number; content_length: number };
console.log('Status:', status);
console.log('Content length:', content_length);
console.log('Credits used:', result.creditsUsed);
console.log('Credits remaining:', result.creditsRemaining);Python
pip install crawlforge# pip install crawlforge
from crawlforge import CrawlForge
client = CrawlForge() # reads CRAWLFORGE_API_KEY
result = client.fetch_url(url='https://example.com')
# result.data is a plain dict — its shape is the response shown in the next step.
print(f"Status: {result.data['status']}")
print(f"Content length: {result.data['content_length']}")
print(f"Credits used: {result.credits_used}")
print(f"Credits remaining: {result.credits_remaining}"){
"success": true,
"data": {
"url": "https://example.com",
"status": 200,
"status_text": "OK",
"content": "<!DOCTYPE html>...",
"content_length": 1256,
"content_type": "text/html; charset=UTF-8"
},
"credits_used": 1,
"credits_remaining": 999,
"processing_time": 245
}- success: Si la solicitud fue exitosa
- data: El contenido extraído y los metadatos
- credits_used: Credits descontados por esta solicitud
- credits_remaining: Su saldo de credits restante
Los SDK devuelven la misma estructura como result.data, creditsUsed / credits_used y creditsRemaining / credits_remaining, y lanzan un error tipado en lugar de devolver success: false.
Almacene su clave de API en variables de entorno y nunca la incluya en el control de versiones. Puede rotar sus claves en cualquier momento desde el panel.
Próximos pasos
¿Listo para crear?
Regístrese ahora y obtenga 1,000 credits gratis, sin tarjeta de crédito.