CrawlForge MCP Referencia de la API
Referencia completa de las 31 herramientas de CrawlForge MCP. Cree potentes aplicaciones de web scraping con nuestra API pensada para desarrolladores.
Resumen de la API
URL base
https://crawlforge.dev/api/v1Autenticación
Todas las solicitudes a la API requieren una API key enviada en el encabezado X-API-Key:
curl -H "X-API-Key: cf_test_YOUR_KEY" \
https://crawlforge.dev/api/v1/tools/fetch_urlObtenga su API key desde el panel.
Formato de la solicitud
Todos los endpoints de herramientas aceptan JSON en el cuerpo de la solicitud:
{
"url": "https://example.com",
"timeout": 10000,
"follow_redirects": true
}Formato de la respuesta
Todas las respuestas siguen un formato estándar:
{
"success": true,
"data": {
// Tool-specific response data
},
"credits_used": 1,
"credits_remaining": 999,
"processing_time": 245
}Una respuesta también puede incluir un array opcional de cadenas warnings en el nivel superior, junto a data y credits_used, no dentro de data. Solo aparece cuando una solicitud ha generado un aviso: usted desactivó la comprobación de robots.txt con respect_robots: false —lo que además queda registrado en su API key— o una herramienta multi-URL omitió una URL o no descargó una fuente. Si nunca desactiva la comprobación y todas las URLs que solicita están permitidas, ninguna respuesta incluirá el campo; su ausencia es lo normal, no un valor que falte.
Códigos de estado HTTP
| Código | Descripción |
|---|---|
| 200 | OK - Solicitud exitosa |
| 400 | Bad Request - Parámetros no válidos |
| 401 | Unauthorized - API key no válida o ausente |
| 402 | Payment Required - Credits insuficientes |
| 403 | Forbidden - robots.txt no permite la URL a CrawlForge (anúlelo con respect_robots: false), el host figura en la lista de exclusión permanente de CrawlForge (no anulable), o la URL se resuelve en una dirección privada o interna. No se descarga nada ni se cobran credits |
| 429 | Too Many Requests - el límite de tasa de su plan (reduzca el ritmo o mejore su plan), o el sitio de destino pidió a CrawlForge que esperara mediante un Retry-After en su propio 429 o 503, lo que ningún cambio de plan afecta y respect_robots no anula. Ninguno de los dos se cobra |
| 500 | Internal Server Error |
Límites de tasa
Los límites de tasa se aplican por API key y varían según el plan. Superar el límite devuelve una respuesta 429 Too Many Requests.
Todas las herramientas
Herramientas básicas 1-2 credits
1 credit
1 credit
1 credit
1 credit
1 credit
1 credit
1 credit
1 credit
2 credits
2 credits
2 credits
2 credits
2 credits
2 credits
2 credits
Herramientas avanzadas 3-5 credits
3 credits
3 credits
2 credits
3 credits
3 credits
4 credits
4 credits
5 credits
5 credits
1-3 credits
5 credits
5 credits
5 credits
5 credits
Herramientas premium 8-10 credits
8 credits
10 credits
Monitores alojados
SDK oficiales
Los SDK oficiales, crawlforge-sdk en npm y crawlforge en PyPI, exponen un método tipado por herramienta que acepta los mismos parámetros que el endpoint REST. Las pestañas de TypeScript y Python de cada página de herramienta los utilizan.
// npm install crawlforge-sdk
import { CrawlForge } from 'crawlforge-sdk';
const client = new CrawlForge({ apiKey: process.env.CRAWLFORGE_API_KEY });
const result = await client.fetchUrl({ url: 'https://example.com' });
console.log('Credits remaining:', result.creditsRemaining);Especificación OpenAPI
Toda la API REST está descrita en un documento OpenAPI 3.1 disponible en https://www.crawlforge.dev/openapi.json, generado a partir de los mismos esquemas que validan cada solicitud, de modo que un generador de código o un cliente de API pueden apuntar directamente a él.
curl -s https://www.crawlforge.dev/openapi.json | jq '.paths | keys'Manejo de errores
Todos los errores siguen un formato estándar con los campos error.code y error.message.
{
"error": {
"code": "VALIDATION_ERROR",
"message": "Invalid input parameters",
"details": [
{
"field": "url",
"message": "Invalid URL format"
}
]
}
}Consulte las preguntas frecuentes para ver una lista completa de códigos de error y soluciones.
¿Listo para empezar a crear?
Elija una herramienta y explore su documentación