Referencia de la API

CrawlForge MCP Referencia de la API

Referencia completa de las 29 herramientas de CrawlForge MCP. Cree potentes aplicaciones de web scraping con nuestra API pensada para desarrolladores.

Resumen de la API

URL base

Bash

https://crawlforge.dev/api/v1

Autenticación

Todas las solicitudes a la API requieren una API key enviada en el encabezado X-API-Key:

Bash

curl -H "X-API-Key: cf_test_YOUR_KEY" \
     https://crawlforge.dev/api/v1/tools/fetch_url

Obtenga su API key desde el panel.

Formato de la solicitud

Todos los endpoints de herramientas aceptan JSON en el cuerpo de la solicitud:

Json

{
  "url": "https://example.com",
  "timeout": 10000,
  "follow_redirects": true
}

Formato de la respuesta

Todas las respuestas siguen un formato estándar:

Json

{
  "success": true,
  "data": {
    // Tool-specific response data
  },
  "credits_used": 1,
  "credits_remaining": 999,
  "processing_time": 245
}

Una respuesta también puede incluir un array opcional de cadenas warnings en el nivel superior, junto a data y credits_used, no dentro de data. Solo aparece cuando una solicitud ha generado un aviso: usted desactivó la comprobación de robots.txt con respect_robots: false —lo que además queda registrado en su API key— o una herramienta multi-URL omitió una URL o no descargó una fuente. Si nunca desactiva la comprobación y todas las URLs que solicita están permitidas, ninguna respuesta incluirá el campo; su ausencia es lo normal, no un valor que falte.

Códigos de estado HTTP

Código	Descripción
200	OK - Solicitud exitosa
400	Bad Request - Parámetros no válidos
401	Unauthorized - API key no válida o ausente
402	Payment Required - Credits insuficientes
403	Forbidden - robots.txt no permite la URL a `CrawlForge` (anúlelo con `respect_robots: false`), el host figura en la lista de exclusión permanente de CrawlForge (no anulable), o la URL se resuelve en una dirección privada o interna. No se descarga nada ni se cobran credits
429	Too Many Requests - el límite de tasa de su plan (reduzca el ritmo o mejore su plan), o el sitio de destino pidió a CrawlForge que esperara mediante un `Retry-After` en su propio 429 o 503, lo que ningún cambio de plan afecta y `respect_robots` no anula. Ninguno de los dos se cobra
500	Internal Server Error

Límites de tasa

Los límites de tasa se aplican por API key y varían según el plan. Superar el límite devuelve una respuesta 429 Too Many Requests.

Plan Free

1 solicitud por segundo

Plan Hobby

2 solicitudes por segundo

Plan Professional

4 solicitudes por segundo

Plan Business

10 solicitudes por segundo

Todas las herramientas

Herramientas básicas 1-2 credits

list_ollama_models

Liste los modelos de Ollama instalados localmente (ayudante de descubrimiento)

1 credit

get_batch_results

Recupere resultados paginados de un trabajo de batch_scrape

1 credit

fetch_url

Obtenga y analice páginas web con manejo automático

1 credit

extract_text

Extraiga texto limpio de HTML con análisis inteligente

1 credit

extract_links

Descubra y extraiga todos los enlaces de una página web

1 credit

extract_metadata

Extraiga metadatos de la página y etiquetas OpenGraph y Twitter Card

1 credit

scrape_template

Scrapers prediseñados para 10 sitios populares (Amazon, GitHub, YouTube y más)

1 credit

scrape_structured

Extraiga datos estructurados mediante selectores CSS

2 credits

scrape

Extracción unificada con una sola descarga: markdown, HTML, texto, enlaces, metadatos y más

2 credits

extract_content

Extraiga el contenido principal de páginas web con detección de legibilidad

2 credits

map_site

Descubra y mapee la estructura y las URLs de un sitio web

2 credits

process_document

Procese documentos de múltiples formatos, incluidos PDFs

2 credits

localization

Gestión multilingüe y de geolocalización para web scraping

2 credits

reddit_search

Búsqueda de posts y comentarios de Reddit o lectura de un hilo completo mediante archivos comunitarios

2 credits

Herramientas avanzadas 3-5 credits

track_changes

Rastree cambios en páginas con líneas base, monitoreo programado y alertas

3 credits

analyze_content

Analice contenido para detectar sentimiento, idioma y temas

3 credits

extract_embedded_state

Lea el estado JSON que una página ya incluye en su propio HTML: sin LLM, sin invenciones

2 credits

extract_structured

Extracción basada en esquemas con LLM y respaldo de selectores CSS

3 credits

extract_with_llm

Extracción con LLM, Ollama local de forma predeterminada (OpenAI/Anthropic opcional)

3 credits

summarize_content

Genere resúmenes inteligentes de contenido de texto

4 credits

crawl_deep

Rastreo profundo de sitios web mediante búsqueda en anchura

4 credits

stealth_mode

Gestión de navegador antidetección con aleatorización de huellas digitales

5 credits

scrape_with_actions

Ejecute acciones del navegador antes de scrapear (clics, formularios, etc.)

5 credits

batch_scrape

Procese múltiples URLs simultáneamente con gestión de trabajos asíncronos

5 credits

search_web

Busque en la web mediante Google Custom Search API

5 credits

serp_rank

Compruebe la posición orgánica de un dominio en la SERP de Google para una keyword

5 credits

generate_llms_txt

Genere archivos llms.txt y llms-full.txt conformes al estándar

5 credits

Herramientas premium 8-10 credits

agent

Investigación autónoma a partir de un prompt en lenguaje natural, sin necesidad de URLs

8 credits

deep_research

Investigación de varias etapas con síntesis de IA y verificación de fuentes

10 credits

Manejo de errores

Todos los errores siguen un formato estándar con los campos error.code y error.message.

Json

{
  "error": {
    "code": "VALIDATION_ERROR",
    "message": "Invalid input parameters",
    "details": [
      {
        "field": "url",
        "message": "Invalid URL format"
      }
    ]
  }
}

Consulte las preguntas frecuentes para ver una lista completa de códigos de error y soluciones.

¿Listo para empezar a crear?

Elija una herramienta y explore su documentación

Ver documentación de herramientas Volver a Primeros pasos

Referencia de la API

CrawlForge MCP Referencia de la API

Referencia completa de las 29 herramientas de CrawlForge MCP. Cree potentes aplicaciones de web scraping con nuestra API pensada para desarrolladores.

Resumen de la API

URL base

Bash

https://crawlforge.dev/api/v1

Autenticación

Todas las solicitudes a la API requieren una API key enviada en el encabezado X-API-Key:

Bash

curl -H "X-API-Key: cf_test_YOUR_KEY" \
     https://crawlforge.dev/api/v1/tools/fetch_url

Obtenga su API key desde el panel.

Formato de la solicitud

Todos los endpoints de herramientas aceptan JSON en el cuerpo de la solicitud:

Json

{
  "url": "https://example.com",
  "timeout": 10000,
  "follow_redirects": true
}

Formato de la respuesta

Todas las respuestas siguen un formato estándar:

Json

{
  "success": true,
  "data": {
    // Tool-specific response data
  },
  "credits_used": 1,
  "credits_remaining": 999,
  "processing_time": 245
}

Códigos de estado HTTP

Código	Descripción
200	OK - Solicitud exitosa
400	Bad Request - Parámetros no válidos
401	Unauthorized - API key no válida o ausente
402	Payment Required - Credits insuficientes
403	Forbidden - robots.txt no permite la URL a `CrawlForge` (anúlelo con `respect_robots: false`), el host figura en la lista de exclusión permanente de CrawlForge (no anulable), o la URL se resuelve en una dirección privada o interna. No se descarga nada ni se cobran credits
429	Too Many Requests - el límite de tasa de su plan (reduzca el ritmo o mejore su plan), o el sitio de destino pidió a CrawlForge que esperara mediante un `Retry-After` en su propio 429 o 503, lo que ningún cambio de plan afecta y `respect_robots` no anula. Ninguno de los dos se cobra
500	Internal Server Error

Límites de tasa

Los límites de tasa se aplican por API key y varían según el plan. Superar el límite devuelve una respuesta 429 Too Many Requests.

Plan Free

1 solicitud por segundo

Plan Hobby

2 solicitudes por segundo

Plan Professional

4 solicitudes por segundo

Plan Business

10 solicitudes por segundo

Todas las herramientas

Herramientas básicas 1-2 credits

list_ollama_models

Liste los modelos de Ollama instalados localmente (ayudante de descubrimiento)

1 credit

get_batch_results

Recupere resultados paginados de un trabajo de batch_scrape

1 credit

fetch_url

Obtenga y analice páginas web con manejo automático

1 credit

extract_text

Extraiga texto limpio de HTML con análisis inteligente

1 credit

extract_links

Descubra y extraiga todos los enlaces de una página web

1 credit

extract_metadata

Extraiga metadatos de la página y etiquetas OpenGraph y Twitter Card

1 credit

scrape_template

Scrapers prediseñados para 10 sitios populares (Amazon, GitHub, YouTube y más)

1 credit

scrape_structured

Extraiga datos estructurados mediante selectores CSS

2 credits

scrape

Extracción unificada con una sola descarga: markdown, HTML, texto, enlaces, metadatos y más

2 credits

extract_content

Extraiga el contenido principal de páginas web con detección de legibilidad

2 credits

map_site

Descubra y mapee la estructura y las URLs de un sitio web

2 credits

process_document

Procese documentos de múltiples formatos, incluidos PDFs

2 credits

localization

Gestión multilingüe y de geolocalización para web scraping

2 credits

reddit_search

Búsqueda de posts y comentarios de Reddit o lectura de un hilo completo mediante archivos comunitarios

2 credits

Herramientas avanzadas 3-5 credits

track_changes

Rastree cambios en páginas con líneas base, monitoreo programado y alertas

3 credits

analyze_content

Analice contenido para detectar sentimiento, idioma y temas

3 credits

extract_embedded_state

Lea el estado JSON que una página ya incluye en su propio HTML: sin LLM, sin invenciones

2 credits

extract_structured

Extracción basada en esquemas con LLM y respaldo de selectores CSS

3 credits

extract_with_llm

Extracción con LLM, Ollama local de forma predeterminada (OpenAI/Anthropic opcional)

3 credits

summarize_content

Genere resúmenes inteligentes de contenido de texto

4 credits

crawl_deep

Rastreo profundo de sitios web mediante búsqueda en anchura

4 credits

stealth_mode

Gestión de navegador antidetección con aleatorización de huellas digitales

5 credits

scrape_with_actions

Ejecute acciones del navegador antes de scrapear (clics, formularios, etc.)

5 credits

batch_scrape

Procese múltiples URLs simultáneamente con gestión de trabajos asíncronos

5 credits

search_web

Busque en la web mediante Google Custom Search API

5 credits

serp_rank

Compruebe la posición orgánica de un dominio en la SERP de Google para una keyword

5 credits

generate_llms_txt

Genere archivos llms.txt y llms-full.txt conformes al estándar

5 credits

Herramientas premium 8-10 credits

agent

Investigación autónoma a partir de un prompt en lenguaje natural, sin necesidad de URLs

8 credits

deep_research

Investigación de varias etapas con síntesis de IA y verificación de fuentes

10 credits

Manejo de errores

Todos los errores siguen un formato estándar con los campos error.code y error.message.

Json

{
  "error": {
    "code": "VALIDATION_ERROR",
    "message": "Invalid input parameters",
    "details": [
      {
        "field": "url",
        "message": "Invalid URL format"
      }
    ]
  }
}

Consulte las preguntas frecuentes para ver una lista completa de códigos de error y soluciones.

¿Listo para empezar a crear?

Elija una herramienta y explore su documentación

Ver documentación de herramientas Volver a Primeros pasos