Herramienta básica1 credit

fetch_url

Obtenga y analice páginas web con manejo automático de redirecciones, control de tiempo de espera y encabezados personalizados. Ideal para recuperar contenido HTML de cualquier URL de acceso público.

Casos de uso

Recuperación de contenido de páginas

Obtenga contenido HTML de cualquier página web para procesarlo o analizarlo después

Obtención de datos de API

Realice solicitudes GET a APIs REST y recupere respuestas JSON

Comprobaciones de estado

Monitoree la disponibilidad de sitios web y los tiempos de respuesta

Descargas simples

Descargue recursos estáticos, documentos o contenido de páginas

Endpoint

POST/api/v1/tools/fetch_url

Auth Required

1 req/s en el plan Free

1 credit

Parameters

Name	Type	Required	Default	Description
url	string	Required	-	La URL a obtener (debe incluir el protocolo: http:// o https://) Example: https://example.com
headers	object	Optional	-	Encabezados HTTP personalizados a incluir en la solicitud Example: {"Accept": "text/html", "User-Agent": "MyBot/1.0"}
timeout	number	Optional	10000	Tiempo de espera de la solicitud en milisegundos (1000-30000) Example: 15000
follow_redirects	boolean	Optional	true	Si se deben seguir las redirecciones HTTP automáticamente Example: true
user_agent	string	Optional	-	Encabezado User-Agent personalizado (reemplaza el predeterminado) Example: Mozilla/5.0 (compatible; CrawlBot/1.0)
respect_robots	boolean	Optional	true	Respeta el robots.txt del sitio de destino. Con el valor `true`, una ruta que robots.txt no permita a `CrawlForge` se rechaza con un 403 antes de descargar nada y no se cobran credits. Póngalo en `false` solo para destinos con los que tenga su propio acuerdo: la respuesta incluye entonces una entrada `warnings` y la anulación queda registrada en su API key. Example: true

Ejemplos de solicitud

cURL

terminalBash

curl -X POST https://crawlforge.dev/api/v1/tools/fetch_url \
  -H "X-API-Key: cf_test_YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "timeout": 15000,
    "follow_redirects": true
  }'

TypeScript

fetchUrl.tsTypescript

const response = await fetch('https://crawlforge.dev/api/v1/tools/fetch_url', {
  method: 'POST',
  headers: {
    'X-API-Key': process.env.CRAWLFORGE_API_KEY!,
    'Content-Type': 'application/json',
  },
  body: JSON.stringify({
    url: 'https://example.com',
    timeout: 15000,
    headers: {
      'Accept': 'text/html',
      'Accept-Language': 'en-US'
    }
  }),
});

const data = await response.json();

if (data.success) {
  console.log('Page fetched:', data.data.url);
  console.log('Status:', data.data.status);
  console.log('Content length:', data.data.content_length);
  console.log('Credits used:', data.credits_used);
  console.log('Credits remaining:', data.credits_remaining);
} else {
  console.error('Error:', data.error);
}

Python

fetch_url.pyPython

import requests
import os

response = requests.post(
    'https://crawlforge.dev/api/v1/tools/fetch_url',
    headers={
        'X-API-Key': os.environ['CRAWLFORGE_API_KEY'],
        'Content-Type': 'application/json',
    },
    json={
        'url': 'https://example.com',
        'timeout': 15000,
        'headers': {
            'Accept': 'text/html',
            'Accept-Language': 'en-US'
        }
    }
)

data = response.json()

if data['success']:
    print(f"Page fetched: {data['data']['url']}")
    print(f"Status: {data['data']['status']}")
    print(f"Content length: {data['data']['content_length']}")
    print(f"Credits used: {data['credits_used']}")
    print(f"Credits remaining: {data['credits_remaining']}")
else:
    print(f"Error: {data['error']}")

Ejemplo de respuesta

200 OK245ms

{
  "success": true,
  "data": {
    "url": "https://example.com",
    "status": 200,
    "status_text": "OK",
    "headers": {
      "content-type": "text/html; charset=UTF-8",
      "content-length": "1256",
      "server": "nginx"
    },
    "content": "Example Domain......",
    "content_length": 1256,
    "content_type": "text/html; charset=UTF-8",
    "redirected": false,
    "final_url": "https://example.com",
    "response_time_ms": 245
  },
  "credits_used": 1,
  "credits_remaining": 999,
  "processing_time": 245
}

Field Descriptions

data.urlLa URL original que se solicitó

data.statusCódigo de estado HTTP de la respuesta

data.contentEl contenido HTML completo de la página

data.content_lengthTamaño del contenido en bytes

data.final_urlURL final después de seguir las redirecciones

data.response_time_msCuánto tardó el destino en responder y entregar su cuerpo, en milisegundos

credits_usedCredits descontados por esta solicitud (1 por cada obtención)

credits_remainingSu saldo restante de credits

Manejo de errores

URL no válida (400 Bad Request)

El formato de la URL no es válido. Asegúrese de que incluya el protocolo (http:// o https://)

Error de tiempo de espera (500 Internal Server Error)

La solicitud tardó más que el tiempo de espera especificado. Intente aumentar el parámetro timeout.

Credits insuficientes (402 Payment Required)

Su cuenta no tiene suficientes credits. Compre más credits o mejore su plan.

Límite de tasa excedido (429 Too Many Requests)

Ha excedido el límite de tasa de su plan. Espere un momento o mejore su plan para obtener límites más altos.

Bloqueado por robots.txt (403 Forbidden)

El robots.txt del sitio de destino no permite esta ruta a CrawlForge. Establezca respect_robots: false para anularlo si tiene su propio acuerdo con el destino: la anulación queda registrada en su API key. La anulación no alcanza a un host incluido en la lista de exclusión permanente de CrawlForge, que se rechaza sea cual sea el valor de respect_robots.

Consejo profesional: Implemente siempre lógica de reintentos con retroceso exponencial en aplicaciones de producción. Consulte nuestra Guía de manejo de errores para conocer las mejores prácticas.

Costo en credits

1 credit

1 credit por solicitud

Cada solicitud exitosa de fetch_url cuesta 1 credit, independientemente del tamaño de la página o del tiempo de respuesta.

Plan Free: 1,000 credits de prueba por única vez = 1,000 solicitudes

Plan Hobby: 5,000 credits/mes = 5,000 solicitudes ($19/mo)

Plan Professional: 50,000 credits/mes = 50,000 solicitudes ($99/mo)

Plan Business: 250,000 credits/mes = 250,000 solicitudes ($399/mo)

Herramientas relacionadas

extract_text

Extraiga texto limpio del contenido HTML obtenido (1 credit)

extract_links

Descubra todos los enlaces de la página obtenida (1 credit)

extract_metadata

Extraiga etiquetas OpenGraph, Twitter Card y meta (1 credit)

scrape_structured

Extraiga datos estructurados usando selectores CSS (2 credits)

¿Listo para probar fetch_url? Regístrese gratis y obtenga 1,000 credits para empezar a desarrollar.

Casos de uso

Recuperación de contenido de páginas

Obtenga contenido HTML de cualquier página web para procesarlo o analizarlo después

Obtención de datos de API

Realice solicitudes GET a APIs REST y recupere respuestas JSON

Comprobaciones de estado

Monitoree la disponibilidad de sitios web y los tiempos de respuesta

Descargas simples

Descargue recursos estáticos, documentos o contenido de páginas

Parameters

Name	Type	Required	Default	Description
url	string	Required	-	La URL a obtener (debe incluir el protocolo: http:// o https://) Example: https://example.com
headers	object	Optional	-	Encabezados HTTP personalizados a incluir en la solicitud Example: {"Accept": "text/html", "User-Agent": "MyBot/1.0"}
timeout	number	Optional	10000	Tiempo de espera de la solicitud en milisegundos (1000-30000) Example: 15000
follow_redirects	boolean	Optional	true	Si se deben seguir las redirecciones HTTP automáticamente Example: true
user_agent	string	Optional	-	Encabezado User-Agent personalizado (reemplaza el predeterminado) Example: Mozilla/5.0 (compatible; CrawlBot/1.0)
respect_robots	boolean	Optional	true	Respeta el robots.txt del sitio de destino. Con el valor `true`, una ruta que robots.txt no permita a `CrawlForge` se rechaza con un 403 antes de descargar nada y no se cobran credits. Póngalo en `false` solo para destinos con los que tenga su propio acuerdo: la respuesta incluye entonces una entrada `warnings` y la anulación queda registrada en su API key. Example: true

Ejemplos de solicitud

cURL

terminalBash

curl -X POST https://crawlforge.dev/api/v1/tools/fetch_url \
  -H "X-API-Key: cf_test_YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "timeout": 15000,
    "follow_redirects": true
  }'

TypeScript

fetchUrl.tsTypescript

const response = await fetch('https://crawlforge.dev/api/v1/tools/fetch_url', {
  method: 'POST',
  headers: {
    'X-API-Key': process.env.CRAWLFORGE_API_KEY!,
    'Content-Type': 'application/json',
  },
  body: JSON.stringify({
    url: 'https://example.com',
    timeout: 15000,
    headers: {
      'Accept': 'text/html',
      'Accept-Language': 'en-US'
    }
  }),
});

const data = await response.json();

if (data.success) {
  console.log('Page fetched:', data.data.url);
  console.log('Status:', data.data.status);
  console.log('Content length:', data.data.content_length);
  console.log('Credits used:', data.credits_used);
  console.log('Credits remaining:', data.credits_remaining);
} else {
  console.error('Error:', data.error);
}

Python

fetch_url.pyPython

import requests
import os

response = requests.post(
    'https://crawlforge.dev/api/v1/tools/fetch_url',
    headers={
        'X-API-Key': os.environ['CRAWLFORGE_API_KEY'],
        'Content-Type': 'application/json',
    },
    json={
        'url': 'https://example.com',
        'timeout': 15000,
        'headers': {
            'Accept': 'text/html',
            'Accept-Language': 'en-US'
        }
    }
)

data = response.json()

if data['success']:
    print(f"Page fetched: {data['data']['url']}")
    print(f"Status: {data['data']['status']}")
    print(f"Content length: {data['data']['content_length']}")
    print(f"Credits used: {data['credits_used']}")
    print(f"Credits remaining: {data['credits_remaining']}")
else:
    print(f"Error: {data['error']}")

Ejemplo de respuesta

200 OK245ms

{
  "success": true,
  "data": {
    "url": "https://example.com",
    "status": 200,
    "status_text": "OK",
    "headers": {
      "content-type": "text/html; charset=UTF-8",
      "content-length": "1256",
      "server": "nginx"
    },
    "content": "Example Domain......",
    "content_length": 1256,
    "content_type": "text/html; charset=UTF-8",
    "redirected": false,
    "final_url": "https://example.com",
    "response_time_ms": 245
  },
  "credits_used": 1,
  "credits_remaining": 999,
  "processing_time": 245
}

Field Descriptions

data.urlLa URL original que se solicitó

data.statusCódigo de estado HTTP de la respuesta

data.contentEl contenido HTML completo de la página

data.content_lengthTamaño del contenido en bytes

data.final_urlURL final después de seguir las redirecciones

data.response_time_msCuánto tardó el destino en responder y entregar su cuerpo, en milisegundos

credits_usedCredits descontados por esta solicitud (1 por cada obtención)

credits_remainingSu saldo restante de credits

Manejo de errores

URL no válida (400 Bad Request)

El formato de la URL no es válido. Asegúrese de que incluya el protocolo (http:// o https://)

Error de tiempo de espera (500 Internal Server Error)

La solicitud tardó más que el tiempo de espera especificado. Intente aumentar el parámetro timeout.

Credits insuficientes (402 Payment Required)

Su cuenta no tiene suficientes credits. Compre más credits o mejore su plan.

Límite de tasa excedido (429 Too Many Requests)

Ha excedido el límite de tasa de su plan. Espere un momento o mejore su plan para obtener límites más altos.

Bloqueado por robots.txt (403 Forbidden)

Costo en credits

1 credit

1 credit por solicitud

Cada solicitud exitosa de fetch_url cuesta 1 credit, independientemente del tamaño de la página o del tiempo de respuesta.

Plan Free: 1,000 credits de prueba por única vez = 1,000 solicitudes

Plan Hobby: 5,000 credits/mes = 5,000 solicitudes ($19/mo)

Plan Professional: 50,000 credits/mes = 50,000 solicitudes ($99/mo)

Plan Business: 250,000 credits/mes = 250,000 solicitudes ($399/mo)