CrawlForge
Herramienta básica1 credit

fetch_url

Obtenga y analice páginas web con manejo automático de redirecciones, control de tiempo de espera y encabezados personalizados. Ideal para recuperar contenido HTML de cualquier URL de acceso público.

Casos de uso

Recuperación de contenido de páginas

Obtenga contenido HTML de cualquier página web para procesarlo o analizarlo después

Obtención de datos de API

Realice solicitudes GET a APIs REST y recupere respuestas JSON

Comprobaciones de estado

Monitoree la disponibilidad de sitios web y los tiempos de respuesta

Descargas simples

Descargue recursos estáticos, documentos o contenido de páginas

Endpoint

POST/api/v1/tools/fetch_url
Auth Required
2 req/s en el plan Free
1 credit

Parameters

NameTypeRequiredDefaultDescription
url
stringRequired-
La URL a obtener (debe incluir el protocolo: http:// o https://)
Example: https://example.com
headers
objectOptional-
Encabezados HTTP personalizados a incluir en la solicitud
Example: {"Accept": "text/html", "User-Agent": "MyBot/1.0"}
timeout
numberOptional10000
Tiempo de espera de la solicitud en milisegundos (1000-30000)
Example: 15000
follow_redirects
booleanOptionaltrue
Si se deben seguir las redirecciones HTTP automáticamente
Example: true
user_agent
stringOptional-
Encabezado User-Agent personalizado (reemplaza el predeterminado)
Example: Mozilla/5.0 (compatible; CrawlBot/1.0)

Ejemplos de solicitud

cURL

terminalBash

TypeScript

fetchUrl.tsTypescript

Python

fetch_url.pyPython

Ejemplo de respuesta

200 OK245ms
{
  "success": true,
  "data": {
    "url": "https://example.com",
    "status": 200,
    "status_text": "OK",
    "headers": {
      "content-type": "text/html; charset=UTF-8",
      "content-length": "1256",
      "server": "nginx"
    },
    "content": "Example Domain......",
    "content_length": 1256,
    "content_type": "text/html; charset=UTF-8",
    "redirected": false,
    "final_url": "https://example.com"
  },
  "credits_used": 1,
  "credits_remaining": 999,
  "processing_time": 245
}
Field Descriptions
data.urlLa URL original que se solicitó
data.statusCódigo de estado HTTP de la respuesta
data.contentEl contenido HTML completo de la página
data.content_lengthTamaño del contenido en bytes
data.final_urlURL final después de seguir las redirecciones
credits_usedCredits descontados por esta solicitud (1 por cada obtención)
credits_remainingSu saldo restante de credits

Manejo de errores

URL no válida (400 Bad Request)

El formato de la URL no es válido. Asegúrese de que incluya el protocolo (http:// o https://)

Error de tiempo de espera (500 Internal Server Error)

La solicitud tardó más que el tiempo de espera especificado. Intente aumentar el parámetro timeout.

Credits insuficientes (402 Payment Required)

Su cuenta no tiene suficientes credits. Compre más credits o mejore su plan.

Límite de tasa excedido (429 Too Many Requests)

Ha excedido el límite de tasa de su plan. Espere un momento o mejore su plan para obtener límites más altos.

Consejo profesional: Implemente siempre lógica de reintentos con retroceso exponencial en aplicaciones de producción. Consulte nuestra Guía de manejo de errores para conocer las mejores prácticas.

Costo en credits

1 credit
1 credit por solicitud
Cada solicitud exitosa de fetch_url cuesta 1 credit, independientemente del tamaño de la página o del tiempo de respuesta.

Plan Free: 1,000 credits de prueba por única vez = 1,000 solicitudes

Plan Hobby: 5,000 credits/mes = 5,000 solicitudes ($19/mo)

Plan Professional: 50,000 credits/mes = 50,000 solicitudes ($99/mo)

Plan Business: 250,000 credits/mes = 250,000 solicitudes ($399/mo)

Herramientas relacionadas

extract_text
Extraiga texto limpio del contenido HTML obtenido (1 credit)
extract_links
Descubra todos los enlaces de la página obtenida (1 credit)
extract_metadata
Extraiga etiquetas OpenGraph, Twitter Card y meta (1 credit)
scrape_structured
Extraiga datos estructurados usando selectores CSS (2 credits)
¿Listo para probar fetch_url? Regístrese gratis y obtenga 1,000 credits para empezar a desarrollar.