Términos de datos y API

JSON-LD se incrusta en las páginas web como una etiqueta script y contiene metadatos estructurados sobre el contenido de la página: detalles de productos, información de artículos, datos de organizaciones y mucho más. Es una rica fuente de datos limpios y estructurados para los scrapers, porque ya es legible por máquina.

extract_metadata de CrawlForge detecta y extrae JSON-LD de las páginas, dándote acceso a datos estructurados que el propietario del sitio ya ha organizado. Esto suele ser más fiable que analizar los elementos visuales, porque JSON-LD está diseñado para el consumo por parte de máquinas.

Los datos estructurados en los sitios web incluyen anotaciones JSON-LD, microdatos y RDFa que describen el contenido en un formato legible por máquina. Los motores de búsqueda los utilizan para los fragmentos enriquecidos, y los scrapers pueden aprovecharlos para una extracción de datos fiable.

extract_metadata de CrawlForge detecta y analiza automáticamente los datos estructurados de cualquier página. Esto ofrece un atajo para la extracción de datos: en lugar de escribir selectores CSS para cada campo, a menudo puedes obtener precios de productos, valoraciones, disponibilidad y mucho más directamente desde los datos estructurados de la página.

El marcado de schema les indica a los motores de búsqueda exactamente qué significa tu contenido, no solo qué dice. Una página con marcado de schema Product declara explícitamente el nombre, el precio, la disponibilidad y las reseñas de un producto, lo que permite resultados de búsqueda enriquecidos.

Para el web scraping, el marcado de schema es una mina de oro. extract_metadata de CrawlForge extrae el marcado de schema de las páginas, proporcionando datos estructurados de productos, metadatos de artículos e información de negocios sin la fragilidad de la extracción basada en selectores CSS.

Muchos sitios web tienen API que sirven los mismos datos que se muestran en sus páginas, a menudo en un formato JSON más limpio. Descubrir y usar estos endpoints de API puede ser más eficiente y fiable que hacer scraping del HTML renderizado.

CrawlForge funciona como un conjunto de endpoints de API en sí mismo: cada una de las 31 herramientas es accesible a través de un endpoint REST. Al hacer scraping, fetch_url puede acceder tanto a páginas web como a endpoints de API, devolviendo la respuesta JSON sin procesar para su procesamiento programático.

Los webhooks se utilizan habitualmente para desencadenar acciones cuando algo cambia: un nuevo pedido, una actualización de precio o una modificación de contenido. Son la contraparte basada en push del enfoque basado en pull del web scraping.

track_changes de CrawlForge cierra la brecha entre el scraping y los webhooks. Monitorea las páginas en busca de cambios y puede notificar a tus sistemas cuando el contenido se actualiza, dándote una conciencia en tiempo real similar a la de un webhook sin que el sitio de destino necesite admitirlos.

Las REST API utilizan métodos HTTP como GET, POST, PUT y DELETE para interactuar con los recursos identificados por las URL. La mayoría de los servicios web modernos, incluido CrawlForge, exponen su funcionalidad a través de endpoints REST.

Las 31 herramientas de CrawlForge son accesibles a través de endpoints REST API además de MCP. Esto significa que puedes integrar CrawlForge en cualquier lenguaje de programación o plataforma que pueda realizar peticiones HTTP, no solo en los clientes de IA compatibles con MCP.

Algunos sitios web usan API de GraphQL para impulsar su frontend, lo que puede ser un objetivo de scraping eficiente. Las respuestas de GraphQL ya son JSON estructurado, y puedes solicitar solo los campos que necesitas, reduciendo la transferencia de datos.

fetch_url de CrawlForge puede acceder directamente a los endpoints de GraphQL, enviando consultas y recibiendo respuestas estructuradas. Para los sitios que exponen GraphQL, este enfoque es más eficiente que hacer scraping del HTML renderizado.

JSON es la lengua franca de los datos web. Las respuestas de API, los archivos de configuración y los datos estructurados se codifican casi universalmente en JSON. Al hacer scraping, el objetivo suele ser transformar un HTML desordenado en JSON limpio que los sistemas posteriores puedan procesar.

Las herramientas de CrawlForge devuelven datos en formato JSON de forma predeterminada. Herramientas como scrape_structured y extract_structured te permiten definir un esquema JSON para la salida, asegurando que los datos extraídos coincidan exactamente con la estructura que esperas.

Markdown preserva la estructura del contenido (encabezados, listas, enlaces, bloques de código) a la vez que elimina la complejidad del HTML. Esto lo convierte en un formato de salida ideal para el web scraping cuando necesitas texto legible y estructurado en lugar de HTML sin procesar o texto plano.

extract_content de CrawlForge admite markdown como formato de salida, convirtiendo las páginas web en markdown limpio que preserva la estructura del documento. Esto es especialmente útil para la migración de contenido, el scraping de documentación y para alimentar a los modelos de IA que procesan bien el markdown.

El análisis de HTML es la operación técnica central que hay detrás del web scraping. El HTML sin procesar de una página web debe analizarse en una representación estructurada antes de poder extraer cualquier dato. La calidad del analizador determina lo bien que maneja el HTML mal formado, algo habitual en la web.

CrawlForge gestiona el análisis de HTML de forma interna en todas sus herramientas, usando analizadores robustos que manejan con elegancia el HTML del mundo real. Nunca tienes que lidiar tú mismo con las peculiaridades del análisis: solo especifica los datos que necesitas y las herramientas devuelven resultados limpios.

SERP significa página de resultados del buscador (search engine results page). Una API de SERP te permite comprobar en qué posición aparece un sitio para una palabra clave, vigilar a la competencia o introducir resultados de búsqueda en un pipeline sin hacer tú mismo scraping del buscador, algo que los buscadores bloquean activamente.

CrawlForge tiene dos herramientas para esto. serp_rank (5 credits) indica en qué posición aparece un dominio en los resultados orgánicos de Google para una palabra clave, con la URL posicionada y cada posición que ocupa, revisando hasta 200 resultados para la ubicación y el dispositivo elegidos. search_web (5 credits) devuelve los propios resultados — títulos, URL y fragmentos — en JSON.

Los frameworks de JavaScript modernos envían los datos de una página al navegador dos veces: una como HTML visible y otra como una carga útil JSON que el framework usa para hacer la página interactiva. Esa carga útil suele contener valores exactos — precios, niveles de stock, ID, valoraciones — de forma más limpia que el texto renderizado.

extract_embedded_state de CrawlForge (2 credits) encuentra y devuelve este estado a partir de una sola obtención: cargas útiles de Next.js y de React Server Components, stores de Nuxt, Apollo y Redux, y bloques JSON en línea. No necesita ningún LLM ni ejecuta el código de la página, así que los valores llegan exactamente como el sitio los almacena.

En lugar de pedir la página completa, describes los campos que quieres — nombre del producto, precio, valoración, disponibilidad — con sus tipos. El extractor devuelve exactamente esa forma para cada URL, lo que hace que la salida sea fácil de validar, almacenar y comparar entre sitios.

CrawlForge lo ofrece de dos maneras. Cuando sabes dónde están los datos, scrape_structured (2 credits) los extrae con selectores CSS. Cuando puedes describir un campo pero no localizarlo, extract_structured (3 credits) usa un modelo de lenguaje para rellenar tu JSON Schema.

Cuando ya tienes las URL — una lista de productos, resultados de búsqueda, un sitemap — enviarlas juntas permite que el servicio las obtenga en paralelo y devuelva los resultados como un conjunto. Los lotes grandes suelen ejecutarse de forma asíncrona, con resultados que se recogen más tarde o se entregan mediante webhook.

batch_scrape de CrawlForge (5 credits) acepta de 2 a 50 URL por llamada en modo síncrono o asíncrono, y get_batch_results (1 credit) recorre la salida por páginas. Para encontrar primero las URL, map_site (2 credits) enumera las páginas de un sitio.