scrape_template

Casos de uso

Endpoint

Parameters

Plantillas: páginas y productos

20 plantillas en tres grupos. Cada una devuelve una forma JSON normalizada y ajustada a su fuente.

Plantillas: bolsas de empleo

Seis sistemas de seguimiento de candidatos, leídos cada uno a través del endpoint que esa plataforma documenta para uso público y sin autenticación. Los seis se normalizan sobre una única forma de empleo, así que dos bolsas se unen sin mapeo por fuente — la guía de APIs de bolsas de empleo cubre la forma y el razonamiento.

Plantillas: APIs gubernamentales

APIs federales de EE. UU. gratuitas y sin clave, documentadas por las agencias que las publican.

Los conectores de lista devuelven muchos registros en una sola llamada

Un conector que lee un endpoint de listado devuelve items y count dentro de data en lugar de un único registro. shopify-collection y los seis conectores de bolsas de empleo funcionan así.

• Cada registro de empleo lleva los mismos doce campos — id, title, url, location, department, team, employment_type, remote, published_at, updated_at, description, source — y un campo que la plataforma no publica es null, nunca una suposición.
• Pase el identificador de la bolsa en params, o pase una URL de bolsa y el conector resolverá por sí mismo el endpoint de la API.
• Greenhouse, Workable y Ashby hacen opcionales las descripciones porque dominan la carga útil: una bolsa grande de Greenhouse pasa de 349 KB a 4,2 MB con content: true, y la bolsa Ashby de 767 vacantes de OpenAI ocupa 5,9 MB con descriptions: true.
• El costo es de 1 credit fijo por llamada, sin importar cuántos registros vuelvan.

Deliberadamente no publicado

Ejemplos de solicitud

curl -X POST https://crawlforge.dev/api/v1/tools/scrape_template \
  -H "X-API-Key: cf_test_YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "template": "github-repo",
    "url": "https://github.com/mysleekdesigns/crawlforge-mcp"
  }'

// npm install crawlforge-sdk
import { CrawlForge } from 'crawlforge-sdk';

const client = new CrawlForge({ apiKey: process.env.CRAWLFORGE_API_KEY });

const result = await client.scrapeTemplate({
  template: 'amazon-product',
  url: 'https://www.amazon.com/dp/B08XYZ1234',
  timeout: 20000,
});

// result.data is untyped in crawlforge-sdk 0.1 — its shape is the Response Example below.
const { data: product } = result.data as { data: { title: string; price: string | null; rating: number | null } };
console.log(product.title, product.price, product.rating);

# pip install crawlforge
from crawlforge import CrawlForge

client = CrawlForge()  # reads CRAWLFORGE_API_KEY

result = client.scrape_template(
    template='amazon-product',
    url='https://www.amazon.com/dp/B08XYZ1234',
    timeout=20000,
)

# result.data is a plain dict — its shape is the Response Example below.
product = result.data['data']
print(product['title'], product['price'], product['rating'])

curl -X POST https://crawlforge.dev/api/v1/tools/scrape_template \
  -H "X-API-Key: cf_test_YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "template": "list" }'

curl -X POST https://crawlforge.dev/api/v1/tools/scrape_template \
  -H "X-API-Key: cf_test_YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "template": "greenhouse-jobs",
    "params": { "company": "stripe" }
  }'

Ejemplo de respuesta

{
  "success": true,
  "data": {
    "template": "greenhouse-jobs",
    "params": {
      "company": "stripe"
    },
    "data": {
      "items": [
        {
          "id": "4012345",
          "title": "Staff Software Engineer",
          "url": "https://job-boards.greenhouse.io/stripe/jobs/4012345",
          "location": "Seattle, Washington, United States",
          "department": null,
          "team": null,
          "employment_type": null,
          "remote": null,
          "published_at": "2026-08-04T17:12:03.000Z",
          "updated_at": "2026-08-21T09:44:51.000Z",
          "description": null,
          "source": "greenhouse-jobs",
          "raw_extra": {
            "internal_job_id": "4098765",
            "requisition_id": "REQ-1234",
            "offices": null
          }
        }
      ],
      "count": 571,
      "company": "Stripe"
    },
    "template_name": "Greenhouse Job Board",
    "extracted_at": "2026-08-28T12:00:00.000Z",
    "fetched_url": "https://boards-api.greenhouse.io/v1/boards/stripe/jobs"
  },
  "credits_used": 1,
  "credits_remaining": 999,
  "processing_time": 812
}

Manejo de errores

Costo en credits

Herramientas relacionadas