Seguridad y tratamiento de datos

CrawlForge tiene dos vías de acceso. El MCP server se ejecuta en su máquina y se comunica directamente con los sitios web. La API REST se ejecuta en nuestros servidores. Tratan sus datos de forma distinta, por lo que se describen por separado.

Esta tabla es el calendario de conservación de CrawlForge. La política de privacidad muestra la misma tabla. Cada plazo procede de la ruta de código que lo aplica; cuando un plazo lo fija un proveedor y no nosotros, la tabla lo indica.

Las dos filas de monitores alojados solo se aplican cuando creas un monitor. Una cuenta sin monitores no conserva ningún dato de monitores.

Estos son los proveedores que reciben sus datos cuando usa CrawlForge, y qué recibe cada uno. Los sitios web de destino no son subencargados: reciben la solicitud de nuestro rastreador, identificada como CrawlForge, y nada sobre su cuenta.

Nuestra infraestructura principal está en Estados Unidos. Añadimos un proveedor a esta lista antes de que reciba datos de clientes.

Ambas superficies se identifican de la misma manera y siguen las mismas reglas en cada solicitud. Los propietarios de sitios pueden verificarnos, limitarnos la tasa o bloquearnos sin tener que adivinar.

• •Cada solicitud saliente lleva el User-Agent CrawlForge/<version> (+https://crawlforge.dev). El token de producto es CrawlForge tanto en el MCP server como en la API REST.
• •Cada solicitud saliente se firma con Ed25519 según RFC 9421 (el perfil Web Bot Auth). El directorio de claves públicas está en /.well-known/http-message-signatures-directory, de modo que un sitio puede verificar que una solicitud que dice ser de CrawlForge lo es realmente.
• •robots.txt se respeta por defecto en ambas superficies. Quien llama puede pasar respect_robots: false; la anulación es explícita, devuelve una advertencia en la respuesta y queda registrada contra la clave de API en el registro de uso.
• •No resolvemos CAPTCHAs ni falsificamos tokens de desafío. Una página de desafío se notifica como bloqueada, no se elude. stealth_mode hace que un navegador real renderice como un navegador real; no vence controles de acceso.
• •Un propietario de sitio que se excluye se añade a una lista de bloqueo permanente que se aplica en ambas superficies y que ningún cliente puede anular. Escriba a simon@crawlforge.dev para excluirse.
• •El token retirado CrawlForge-Bot se sigue respetando como regla de exclusión, de modo que las reglas que los propietarios de sitios escribieron antes del cambio de nombre siguen funcionando.

• Cómo verificar el rastreador de CrawlForge (User-Agent, Web Bot Auth, robots.txt)
• Las ocho reglas de operación del rastreador (G1 a G8)

Qué hacemos con los secretos que nos confía, y qué no afirmamos.

• •Todo el tráfico hacia crawlforge.dev usa TLS, y el sitio envía una cabecera Strict-Transport-Security.
• •Las contraseñas se almacenan con hash bcrypt. Nunca vemos ni almacenamos la contraseña en sí.
• •Las claves de API se almacenan como hash SHA-256 con una sal del lado del servidor, junto con el prefijo de la clave que se muestra en el panel. La clave completa existe en texto plano una sola vez, en la respuesta que la crea. No podemos recuperarla, así que una clave perdida se revoca y se sustituye, no se recupera.
• •Las sesiones de inicio de sesión usan un JWT de 15 minutos y un token de actualización de 7 días, ambos en cookies httpOnly, secure y same-site. Las solicitudes del panel que cambian el estado llevan un token CSRF.
• •Los enlaces de restablecimiento de contraseña y de verificación de correo electrónico son tokens de un solo uso almacenados como hash, con caducidad de 1 hora y 24 horas respectivamente.
• •Los secretos de sus solicitudes, como una contraseña escrita por scrape_with_actions, credenciales de proxy o una cabecera de autorización, se enmascaran antes de escribir una fila de uso y de nuevo antes de mostrarla en el panel.
• •Neon y Upstash cifran los datos almacenados en reposo, y toda conexión con ellos usa TLS.
• •Lo que no afirmamos: CrawlForge no cuenta con certificación SOC 2 ni ISO 27001, todavía no ofrece autenticación multifactor en las cuentas y no encarga pruebas de penetración a terceros. Si su proceso de compra exige alguna de ellas, pregúntenos en qué punto está antes de comprar.

Por ahora, la eliminación se hace a petición. El panel aún no ofrece una eliminación de autoservicio.

• •Envíe un correo a simon@crawlforge.dev desde la dirección de su cuenta con el asunto "Delete my account" (eliminar mi cuenta). Confirmamos por respuesta antes de eliminar nada.
• •Cancele primero cualquier suscripción activa, o pídanos que la cancelemos como parte de la eliminación. Los credits no usados no se reembolsan.
• •En un plazo de 30 días eliminamos la fila de la cuenta y, con ella, sus claves de API, registros de uso, registros de suscripción, huellas digitales de dispositivo, puntuaciones de riesgo y tokens. Las entradas de Redis caducan según los plazos de la tabla de conservación, 90 días como máximo.
• •Stripe conserva los registros de pago mientras lo exija la legislación fiscal y contable. No conservamos nada que le identifique una vez completada la eliminación.
• •Si se suscribió al boletín, indíquelo en la solicitud y la suscripción se elimina al mismo tiempo.

Si encuentra un problema de seguridad en el sitio web, la API, el paquete crawlforge-mcp-server o los SDK, comuníquenoslo directamente. Los detalles también están publicados en /.well-known/security.txt.

• •Envíe un correo a simon@crawlforge.dev con el asunto "Security" (seguridad). Incluya la URL o la herramienta afectada, los pasos para reproducirlo y el impacto que observó.
• •Acusamos recibo de los informes en un plazo de cinco días hábiles y le mantenemos informado hasta que el problema quede corregido. No tenemos un programa de recompensas de pago.
• •Pruebe solo con su propia cuenta y sus propias claves de API. No acceda, modifique ni elimine datos de otros clientes.
• •Nada de denegación de servicio, ni escaneos masivos, ni ingeniería social contra las personas que trabajan en CrawlForge, ni pruebas contra los sitios web de destino que obtienen nuestras herramientas.
• •Deténgase en cuanto pueda demostrar el problema y notifíquelo. No conserve los datos a los que haya accedido.
• •Pedimos un tiempo razonable para corregir un problema antes de que se publique, y le daremos crédito en la corrección si así lo desea.

Contacto legible por máquina: /.well-known/security.txt