Cara Memberi ChatGPT Keupayaan Web Scraping dengan MCP Connectors (2026)

ChatGPT kini boleh memanggil tools anda sendiri melalui custom MCP connectors -- termasuk web scraping. Tetapi ada satu perangkap yang dilangkau oleh halaman pemasaran: connectors mestilah server jarak jauh, jadi tool setempat seperti CrawlForge tidak boleh ditampal terus. Panduan ini ialah versi jujurnya: apa yang sebenarnya mungkin, mengapa wrapper diperlukan, dan jambatan tepat yang perlu dibina.

Jadual Kandungan

• Apakah ChatGPT Connectors
• Plan Mana yang Boleh Menggunakannya
• Perangkap Transport: Jarak Jauh Sahaja
• Mengapa CrawlForge Memerlukan Wrapper
• Bina Jambatan: Wrapper MCP Jarak Jauh
• Tambah Connector dalam ChatGPT
• Auth dan Keselamatan
• Alternatif yang Lebih Mudah

Apakah ChatGPT Connectors

ChatGPT menyokong custom MCP connectors -- dinamakan semula sebagai "apps" pada Disember 2025, jadi UI semasa menyebut "Apps & Connectors." Melalui Developer mode, anda menyambungkan MCP server luaran dan ChatGPT boleh memanggil toolsnya di tengah-tengah perbualan, meminta anda mengesahkan sebelum sebarang tindakan tulis. Ia ialah Model Context Protocol yang sama yang menggerakkan web scraping dalam Claude -- cuma klien yang berbeza.

Developer mode (MCP baca/tulis penuh) secara jelas ialah beta; OpenAI memberi nota bahawa UI dan kebenaran mungkin berubah.

Plan Mana yang Boleh Menggunakannya

Mengikut jadual plan OpenAI, keupayaan untuk menambah custom MCP connector tersedia pada:

• Plus, Pro, Business, Enterprise, dan Edu -- ya.
• Free dan Go -- tidak.

Sokongan tindakan tulis penuh sedang dilancarkan paling meluas kepada Business, Enterprise, dan Edu. Jika anda hanya perlu ChatGPT membaca data yang telah di-scrape, laluan baca-sahaja di bawah sudah memadai.

Perangkap Transport: Jarak Jauh Sahaja

Inilah bahagian yang mengelirukan ramai orang. ChatGPT connector mestilah MCP server jarak jauh yang boleh dicapai melalui HTTPS, menggunakan transport SSE atau Streamable HTTP. Anda menampal URL ke dalam ChatGPT; anda tidak mengarahkannya ke sesuatu arahan pada mesin anda.

Itu menyingkirkan local stdio servers -- jenis yang anda pasang dengan npx. Untuk menggunakan satu, anda sama ada menghoskannya secara awam atau mendedahkan server setempat melalui tunnel seperti ngrok atau Cloudflare Tunnel.

Ada juga peraturan penamaan tool yang patut diketahui: laluan deep research dan company-knowledge ChatGPT memerlukan server anda mendedahkan dua tools baca-sahaja yang dinamakan search dan fetch dengan schema tertentu. Developer mode penuh membolehkan anda mendedahkan tools sewenang-wenangnya, jadi kekangan dua-tool itu hanya terpakai pada laluan deep-research.

Mengapa CrawlForge Memerlukan Wrapper

CrawlForge dihantar sebagai local stdio MCP server (melalui npx) berserta REST API di https://www.crawlforge.dev/api/v1/tools/. Kedua-duanya bukan URL MCP jarak jauh, dan toolsnya dinamakan search_web, fetch_url, dan extract_content -- bukan pasangan search/fetch yang dijangka oleh deep-research mode ChatGPT.

Jadi anda tidak boleh menampal CrawlForge terus ke dalam ChatGPT pada hari ini. Laluan praktikalnya ialah wrapper MCP jarak jauh yang nipis: sebuah server kecil yang anda hos yang mendedahkan tools berbentuk-ChatGPT dan memanggil REST API CrawlForge di belakang tabir. Ia kira-kira 30 baris.

Bina Jambatan: Wrapper MCP Jarak Jauh

FastMCP (Python) ialah cara terpantas untuk menyediakan MCP server jarak jauh dengan tools search dan fetch yang dikehendaki ChatGPT. Setiap tool memanggil REST API CrawlForge menggunakan key cf_live_ anda dalam header X-API-Key:

# server.py
import os
import httpx
from fastmcp import FastMCP

mcp = FastMCP("CrawlForge Bridge")
BASE = "https://www.crawlforge.dev/api/v1/tools"
HEADERS = {"X-API-Key": os.environ["CRAWLFORGE_API_KEY"]}

@mcp.tool()
async def search(query: str) -> list[dict]:
    """Search the web. Returns id/title/url results for ChatGPT."""
    async with httpx.AsyncClient(timeout=30) as client:
        r = await client.post(f"{BASE}/search_web", headers=HEADERS,
                              json={"query": query, "limit": 10})
    results = r.json().get("results", [])
    return [{"id": x["link"], "title": x["title"], "url": x["link"]} for x in results]

@mcp.tool()
async def fetch(id: str) -> dict:
    """Fetch full page content by id (the URL) for ChatGPT."""
    async with httpx.AsyncClient(timeout=30) as client:
        r = await client.post(f"{BASE}/extract_content", headers=HEADERS,
                              json={"url": id})
    data = r.json()
    return {"id": id, "title": data.get("title", id),
            "text": data.get("content", ""), "url": id}

if __name__ == "__main__":
    mcp.run(transport="http", host="0.0.0.0", port=8000)

Jalankannya, kemudian dedahkannya melalui HTTPS. Untuk ujian pantas, tunnel port setempat anda:

pip install fastmcp httpx
export CRAWLFORGE_API_KEY="cf_live_your_key_here"
python server.py
# in another terminal:
ngrok http 8000

Untuk Developer mode anda boleh melangkau penamaan search/fetch dan sebaliknya memetakan tools satu-dengan-satu kepada CrawlForge -- dedahkan scrape_structured, stealth_mode, atau deep_research secara terus. Corak wrapper itu sama sahaja.

Tambah Connector dalam ChatGPT

1. Buka Settings -> Apps & Connectors -> Advanced dan dayakan Developer mode.
2. Pergi ke Apps & Connectors -> Create.
3. Tampal URL MCP HTTPS awam anda (contohnya, URL ngrok anda berserta /mcp), namakannya, dan pilih kaedah auth.
4. Sahkan kotak semak "I trust this application".

Tools search dan fetch anda kini muncul. Dalam sesuatu chat, pilih connector itu dan minta ChatGPT menyelidik sesuatu topik -- ia akan memanggil search, kemudian fetch hasil yang paling relevan melalui CrawlForge.

Auth dan Keselamatan

Connectors mengesahkan dengan none (awam) atau OAuth -- tiada pilihan header-API-key yang mudah dalam UI ChatGPT, dan itulah sebabnya wrapper itu menyimpan key CrawlForge anda di sebelah server. ChatGPT juga meminta anda mengesahkan sebelum tindakan tulis, dan anda boleh memeriksa payload setiap panggilan tool sebelum meluluskannya.

Ambil serius amaran OpenAI: hanya sambungkan server yang anda percayai. Custom connector meningkatkan risiko, termasuk prompt injection, dan kesilapan model pada tindakan tulis boleh memusnahkan atau membocorkan data. Jambatan scraping baca-sahaja seperti yang di atas berisiko rendah; kunci ia dengan OAuth sebelum berkongsinya.

Alternatif yang Lebih Mudah

Jika anda lebih suka tidak menghos apa-apa, gunakan CrawlForge daripada kod dengan OpenAI Agents SDK atau Responses API -- tiada MCP server jarak jauh diperlukan. Lihat CrawlForge dengan OpenAI Agents SDK untuk laluan itu, dan panduan lengkap MCP web scraping untuk gambaran yang lebih besar.

Dapatkan API key CrawlForge percuma -- 1,000 credits, tanpa kad kredit diperlukan, dan sambungkannya ke jambatan anda dalam beberapa minit.