CrawlForge
PenemuanPantas2 credits

map_site

Temui dan analisis struktur tapak web dengan cepat menggunakan peta tapak, robots.txt dan penemuan URL pintar. Sesuai untuk audit SEO dan memahami seni bina tapak.

Kes Penggunaan

Audit SEO

Analisis struktur tapak, corak URL dan kualiti peta tapak untuk pengoptimuman SEO

Perancangan Seni Bina Tapak

Fahami cara pesaing menyusun kandungan sebelum membina tapak anda sendiri

Inventori Kandungan

Temui semua halaman pada tapak dengan cepat tanpa merangkak setiap satu

Pengesahan Peta Tapak

Sahkan sitemap.xml lengkap dan diformat dengan betul

Perancangan Migrasi

Petakan struktur tapak lama sebelum berhijrah ke platform baharu

Analisis Persaingan

Fahami struktur tapak dan organisasi kandungan pesaing

Endpoint

POST/api/v1/tools/map_site
Auth Required
2 req/s pada pelan Free
2 credits

Parameters

NameTypeRequiredDefaultDescription
url
stringRequired-
URL asas untuk dipetakan (sitemap.xml akan ditemui secara automatik)
Example: https://example.com
includeSitemap
booleanOptionaltrue
Hurai sitemap.xml jika ditemui
Example: true
maxUrls
numberOptional1000
URL maksimum untuk ditemui (100-10000)
Example: 5000
groupByPath
booleanOptionaltrue
Kumpulkan URL mengikut struktur laluan
Example: true
includeMetadata
booleanOptionalfalse
Sertakan lastmod, priority dan changefreq daripada peta tapak
Example: true
excludePatterns
string[]Optional-
Langkau URL yang sepadan dengan corak regex ini
Example: ["/admin/.*", ".*\\.(pdf|zip)$"]

Contoh Permintaan

terminalBash

Contoh Respons

200 OK3,450ms
{
  "success": true,
  "data": {
    "url": "https://example.com",
    "totalUrls": 1247,
    "sitemapFound": true,
    "sitemapUrls": [
      "https://example.com/sitemap.xml",
      "https://example.com/sitemap-posts.xml"
    ],
    "groups": {
      "/": [
        {
          "url": "https://example.com",
          "priority": 1,
          "lastmod": "2025-09-15"
        }
      ],
      "/blog": [
        {
          "url": "https://example.com/blog/post-1",
          "priority": 0.8,
          "lastmod": "2025-09-28"
        },
        {
          "url": "https://example.com/blog/post-2",
          "priority": 0.8,
          "lastmod": "2025-09-27"
        }
      ],
      "/products": [
        {
          "url": "https://example.com/products/item-1",
          "priority": 0.9,
          "lastmod": "2025-09-20"
        },
        {
          "url": "https://example.com/products/item-2",
          "priority": 0.9,
          "lastmod": "2025-09-19"
        }
      ]
    },
    "statistics": {
      "totalGroups": 15,
      "avgUrlsPerGroup": 83,
      "largestGroup": "/blog",
      "largestGroupSize": 420,
      "sitemapCoverage": 0.95
    },
    "metadata": {
      "robotsTxtFound": true,
      "sitemapIndexFound": true,
      "totalSitemaps": 3,
      "oldestUpdate": "2024-01-15",
      "newestUpdate": "2025-09-28"
    }
  },
  "credits_used": 2,
  "credits_remaining": 998,
  "processing_time": 3450
}
Field Descriptions
data.totalUrlsJumlah URL unik yang ditemui
data.sitemapFoundSama ada sitemap.xml ditemui
data.groupsURL disusun mengikut struktur laluan
data.statistics.sitemapCoveragePeratusan URL daripada peta tapak berbanding yang ditemui
data.metadataMaklumat tapak tambahan
credits_used2 credits tetap setiap pemetaan tapak
processing_timeBiasanya 2-5 saat untuk kebanyakan tapak

Pengendalian Ralat

Tiada Peta Tapak Ditemui (200 OK dengan amaran)

Tapak tidak mempunyai sitemap.xml. Alat akan cuba kaedah penemuan alternatif.

Format Peta Tapak Tidak Sah (400 Bad Request)

Sitemap.xml wujud tetapi cacat atau XML tidak sah. Semak sintaks peta tapak.

URL Maksimum Dilampaui (200 OK dengan pemangkasan)

Tapak mempunyai lebih banyak URL daripada had maxUrls. Hasil dipangkas. Tingkatkan had jika perlu.

Tapak Tidak Boleh Dicapai (500 Internal Server Error)

Tidak dapat menyambung ke tapak. Semak sama ada URL betul dan tapak boleh diakses.

Petua Pro: map_site adalah 10x lebih pantas daripada crawl_deep untuk penemuan tapak kerana ia menggunakan peta tapak dan bukannya merangkak. Gunakan map_site dahulu untuk mendapatkan URL, kemudian gunakan batch_scrape untuk mengekstrak kandungan daripada halaman tertentu.

Kos Credit

2 credits
2 credits setiap tapak
Kos tetap tanpa mengira saiz tapak atau bilangan URL yang ditemui. Jauh lebih jimat kos berbanding merangkak.

Perbandingan Kos:

map_site (1000 URL): 2 credits

crawl_deep (1000 halaman): 1,000 credits

Penjimatan: 99.8% lebih sedikit credits dengan map_site

Cadangan Pelan:

Free Plan: 1,000 credit percubaan sekali sahaja = 500 tapak dipetakan

Hobby Plan: 5,000 credits = 2,500 tapak dipetakan ($19/bln)

Professional Plan: 50,000 credits = 25,000 tapak dipetakan ($99/bln)

Alat Berkaitan

crawl_deep
Perangkakan tapak penuh untuk tapak tanpa peta tapak (1 credit setiap halaman)
batch_scrape
Rangka URL yang ditemui secara selari (1 credit setiap URL)
extract_links
Ekstrak pautan daripada halaman tertentu (1 credit)
analyze_content
Analisis kualiti SEO halaman yang ditemui (3 credits)
Bersedia untuk mencuba map_site? Daftar secara percuma dan dapatkan 1,000 credits untuk mula membina.