蜘蛛作用是訪問互聯(lián)網(wǎng)上的html網(wǎng)頁，建立索引數(shù)據(jù)庫，在網(wǎng)站優(yōu)化中使用戶能在搜索引擎中搜索到您網(wǎng)站的網(wǎng)頁。做seo的人一般都知道，研究蜘蛛爬行規(guī)律對于網(wǎng)站優(yōu)化意義重大，本文簡單說明一下蜘蛛爬行網(wǎng)站后返回代碼所代表的具體含義：

2xx 成功

200 正常;請求已完成。

201 正常;緊接 post 命令。

202 正常;已接受用于處理，但處理尚未完成。

203 正常;部分信息 — 返回的信息只是一部分。

204 正常;無響應(yīng) — 已接收請求，但不存在要回送的信息。

3xx 重定向

301 已移動(dòng) — 請求的數(shù)據(jù)具有新的位置且更改是永久的。

302 已找到 — 請求的數(shù)據(jù)臨時(shí)具有不同 uri。

303 請參閱其它 — 可在另一 uri 下找到對請求的響應(yīng)，且應(yīng)使用 get 方法檢索此響應(yīng)。

304 未修改 — 未按預(yù)期修改文檔。

305 使用代理 — 必須通過位置字段中提供的代理來訪問請求的資源。

306 未使用 — 不再使用;保留此代碼以便將來使用。

4xx 客戶機(jī)中出現(xiàn)的錯(cuò)誤

400 錯(cuò)誤請求 — 請求中有語法問題，或不能滿足請求。

401 未授權(quán) — 未授權(quán)客戶機(jī)訪問數(shù)據(jù)。

402 需要付款 — 表示計(jì)費(fèi)系統(tǒng)已有效。

403 禁止 — 即使有授權(quán)也不需要訪問。

404 找不到 — 服務(wù)器找不到給定的資源;文檔不存在。

407 代理認(rèn)證請求 — 客戶機(jī)首先必須使用代理認(rèn)證自身。

410 請求的網(wǎng)頁不存在(永久);

415 介質(zhì)類型不受支持 — 服務(wù)器拒絕服務(wù)請求，因?yàn)椴恢С终埱髮?shí)體的格式。

5xx 服務(wù)器中出現(xiàn)的錯(cuò)誤

500 內(nèi)部錯(cuò)誤 — 因?yàn)橐馔馇闆r，服務(wù)器不能完成請求。

501 未執(zhí)行 — 服務(wù)器不支持請求的工具。

502 錯(cuò)誤網(wǎng)關(guān) — 服務(wù)器接收到來自上游服務(wù)器的無效響應(yīng)。

503 無法獲得服務(wù) — 由于臨時(shí)過載或維護(hù)，服務(wù)器無法處理請求。