百度抓取診斷工具常見錯(cuò)誤類型解析

2487次閱讀

url規(guī)范:

百度支持抓取的url長(zhǎng)度不超過1024,如果您的鏈接長(zhǎng)度過長(zhǎng),請(qǐng)?jiān)诒WC正常訪問的情況下,適當(dāng)精簡(jiǎn),保證鏈接能被百度正常抓取和收錄。

重定向錯(cuò)誤:
重定向是指百度spider訪問鏈接時(shí)發(fā)生了跳轉(zhuǎn),如果跳轉(zhuǎn)后的鏈接超長(zhǎng)或者連續(xù)跳轉(zhuǎn)的次數(shù)超過5次,就會(huì)發(fā)生重定向錯(cuò)誤而導(dǎo)致抓取失敗。

服務(wù)器連接錯(cuò)誤:
這種情況是指,由于服務(wù)器響應(yīng)過慢或您的網(wǎng)站屏蔽了百度spider,而導(dǎo)致百度無(wú)法訪問您的網(wǎng)站。從而會(huì)導(dǎo)致百度無(wú)法正常收錄或者更新您網(wǎng)站的內(nèi)容。您可能看到以下具體錯(cuò)誤:連接超時(shí)、連接失敗、連接被拒、無(wú)響應(yīng)、響應(yīng)遭到截?cái)?、連接重置、標(biāo)頭遭到截?cái)?、超時(shí)。

*如何處理服務(wù)器連接錯(cuò)誤:
減少動(dòng)態(tài)網(wǎng)頁(yè)請(qǐng)求的過多網(wǎng)頁(yè)加載。如果網(wǎng)站為多個(gè)網(wǎng)址提供相同內(nèi)容,則會(huì)被視為動(dòng)態(tài)提供內(nèi)容(例如,www.example.com/shoes.php?color=red&size=7與www.example.com/shoes.php?size=7&color=red提供的內(nèi)容相同)。動(dòng)態(tài)網(wǎng)頁(yè)的響應(yīng)時(shí)間可能會(huì)很長(zhǎng),并會(huì)因此導(dǎo)致超時(shí)問題?;蛘?,服務(wù)器可能會(huì)返回超載狀態(tài),要求百度spider放慢抓取該網(wǎng)站的速度。一般來(lái)說,建議您盡量使用簡(jiǎn)短的參數(shù)并謹(jǐn)慎使用。

確保您網(wǎng)站的托管服務(wù)器沒有停止運(yùn)行、超載或配置不當(dāng)。如果連接問題、超時(shí)問題或響應(yīng)問題仍然存在,請(qǐng)與您的網(wǎng)站托管服務(wù)提供商聯(lián)系,并考慮增強(qiáng)您的網(wǎng)站處理流量的能力。

檢查網(wǎng)站是否不小心屏蔽了百度spider的IP。您可能會(huì)由于系統(tǒng)級(jí)問題而阻止了百度訪問,例如DNS配置問題、配置不當(dāng)?shù)姆阑饓駾oS防護(hù)系統(tǒng)、內(nèi)容管理系統(tǒng)配置問題。防御系統(tǒng)是保證托管服務(wù)正常運(yùn)行的關(guān)鍵因素之一,并且這些系統(tǒng)通常會(huì)配置為自動(dòng)阻止超量的服務(wù)器請(qǐng)求。由于百度spider發(fā)出的請(qǐng)求通常要比普通用戶多,因此可能會(huì)觸發(fā)這些防御系統(tǒng),導(dǎo)致它們阻止百度spider訪問并抓取您的網(wǎng)站。要解決此類問題,您需要確定網(wǎng)站基礎(chǔ)架構(gòu)中的哪個(gè)部分在阻止百度spider,然后取消該阻止。如果您沒有控制防火墻的權(quán)限,就需要與您的托管服務(wù)提供商聯(lián)系解決此問題。

robots封禁問題:
在抓取診斷工具中如果返回的抓取失敗結(jié)論是robots封禁,請(qǐng)確認(rèn)您是否對(duì)該網(wǎng)址設(shè)置了robots,阻止百度spider抓取網(wǎng)站的某些內(nèi)容,如果您未使用robots文件屏蔽百度,請(qǐng)點(diǎn)擊旁邊的報(bào)錯(cuò)鏈接,百度會(huì)立即更新您站點(diǎn)的robots信息;如果是您的誤操作導(dǎo)致了封禁,請(qǐng)及時(shí)修改robots文件,避免造成您的網(wǎng)站在百度收錄量和流量的下降。


DNS問題:
DNS錯(cuò)誤是指由于服務(wù)器停止運(yùn)行或DNS到您網(wǎng)域的路由存在問題,導(dǎo)致百度spider無(wú)法與DNS服務(wù)器通信。

*如何處理DNS錯(cuò)誤:
確保百度能夠抓取您的網(wǎng)站。對(duì)重要網(wǎng)頁(yè)(例如您的首頁(yè))采用抓取診斷工具,如果它能順利返回您的首頁(yè)內(nèi)容,那么您就可以認(rèn)為百度能夠正常訪問您的網(wǎng)站。

對(duì)于持續(xù)的或反復(fù)出現(xiàn)的DNS錯(cuò)誤,請(qǐng)與您的DNS提供商聯(lián)系。通常情況下,您的DNS提供商即為網(wǎng)站托管服務(wù)提供商。

配置您的服務(wù)器,使其能夠以404或500等HTTP錯(cuò)誤代碼對(duì)不存在的主機(jī)名作出響應(yīng)。

404錯(cuò)誤:
一般情況下,當(dāng)百度spider訪問到不存在的網(wǎng)頁(yè)(因?yàn)槟鷦h除或重命名了網(wǎng)頁(yè)且沒有將舊網(wǎng)址重定向到新網(wǎng)頁(yè),或者鏈接中存在拼寫錯(cuò)誤)時(shí),就會(huì)出現(xiàn)“未找到”狀態(tài)錯(cuò)誤(通常是404 HTTP狀態(tài)代碼)。


訪問遭拒絕:
一般情況下,百度會(huì)通過跟蹤網(wǎng)頁(yè)間的鏈接來(lái)查找內(nèi)容。百度spider必須能夠訪問某個(gè)網(wǎng)頁(yè)才能抓取該網(wǎng)頁(yè)。如果您意外地看到了“訪問遭拒”錯(cuò)誤,可能是由于以下幾種原因?qū)е碌模?br/>(1)百度spider無(wú)法訪問您網(wǎng)站上的網(wǎng)址,因?yàn)槟W(wǎng)站上的所有或部分內(nèi)容要求用戶登錄后才能查看。
(2)您的服務(wù)器要求用戶使用代理進(jìn)行身份驗(yàn)證,或者您的托管服務(wù)提供商阻止百度spider訪問您的網(wǎng)站。

參數(shù)錯(cuò)誤:
由于請(qǐng)求的語(yǔ)法格式有誤,不符合服務(wù)器對(duì)請(qǐng)求的某些限制,或者請(qǐng)求本身存在一定的錯(cuò)誤,服務(wù)器無(wú)法理解此請(qǐng)求,導(dǎo)致抓取失敗。

socket讀寫錯(cuò)誤:
當(dāng)百度spider訪問服務(wù)器,進(jìn)行tcp通信的時(shí)候,socket讀寫發(fā)生異常,導(dǎo)致數(shù)據(jù)不能正常返回。請(qǐng)檢查服務(wù)器連接狀況和防火墻設(shè)置是否符合預(yù)期。

讀取http頭或者頁(yè)面內(nèi)容時(shí)失?。?/strong>
您的服務(wù)器收到了我們的完整請(qǐng)求,但是返回信息時(shí)不完整,http頭或者響應(yīng)正文發(fā)生了截?cái)?,?dǎo)致網(wǎng)頁(yè)內(nèi)容不能正常讀取。


閱讀本文的人還可以閱讀:

什么是抓取頻次?如何調(diào)整百度的抓取頻次

什么是DNS錯(cuò)誤?如何處理DNS錯(cuò)誤

什么是抓取診斷?使用抓取診斷工具有哪些作用

本文由夫唯SEO特訓(xùn)營(yíng)編輯整理。

搜外專注SEO培訓(xùn)和SEO周邊Saas服務(wù)解決方案,10年來(lái)超過五萬(wàn)學(xué)員在此獲得技術(shù)提升和人脈圈子。

SEO課程包含移動(dòng)搜索、零基礎(chǔ)建站、群站SEO思維、搜外6系統(tǒng)、SEM入門等。

192期A班報(bào)名時(shí)間7月1日-7月15日,請(qǐng)?zhí)砑诱猩头∧⑿牛簊eowhy2021。 微信掃碼添加客服人員

我們的目標(biāo)是:讓非技術(shù)人員輕松學(xué)會(huì)互聯(lián)網(wǎng)技術(shù)。

  • 搜外會(huì)員SEO交流群(免費(fèi))

    微信掃碼添加客服人員
  • 小程序運(yùn)營(yíng)交流群(免費(fèi))

    微信掃碼添加客服人員
  • 搜外會(huì)員SEM競(jìng)價(jià)交流群(免費(fèi))

    微信掃碼添加客服人員
  • 夫唯學(xué)員SEO交流群(VIP)

    微信掃碼添加客服人員

掃碼獲取資源

微信掃碼添加客服人員
  • SEO技術(shù)實(shí)戰(zhàn)微信群

    微信掃碼添加客服人員
  • 大站流量總監(jiān)群(審核身份)

    微信掃碼添加客服人員
  • Google獨(dú)立站英文SEO群

    微信掃碼添加客服人員
  • SEO團(tuán)隊(duì)KPI管理表格

    微信掃碼添加客服人員
  • 工業(yè)品網(wǎng)站友情鏈接群

    微信掃碼添加客服人員
  • 本地生活服務(wù)業(yè)友鏈群

    微信掃碼添加客服人員

跟夫唯老師系統(tǒng)學(xué)習(xí)群站SEO
成為互聯(lián)網(wǎng)運(yùn)營(yíng)推廣大咖

掌握SEO技巧、建站前端、群站霸屏、SEM入門、新聞源推廣……
Processed in 0.141393 Second , 42 querys.