一、如何處理服務(wù)器連接錯誤?
減少動態(tài)網(wǎng)頁請求的過多網(wǎng)頁加載。如果網(wǎng)站為多個網(wǎng)址提供相同內(nèi)容,則會被視為動態(tài)提供內(nèi)容(例如,www.example.com/shoes.php?color=red&size=7與www.example.com/shoes.php?size=7&color=red提供的內(nèi)容相同)。動態(tài)網(wǎng)頁的響應(yīng)時間可能會很長,并會因此導(dǎo)致超時問題。或者,服務(wù)器可能會返回超載狀態(tài),要求百度spider放慢抓取該網(wǎng)站的速度。一般來說,建議您盡量使用簡短的參數(shù)并謹(jǐn)慎使用。
確保您網(wǎng)站的托管服務(wù)器沒有停止運行、超載或配置不當(dāng)。如果連接問題、超時問題或響應(yīng)問題仍然存在,請與您的網(wǎng)站托管服務(wù)提供商聯(lián)系,并考慮增強(qiáng)您的網(wǎng)站處理流量的能力。
檢查網(wǎng)站是否不小心屏蔽了百度spider的IP。您可能會由于系統(tǒng)級問題而阻止了百度訪問,例如DNS配置問題、配置不當(dāng)?shù)姆阑饓駾oS防護(hù)系統(tǒng)、內(nèi)容管理系統(tǒng)配置問題。防御系統(tǒng)是保證托管服務(wù)正常運行的關(guān)鍵因素之一,并且這些系統(tǒng)通常會配置為自動阻止超量的服務(wù)器請求。由于百度spider發(fā)出的請求通常要比普通用戶多,因此可能會觸發(fā)這些防御系統(tǒng),導(dǎo)致它們阻止百度spider訪問并抓取您的網(wǎng)站。要解決此類問題,您需要確定網(wǎng)站基礎(chǔ)架構(gòu)中的哪個部分在阻止百度spider,然后取消該阻止。如果您沒有控制防火墻的權(quán)限,就需要與您的托管服務(wù)提供商聯(lián)系解決此問題。
1.robots封禁問題
在抓取診斷工具中如果返回的抓取失敗結(jié)論是robots封禁,請確認(rèn)您是否對該網(wǎng)址設(shè)置了robots,阻止百度spider抓取網(wǎng)站的某些內(nèi)容,如果您未使用robots文件屏蔽百度,請點擊旁邊的報錯鏈接,百度會立即更新您站點的robots信息;如果是您的誤操作導(dǎo)致了封禁,請及時修改robots文件,避免造成您的網(wǎng)站在百度收錄量和流量的下降。
2.DNS問題
DNS錯誤是指由于服務(wù)器停止運行或DNS到您網(wǎng)域的路由存在問題,導(dǎo)致百度spider無法與DNS服務(wù)器通信。
二、如何處理DNS錯誤?
確保百度能夠抓取您的網(wǎng)站。對重要網(wǎng)頁(例如您的首頁)采用抓取診斷工具,如果它能順利返回您的首頁內(nèi)容,那么您就可以認(rèn)為百度能夠正常訪問您的網(wǎng)站。對于持續(xù)的或反復(fù)出現(xiàn)的DNS錯誤,請與您的DNS提供商聯(lián)系。通常情況下,您的DNS提供商即為網(wǎng)站托管服務(wù)提供商。配置您的服務(wù)器,使其能夠以404或500等HTTP錯誤代碼對不存在的主機(jī)名作出響應(yīng)。
1.404錯誤
一般情況下,當(dāng)百度spider訪問到不存在的網(wǎng)頁(因為您刪除或重命名了網(wǎng)頁且沒有將舊網(wǎng)址重定向到新網(wǎng)頁,或者鏈接中存在拼寫錯誤)時,就會出現(xiàn)“未找到”狀態(tài)錯誤(通常是404 HTTP狀態(tài)代碼)。
2.訪問遭拒絕
一般情況下,百度會通過跟蹤網(wǎng)頁間的鏈接來查找內(nèi)容。百度spider必須能夠訪問某個網(wǎng)頁才能抓取該網(wǎng)頁。如果您意外地看到了“訪問遭拒”錯誤,可能是由于以下幾種原因?qū)е碌模?br />
(1)百度spider無法訪問您網(wǎng)站上的網(wǎng)址,因為您網(wǎng)站上的所有或部分內(nèi)容要求用戶登錄后才能查看。
(2)您的服務(wù)器要求用戶使用代理進(jìn)行身份驗證,或者您的托管服務(wù)提供商阻止百度spider訪問您的網(wǎng)站。
3.參數(shù)錯誤
由于請求的語法格式有誤,不符合服務(wù)器對請求的某些限制,或者請求本身存在一定的錯誤,服務(wù)器無法理解此請求,導(dǎo)致抓取失敗。
4.socket讀寫錯誤
當(dāng)百度spider訪問服務(wù)器,進(jìn)行tcp通信的時候,socket讀寫發(fā)生異常,導(dǎo)致數(shù)據(jù)不能正常返回。請檢查服務(wù)器連接狀況和防火墻設(shè)置是否符合預(yù)期。
5.讀取http頭或者頁面內(nèi)容時失敗
您的服務(wù)器收到了我們的完整請求,但是返回信息時不完整,http頭或者響應(yīng)正文發(fā)生了截斷,導(dǎo)致網(wǎng)頁內(nèi)容不能正常讀取。
? Copyright 2023 深圳藍(lán)曬科技有限公司. 粵ICP備2023054553號-1