一、什么是Bingbot？
Bingbot 是 Bing 用來抓取或“蜘蛛”網(wǎng)絡(luò)的爬蟲的名稱。Bingbot的工作是尋找新的 并更新了互聯(lián)網(wǎng)上網(wǎng)站上的頁面，以便可以對其進(jìn)行索引處理。而 抓取網(wǎng)站，Bingbot查看機器人.txt文件以獲取來自網(wǎng)站的特殊說明 所有者/網(wǎng)站站長。Bingbot 遵守機器人.txt指令，包括抓取延遲：設(shè)置和 在沒有抓取延遲的情況下，會尊重網(wǎng)站站長在抓取控制功能中的輸入。
Bingbot在確定它應(yīng)該訪問您網(wǎng)站上的頁面的頻率方面做得很好，需要機器人.txt 以及考慮爬網(wǎng)控制規(guī)則和提示。我們稱之為“爬行禮貌”?？赡苓€有 您覺得 Bingbot 不夠禮貌并且訪問您的頁面比對您有用的情況（一個案例 的過度爬行）。

二、如何處理必應(yīng)蜘蛛過度爬網(wǎng)？
1.驗證您看到的機器人流量是否確實來自有效的 Bingbot 服務(wù)器。您可以通過以下方式執(zhí)行此操作 查看用戶代理字符串（任何人都可以輕松欺騙）以及 IP 地址。用 這驗證 必應(yīng)機器人工具以獲得驗證。
2.驗證它是真正的 Bingbot 流量后，您可以使用其中一種來減少爬網(wǎng)程序流量 以下方法（3、4 或 5，如果您尚未這樣做）。
3.在繁忙時段使用爬 控制特征。
4.將“抓取延遲：”指令添加到您的機器人.txt文件中。例如：
A.用戶代理：必應(yīng)機器人
B.爬網(wǎng)延遲：5
C.爬網(wǎng)延遲限制必應(yīng)機器人可以爬網(wǎng)的頁數(shù)。它定義了小的時間段 窗口（1 到 20 秒），在此期間，Bingbot 只能從您的網(wǎng)站抓取一個 URL。為 例如，如果您將抓取延遲設(shè)置為 5（即，您給出指令以在 1 秒內(nèi)抓取 5 個網(wǎng)址）， Bingbot每天將能夠抓取17280個URL。如果將爬網(wǎng)延遲增加到 10，則只有 8640 系統(tǒng)會抓取網(wǎng)址。爬網(wǎng)延遲越高（最高為 20），頁數(shù)越少 爬。
5.如果您已按照步驟 1 和 2 操作，但問題仍然存在，您可以聯(lián)系必應(yīng)網(wǎng)站站長支持.填寫 ，然后在“您遇到什么類型的問題？”下拉菜單中，選擇“正在抓取” 問題”。在“你需要什么幫助？”下拉菜單下，選擇“必應(yīng)也在爬網(wǎng) 很多“，它提供了您問題的即時解決方案。如果您仍有疑問，請切換 按鈕為“是”，描述問題，然后單擊“獲取幫助”。您可以期待在 24-48小時。當(dāng)您報告過度爬網(wǎng)問題時，支持團(tuán)隊將要求您提供服務(wù)器日志 在下一步中顯示 Bingbot 在一段時間內(nèi)的活動的示例，因此請確保 隨身攜帶。