1、 觀察百度爬蟲爬行網站的時間點的訪問日志,觀察web服務日志是否有問題。
2、議用戶使用阿里云監控,監控系統負載,網絡帶寬使用率。觀察系統負載以及網絡帶寬是否正常,如果偏高建議用戶升級ECS服務器配置。
3、建議用戶使用阿里云監控,監測網站的可用性的。
4、使用百度站長工具了解網站的連通率:
A. 利用抓取異常、抓取頻次工具觀察抓取情況
注:每個工具頁面的右側下方都有使用說明可以了解,如下:
B. 利用抓取診斷工具觀察抓取情況
為了保證網站對百度蜘蛛的穩定訪問性能,日常需要養成定期抓取診斷的習慣,另外抓取診斷不是說光看看狀態是否“抓取成功”就行了。有下面幾步進行:
A. 下拉選擇分”pc”、 ”移動”進行抓取,”pc”意味著一般意義上的電腦端訪問診斷,”移動”則是如手機、平板等移動設備端訪問診斷。
B. 網站主要的引流頁,如首頁、詳情頁、內容頁、專題頁等都要進行抓取,另外可以重點幾個時間段(比如網站高峰時間段)每天定期進行測試。
C. 抓取失敗了,點擊”抓取失敗”查看提示信息,如果自己沒有技術能力解決問題,可以跟空間商進行溝通,然后向工具提交報錯。
D. 抓取成功后,也不能說就萬事大吉了,還要點擊”抓取成功”進去注意:提交網址、抓取網址、抓取UA、網站ip、下載時長、頭部信息(服務器返回狀態碼、gzip等相關信息)、網頁源碼是否都正常。
特別說明:有很多站長就光注意抓取成功,卻不知網站ip可能并非自己的實際ip,還可能每隔一段時間都變。當發現ip有問題,及時跟網絡商溝通,并在網站ip旁點擊“報錯”按鈕,百度會更新網站ip,但是切記不要ip變化頻繁。此外當然還可能出現實際抓取網址、頭部信息、網頁源碼等都不是自己本來設置的。
5. 測試抓取成功并能打開,這里主要注意DNS和空間的穩定性。
A. DNS的問題
--------下方為百度官方資料-------------
當心dns服務器不穩導致站點被屏
近期百度站長平臺收到多個反饋,稱網站從百度網頁搜索消失,site查詢發現連通率為0。
經追查發現這些網站都使用godaddy的DNS服務器 *.DOMAINCONTROL.COM,此系列DNS服務器存在穩定性問題,Baiduspider經常解析不到ip,在Baiduspider看來,網站是死站點。
此前我們也發現過多起小dns服務商屏蔽Baiduspider解析請求或者國外dns服務器不穩定的案例。
建議站長盡可能使用國內大型服務商提供的DNS服務,如dnspod等,以保證站點的穩定解析。
--------上方為百度官方資料-------------
B. 空間的穩定性
空間的資源不足,內存、并發連接等等,當訪問量很少的時候,用戶察覺不出,當用戶量高流量大時候出現網站打開異常會導致時,建議用戶使用云監控監控網站打開延遲以及ECS服務器性能監控,了解服務器的性能異常及時調整服務器狀態。
6. 建議用戶與百度收錄取得聯系,詢問下這邊連通率的問題的。
上?;鹬裥畔⒓夹g有限公司 滬ICP備09072341號-5