今天,一位客戶聯(lián)系到主機(jī)吧反饋使用這邊高防IP后,百度抓取不了,顯示加載中。
我們先是讓客戶到百度站長平臺(tái)用抓取診斷檢測,發(fā)現(xiàn)百度站長平臺(tái)抓取的是源IP的,也就排除了高防IP攔截百度蜘蛛的問題。
由于客戶使用的源服務(wù)器也是跟我們買的,用的是景安的服務(wù)器,我們又提交了工單,讓景安的技術(shù)進(jìn)行檢測。
技術(shù)反饋如下:
您好,檢測服務(wù)器是沒有限制百度和站長工具進(jìn)行抓取的,測試對(duì)IP地址檢測可以顯示正常內(nèi)容,這邊又對(duì)您的域名進(jìn)行檢測時(shí)發(fā)現(xiàn),第一次使用瀏覽器訪問時(shí),您的網(wǎng)站title處會(huì)先顯示正在加載中,然后才會(huì)顯示正常頁面,再次刷新就不會(huì)出現(xiàn)了,反復(fù)使用世界之窗,火狐瀏覽器,谷歌瀏覽器,360安全瀏覽器測試均有此現(xiàn)象,此問題可能與您的程序設(shè)計(jì)有關(guān),建議您檢查一下,或者您可以使用其他的程序文件放進(jìn)去測試一下。
這個(gè)情況有點(diǎn)類似于百度云加速的強(qiáng)力防護(hù)模式的5秒安全檢測,主機(jī)吧懷疑是開啟軟件防火墻導(dǎo)致的,于是咨詢客戶是否在服務(wù)器開啟有軟件防火墻,結(jié)果還真是,客戶啟用了寶塔面板里的CC防火墻,而且還啟用了嚴(yán)格模式,也就導(dǎo)致了百度蜘蛛抓取的是一個(gè)跳轉(zhuǎn)頁。
找到問題后客戶馬上把防火墻關(guān)了,果然抓取正常了。
從這件事中,讓我們警惕,別亂開防火墻,特別是網(wǎng)上那些軟防,其大多數(shù)都是誤殺攔截很嚴(yán)重的軟件,很多都是對(duì)正常訪問進(jìn)行限制才能防得住CC攻擊的,可能會(huì)對(duì)你的業(yè)務(wù)造成嚴(yán)重?fù)p失,像今天這位客戶,就是因?yàn)榘俣茸ト〔坏?,顯示加載中,現(xiàn)在網(wǎng)站流量幾乎沒有了,所以選用防護(hù)服務(wù)的時(shí)候,一定要謹(jǐn)慎!