建站優化
利用百度蜘蛛referer找到報錯頁面入口
發布日期:2017-07-14 09:30

  大家應該都知道已經全站https并取消referer關鍵(解釋:比喻事物的重要組成部分)詞顯示了,那么“蜘蛛(baiduspider)referer”又是什么?有什么妙用嗎?藝龍SEO負責人劉明發現通過( tōng guò)蜘蛛referer可以快速(kuài sù)定位部分站內url的報錯xx或者5xx原因。隨后社區版主飛鷹正義也對文章做了補充修正,現推薦給各位同學們。
  什么是蜘蛛(baiduspider)的referer
  蜘蛛的referer,是指當蜘蛛抓取某一個URL的時候,在HTTP頭中帶的Referer字段。請注意,這個定義和最近聲明去除Referer中關鍵詞數據沒有任何關系。這次講的是spider發起的HTTP請求,而去除的是用戶發起的。如果蜘蛛抓取首頁的logo,會發起這樣的請求
  上面Referer字段很明確的表示了他是從www.baidu.com這個頁面上發現并抓取了www.baidu.com/img/bd_logo1.png。青島網絡公司為青島企業提供網站建設,網站推廣,網站改版,門戶網站,電商網站,移動網站,營銷型網站建設和岳陽地區百度推廣,400電話,百度官網,百度網盟,百度信息流等相關企業綜合互聯網營銷公司。制定于岳陽市場,服務岳陽中小型企業的轉型和互聯網服務的支持。而大家在服務器訪問(fǎng wèn)日志中也應該能看到相應的記錄。目前發現只有當抓取一個網頁的同時,又抓取了網頁中的im
  G、js和css才會帶上referer字段。青島做網站當一個新網站上線后,第一是沒有權重二沒有收錄三沒有流量,也就是說什么都沒有,那么我們必須讓我們的網站快速獲得流量提高權重。最為可靠的就是先錄制一套視頻教程發布到視頻網站上去,一般發布了視頻就會很多的人去看,這樣就會很快帶動網站流量,權重馬上就提高了。這部分額外(extra)的抓取量,應該不會占用分配的抓取配額,屬于(shǔ yú)“買1送1”。
  對于站長的意義
  如果你發現有一批URL僅限于img,js,css報錯xx或者5xx,但是一直找不到入口在哪,也就是說你不明白蜘蛛是從哪里發現這些錯誤URL的。這個字段可以幫助你迅速定位。
  舉個例子
  比如我們的SEO日志分析系統中可以看到,符合下面這種URL Pattern的路徑每天有6萬到10萬的抓取而且全部報0。青島網站建設就建站公司而言,很多企業的需求往往具有模糊性,對此建站公司要從專業性的角度為企業提供完善的策劃方案,而且這些方案必須要做到圖文并茂,同時通過圖片來模擬相關的設計以及后臺功能展現情況,讓企業對此有著明確的認識和了解,然后確定最終的需求,然后再進行網站設計和建設,就會做到事半功倍,否則無論是企業還是建站公司都是雙輸。
  從發現問題(wèn tí)至今過了1個月,查遍整個網站(website)我也沒找到入口。今天偶然仔細查了一下日志,想起了蜘蛛的referer,馬上就能定位(dìng wèi)問題了。這些0的URL來自于一套沒人維護(Maintain)也沒人關注的頁面往往是這樣。收錄流量都不錯。由于最近公司圖片系統更新,圖片的URL全部更改了,但這套頁面并沒有跟著更新。
  如果站點沒有記錄referer怎么辦
  iis請在這里勾選“cs(Referer)”
  apache請參考:
  apache log配置“Combined Log Format”章節
  apache log配置的官方鏈接
  Nginx請參考
  nginx log配置(deploy)
  nginx log配置的官方(authority)鏈接
  結束語
  · 很多SEO問題并不是立即致命的,所以沒有及時解決。流量就像螞蟻啃大象一樣一點一點啃掉了。
  · 系統(system)性的知識(zhī shí)積累還是會在關鍵時刻發揮作用(zuò yòng)的。
  
广东快乐十分分析高手