加入收藏RSS訂閱SEO教程 SEO優化 SEO自學 網站優化
你的位置:首頁 ? SEO教程 ? 正文

網站優化也要適當的屏蔽蜘蛛抓??!

選擇字號: 超大 標準 發布時間:2014-7-18 16:30:23 | 作者:Searcheo | 0個評論 | 人瀏覽

本文地址:http://www.umpuhz.live/post/130.html 轉載請注明出處!

    絕大多數站長都知道,網站能夠在搜索引擎里獲得很好的排名是非常重要的,于是很多站長竭盡討好搜索引擎之能事,恨不得把搜索引擎的蜘蛛當成皇上來看待,希望能夠獲得蜘蛛的賞識,從而提升網站的排名,可是事實上,即使把蜘蛛伺候好了,也不能夠獲得很好的排名,這是為什么呢?因為蜘蛛并沒有人類的情感,即時你把它當成皇上他也對你毫無憐憫,該怎樣就怎樣,所以在網站優化方面,并不是對蜘蛛越好優化效果就越好,而是要懂得取舍!

    要學會屏蔽一些蜘蛛的技巧!比如除了限制蜘蛛在admin和data上的爬行,還可以在其他的目錄上適當的屏蔽蜘蛛,也是非常有好處的。對于限制目錄及文件的方法,可以閱讀:Robot.txt用法詳解及robot.txt問題匯總

    今天我們就來講講析幾種屏蔽蜘蛛的技巧!    

一、圖片和模板目錄都可以進行屏蔽     
    因為目前很多站長都是在互聯網上找相同的圖片和套用現成的模板,這些模板和圖片已經在互聯網泛濫了,此時你還讓你的網站被蜘蛛再次爬行這些老掉牙的東西,自然會讓蜘蛛非常的反感,從而讓你的網站貼上模仿作弊的標簽,想要獲得搜索引擎的青睞反而是更加困難,所以images目錄通??梢云帘?!
二、緩存目錄可以屏蔽,防止重復索引
    蜘蛛是非常貪婪的,只要你給他喂食,它是不管真實還是虛幻都照單全收,比如網站的緩存目錄里面的內容,蜘蛛也會照樣來進行索引,這勢必和網站里面的內容出現了重復,如果出現重復的數量過多,那么百度的算法機制就會認為你的網站在作弊,從而甚至提升你網站的權重,給網站帶來極大的影響,通常每種建站程序的緩存目錄是不一樣的,要根據不同的建站程序來屏蔽相應的緩存目錄是很有必要的!
三、CSS目錄及部分RSS頁需要屏蔽
    CSS目錄對于蜘蛛而言是完全無用的,抓取后反而會影響搜索引擎算法的判斷,所以可以通過ROBOTS.TXT文件來進行屏蔽,另外很多建站程序的RSS頁也是一種內容的重復,抓取后也會造成搜索引擎的誤判斷,這兩個方面的內容都需要屏蔽!這種屏蔽看起來是對蜘蛛的大不敬,實際上卻如良藥苦口利于??!忠言逆耳利于行!
四、如果有雙頁面,那么優先屏蔽動態頁面
    一般而言,網站的靜態頁面是很容易被搜索引擎收錄,通常蜘蛛抓取和收錄是兩回事,網站除了靜態頁面之外,大部分網站還存在著動態的頁面,比如“www.umpuhz.live/1.html與www.umpuhz.live/1.asp?id=1這兩個指的是同一個頁面,如果不進行屏蔽的話,勢必造成兩個頁面同時被蜘蛛抓取,可是到了搜索引擎算法判斷的時候,因為發現了兩個一樣的頁面,就會認為你網站存在作弊的嫌疑,所以加大對你網站的考察力度,從而影響到網站的排名,所以正確的做法是優先屏蔽網站的動態頁面! 相關閱讀:靜態URL VS 動態URL

五、涉及網站安全隱私的內容要屏蔽
    本文的開頭提到了admin和data目錄實際上是有關網站安全隱私的內容,暴露給蜘蛛是沒有絲毫好處的,甚至還可能會多一份被攻擊的渠道,所以涉及到有關安全的目錄,比如數據庫目錄,網站日志目錄以及備份目錄都需要進行屏蔽,另外有些站長在網站備份后,再進行下載,可是下載過后有不注意對備份文件的刪除,這也是很容易導致蜘蛛重復抓取,也容易導致被黑客攻擊,所以利用ROBOTS.TXT文件來屏蔽類似”RAR和ZIP”文件也是非常有必要的!最起碼能夠增強網站的安全性!
    總而言之,如果一味的把蜘蛛當成皇上,往往是馬屁拍到尾巴上了,通過適當的屏蔽,解決蜘蛛的工作壓力,這才是最大的馬屁,也是提升網站優化水平的大道!




標簽:  

SEO教程網

猜你喜歡

發表評論

必填

選填

選填

必填,不填不讓過哦,嘻嘻。

記住我,下次回復時不用重新輸入個人信息

◎歡迎參與討論,請在這里發表您的看法、交流您的觀點。

站長推薦的文章
瀏覽最多的文章
無覓相關文章插件,快速提升流量 体彩app官方网站