廣州SEO百度排名優化_做百度排名行業領先-方興SEO一站式SEO服務,幫助企業網站快速排名,快速上首頁!| 網站地圖

主頁 > 百度排名 > 【岳陽seo】如何屏蔽蜘蛛對網站的抓取!

【岳陽seo】如何屏蔽蜘蛛對網站的抓取!

首頁 2019-11-15 11:41 百度排名 89 ℃


【岳陽seo】如何屏蔽蜘蛛對網站的抓取! 要知道在seo優化的過程當中,有時候是需要對搜索引擎蜘蛛進行屏蔽的,就是禁止對網站的某個地方進行抓取,那么我們應該如......

  【岳陽seo】如何屏蔽蜘蛛對網站的抓取!

  

  要知道在seo優化的過程當中,有時候是需要對搜索引擎蜘蛛進行屏蔽的,就是禁止對網站的某個地方進行抓取,那么我們應該如何屏蔽搜索引擎蜘蛛呢?下面我們一起來看一看具體的操作方法。

【岳陽seo】如何屏蔽蜘蛛對網站的抓取!

  

  百度蜘蛛抓取我們的網站,希望我們的網頁能被包含在它的搜索引擎中。將來,當用戶搜索時,它會給我們帶來一定量的搜索引擎優化流量。當然,我們不想讓搜索引擎抓取所有東西。

  

  因此,此時我們只希望能夠抓取搜索引擎搜索到的內容。例如,用戶的隱私和背景信息不希望搜索引擎被捕獲和包含。解決這些問題有兩種最佳方法,如下所示:

  

  robots協議文件屏蔽百度蜘蛛抓取

  

  robots協議是放在網站根目錄下的協議文件,可以通過網址(網址: http : / / / robots . txt )訪問,當百度蜘蛛抓取我們的網站時,它會先訪問這個文件。因為它告訴蜘蛛哪些能抓,哪些不能。

  

  robots協議文件的設置比較簡單,可以通過User-Agent、Disallow、Allow這三個參數進行設置。

  

  User-Agent:對不同搜索引擎的聲明;

  

  Disallow:不允許抓取的目錄或頁面;

  

  Allow:被允許抓取的目錄或頁面通常可以省略或不寫,因為如果你不寫任何不能抓取的東西,它就可以被抓取。

  

  下面我們來看一個示例,場景是我不希望百度抓取我網站所有的css文件,data目錄、seo-tag.html頁面

  

  User-Agent: BaidusppiderDisallow: /*.cssDisallow: /data/Disallow: /seo/seo-tag.html

  

  如上所述,user-agent聲明了蜘蛛的名稱,這意味著它針對的是百度蜘蛛。以下內容無法獲取"/*。css",首先/指的是根目錄,這是您的域名。 *是代表任何內容的通配符。這意味著無法抓取以.css結尾的所有文件。這是你自己的兩個經歷。邏輯是一樣的。

  

  如果要檢測上次設置的漫游器文件,可以訪問本文《檢查robots是否正確的工具介紹》并獲取詳細的工具來檢測您的設置。

  

  通過403狀態碼,限制內容輸出,屏蔽蜘蛛抓取。

  

  403狀態代碼是http協議中的網頁返回狀態代碼。當搜索引擎遇到403狀態代碼時,它知道這些頁面受權限限制。我無法訪問它。例如,如果您需要登錄才能查看內容,搜索引擎本身將無法登錄。如果您返回403,他也知道這是權限設置頁面,無法讀取內容。當然,它不會被包括在內。

  

  返回403狀態代碼時,應該有一個類似于404頁面的頁面。提示用戶或蜘蛛執行他們想要訪問的內容。兩者都是不可或缺的。您只有提示頁面,狀態代碼返回200,這是百度蜘蛛的大量重復頁面。有403個狀態代碼但返回不同的內容。這也不是很友好。

  

  最后,對于機器人協議,我想補充一點:“現在,搜索引擎將通過網頁的布局和布局來識別網頁的用戶友好性。如果阻止css文件和js文件相關到布局,然后搜索引擎我不知道你的網頁布局是好是壞。因此不建議阻止這些內容來自蜘蛛。

  

  好的,今天的分享在這里,我希望對你有所幫助,當然,上面的兩個設置對除了百度蜘蛛之外的所有蜘蛛都有效。安裝時要小心。

原文標題:【岳陽seo】如何屏蔽蜘蛛對網站的抓取!

tag標簽: SEO 如何 站的

搜索
網站分類
標簽列表
?

18025383583

2019特一肖公式规律