在線客服與您一對一交流
當前位置: 主頁 > 行業新聞 > IT技術 >

利用robots.txt禁止百度蜘蛛Baidusppider抓取



 

User-agent: *
Disallow: /
Allow: /complain/
Allow: /media_partners/
Allow: /about/
Allow: /user_agreement/
 
User-agent: ByteSpider
Allow: /
 
User-agent: ToutiaoSpider
Allow: /

  以上是今日頭條的robots.txt,禁止所有搜索引擎收錄,同時又允許字節蜘蛛、頭條蜘蛛抓取。比較牛,不依靠其他搜索引擎,和淘寶一樣!

  robots協議文件屏蔽百度蜘蛛抓取

  robots協議是一個放在網站根目錄下協議文件,可以通過URL地址:http://你的域名/robots.txt進行訪問。當百度蜘蛛抓取我們網站時,會先訪問這個文件。因為里面告訴了蜘蛛哪些可以抓取,哪些不可以抓取。

  robots協議文件的設置比較簡單,可以通過User-Agent、Disallow、Allow這三個參數進行設置。

  User-Agent:對不同搜索引擎的聲明;

  Disallow:不允許抓取的目錄或頁面;

  Allow:允許抓取的目錄或頁面,一般可以省略不寫,因為你不寫什么是不可以抓的那就都是可以抓的;

  下面我們來看一個示例,場景是我不希望百度抓取我網站所有的css文件,data目錄、seo-tag.html頁面

  User-Agent: Baidusppider

  Disallow: /*.css

  Disallow: /data/

  Disallow: /seo/seo-tag.html

  如上,user-agent聲明的蜘蛛名稱,這個意思也就是說,針對百度蜘蛛。下面不能抓取”/*.css”,首先前面的/指的是根目錄,也就是你的域名。*是通配符,代表任意內容。其意思就是所有文件,以.css結尾的都不能抓取。下面兩個你自己體會吧。邏輯是一樣的。

相關文章:

  • 方法一:需要修改php.ini 如下圖 軟件商店 PHP配置設置 memory_limit=128M //相當于單個腳本可調用內存大小 #每個PHP頁面所吃掉的最大內存,默認8M max_execution_time=600 #每個PHP頁面運行的最大時間值(秒...

  • 換行的話要用 \r\n,而且要在雙引號里面,單引號不解析,直接輸出原字符串 php的換行符我們都知道:\n ,回車符:\r,在需要換行時,通常是用\r\n這個組合。但是為什么我們在使用fwrite寫入...

  • 個人網站選擇一個合適的模板是非常重要的,今天西安蟠龍網絡小編為你分享優秀的個人網頁設計模板需要具備的要素。 模板類型的網站就是已經有了網站框架,只需要直接套用就可以正常操...

  • 現在想做一個網站成本很低了,買個域名,買個幾十塊空間,弄個網站建設程序就可以開始你的玩耍了,如果你還想找成本更低的,可以看下面的分享。 如何創建網站一直都是很多朋友想要知...

  • 制作網站,尤其是我們沒有做過網站的朋友,建站經驗不足,需要多了解一些網站建設知識。制作網站網站建設流程、制作網站需求、網站制作注意事項、網站制作技術等等都要了解好,這樣...

  • 今天西安蟠龍網絡小編總結一下百度收錄和百度索引的關系 百度收錄是什么意思 百度收錄量,是指百度快照并且百度后臺釋放出來的量,是百度搜索數據庫對于每個網站網頁快照的收錄數據。...

  • 商城網站建設如何將吸引力提升 在信息如此豐富多樣的今天,商城網站建設如何才能夠在眾多的同類當中脫穎而出,獲得大眾的吸引和青睞呢?這其實是相關網站建設人員一直在思考的一個問...

  • 個人網站一般以個人博客居多,比較重視個性化、簡潔大方、利于搜索引擎優化,西安蟠龍網絡小編認為個人網站選擇模板沒必要自己全新設計,設計一個模板是要花很多時間的,而且自己的...

  • PHP輸出一個指定范圍內的隨機數 ?php echo mt_rand(5, 15); ? php查找字符串中出現的次數函數substr_count 判斷字符串中是否包含另一個字符串函數strpos PHP 截取字符串函數substr() PHP 字符串替換函數 str...

  • Rewrite重寫任務基本上都是由RewriteCond和RewriteRule兩個命令配合完成。 RewriteBase /規定根目錄為基準路徑, RewriteCond規定重寫的條件,如果條件成立,那么將會執行RewriteRule所規定的重寫規則。...

  • 公司:西安蟠龍網絡科技有限公司
  • 聯系人:張經理
  • 手機/微信:187 2951 9978
  • Q Q: 136 8888 63 點擊這里給我發消息
  • 地址:西安市雁塔區唐延南路11號逸翠園i都會
  • 寶塔BT面板設置PHP配置,提高上傳文件大小方法

    方法一:需要修改php.ini 如下圖 軟件商店 PHP配置設置 memory_limit=128M //相當于單個腳本可調用內存大小 #每個PHP頁面所吃掉的最大內存,默認8M max_execution_time=600 #每個PHP頁面運行的最大時間值(秒...

  • 利用robots.txt禁止百度蜘蛛Baidusppider抓取

    User-agent: * Disallow: / Allow: /complain/ Allow: /media_partners/ Allow: /about/ Allow: /user_agreement/ User-agent: ByteSpider Allow: / User-agent: ToutiaoSpider Allow: / 以上是今日頭條的robots.txt,禁止所有搜索引擎收錄,同時又...

  • PHP函數fwrite輸出txt文本換行(PHP批量提取文章標題)

    換行的話要用 \r\n,而且要在雙引號里面,單引號不解析,直接輸出原字符串 php的換行符我們都知道:\n ,回車符:\r,在需要換行時,通常是用\r\n這個組合。但是為什么我們在使用fwrite寫入...

  • 優秀的個人網頁設計模板需要具備的要素

    個人網站選擇一個合適的模板是非常重要的,今天西安蟠龍網絡小編為你分享優秀的個人網頁設計模板需要具備的要素。 模板類型的網站就是已經有了網站框架,只需要直接套用就可以正常操...

  • 如何創建網站可以少花錢

    現在想做一個網站成本很低了,買個域名,買個幾十塊空間,弄個網站建設程序就可以開始你的玩耍了,如果你還想找成本更低的,可以看下面的分享。 如何創建網站一直都是很多朋友想要知...網站網站建設

  • 制作網站需做好什么準備工作

    制作網站,尤其是我們沒有做過網站的朋友,建站經驗不足,需要多了解一些網站建設知識。制作網站網站建設流程、制作網站需求、網站制作注意事項、網站制作技術等等都要了解好,這樣...

下载手机棋牌游戏五张