女同侵犯中文字幕_黄色网站A在线免費看_人妻被按摩到潮喷中文字幕_无码AV动漫精品一区二区免费

    為什么要禁止搜索引擎收錄？武漢做網(wǎng)站的公司—武漢盛世互聯(lián)小編為你介紹：一般我們網(wǎng)站可能會有較大的文件，如：圖片、FLASH、JS、視頻等，為了節(jié)省寬帶，也為了方便搜索引擎抓取，我們會設置robots協(xié)議，禁止搜索引擎收錄。如果你希望搜索引擎收錄網(wǎng)站所有的內(nèi)容，就不要建立robots.txt協(xié)議。

    武漢做網(wǎng)站的公司|禁止搜索引擎收錄的方法

    一般來說spider在訪問一個網(wǎng)站時，最先就是查看網(wǎng)站的robots.txt，用于指定蜘蛛抓取網(wǎng)站上的數(shù)據(jù)。在文件中聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

    robots.txt文件放在哪里？

    robots.txt文件應該放置在網(wǎng)站根目錄下。當spider訪問一個網(wǎng)站，比如武漢做網(wǎng)站的公司—盛世互聯(lián)官網(wǎng)：http://privateermotorsports.com時，首先會檢查該網(wǎng)站中是否存在http://privateermotorsports.com/robots.txt這個文件，如果Spider找到這個文件，它就會根據(jù)這個文件的內(nèi)容，來確定它訪問權限的范圍。如圖下：

    禁止搜索引擎收錄的方法

一、禁止搜索引擎跟蹤網(wǎng)頁的鏈接，而只對網(wǎng)頁建索引

    如果您不想搜索引擎追蹤此網(wǎng)頁上的鏈接，且不傳遞鏈接的權重，請將此元標記置入網(wǎng)頁的部分：

二、如果您不想百度追蹤某一條特定鏈接，百度還支持更精確的控制，請將此標記直接寫在某條鏈接上：

三、要允許其他搜索引擎跟蹤，但僅防止百度跟蹤您網(wǎng)頁的鏈接，請將此元標記置入網(wǎng)頁的部分：

四、我想禁止百度圖片搜索收錄某些圖片，該如何設置？

    禁止Baiduspider抓取網(wǎng)站上所有圖片、禁止或允許Baiduspider抓取網(wǎng)站上的某種特定格式的圖片文件可以通過設置robots實現(xiàn)，例：

1、禁止Baiduspider抓取網(wǎng)站上所有圖片，僅允許抓取網(wǎng)頁，禁止抓取任何圖片。

2、僅允許Baiduspider抓取網(wǎng)頁和.gif格式圖片，允許抓取網(wǎng)頁和gif格式圖片，不允許抓取其他格式圖片。

3、僅禁止Baiduspider抓取.jpg格式圖片

    最后需要說明的是：百度會嚴格遵守robots的相關協(xié)議，請注意區(qū)分您不想被抓取或收錄的目錄的大小寫，百度會對robots中所寫的文件和您不想被抓取和收錄的目錄做精確匹配，否則robots協(xié)議無法生效。想了解更多可閱讀武漢網(wǎng)站優(yōu)化的相關新聞。