六月婷婷综合激情-六月婷婷综合-六月婷婷在线观看-六月婷婷在线-亚洲黄色在线网站-亚洲黄色在线观看网站

    想讓搜索引擎大量收錄我們的文章總是很困難，不想讓它收錄的后臺頁卻被收錄了，這樣的情況，不知道站長朋友碰到過沒有？被搜索引擎無情收錄了后臺，別人一輸入site:www.mybbdy.com，就可以把你的后臺地址暴露無遺，是不是很郁悶的事？別急，雖然我們很難讓搜索引擎收錄我們希望收錄的頁面，但是我們很容易做到讓搜索引擎不收錄我們不希望它收錄的頁面，跟本站一起學(xué)習(xí)一下。

    一旦你遇到這樣的情況時，我們常用的辦法有兩個：一是編輯robots.txt文件；或在不想被收錄的頁面頭部放置META NAME="ROBOTS"標(biāo)簽。

    robots.txt文件，是每一個搜索引擎到你的網(wǎng)站之后要尋找和訪問的第一個文件，robots.txt是你對搜索引擎制定的一個如何索引你的網(wǎng)站的規(guī)則。通過這個文件，搜索引擎就可以知道在你的網(wǎng)站中，哪些文件是可以被索引的，哪些文件是被拒絕索引的。

    在很多網(wǎng)站中，站長們都忽略了使用robots.txt文件。因為很多站長都認(rèn)為，自己的網(wǎng)站沒有什么秘密可言，而且自己也不太會使用robots.txt的語法，因此一旦寫錯了會帶來更多的麻煩，還不如干脆不用。

    其實這樣的做法是不對的。在前面的文章中我們知道，如果一個網(wǎng)站有大量文件找不到的時候（404），搜索引擎就會降低網(wǎng)站的權(quán)重。而robots.txt作為蜘蛛訪問網(wǎng)站的第一個文件，一旦搜索引擎要是找不到這個文件，也會在他的索引服務(wù)器上記錄下一條404信息。

    雖然在百度的幫助文件中，有這樣的一句話“請注意，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請勿建立robots.txt文件。”但是我個人還是認(rèn)為建立robots.txt還是必須的，哪怕這個robots.txt文件是一個空白的文本文檔都可以。因為我們的網(wǎng)站畢竟不是僅僅會被百度收錄，同時也會被其他搜索引擎收錄的，所以，上傳一個robots.txt文件還是沒有什么壞處的。