robots.txt文(wén)件(jiàn)可(kě)以有(yǒu)效的(de)屏蔽搜索引擎抓取我們不(bù)需要(yào)被抓取的(de)頁面和(hé)網站(zhàn)源文(wén)件(jiàn)，其中的(de)好(hǎo)處是(shì)限制(zhì)搜索引擎過多(duō)的(de)抓α取不(bù)必要(yào)的(de)內(nèi)容，減少(shǎo)搜索引擎蜘蛛進行(xíng)不(bù)必要(yào)的(de)網站(zhàn)爬尋分(fēn)散，也(yě)是(shì)為(wèi)了(le)讓我們的(de)網站(zhàn)不(bù)必要(yào)的 (de)內(nèi)容不(bù)在搜索引擎被收錄，不(bù)讓别人(rén)搜索到(dào)。 其中什(shén)麽樣的(de)文(wén)件(jiàn)會(huì)被限制(zεhì)抓取呢(ne)？

一(yī)、是(shì)否通(tōng)過robots.txt來(lái)屏蔽動态頁面，減少(shǎo)頁面的(de)重複抓取？

其實個(gè)人(rén)建議(yì)普通(tōng)網站(zhàn)不(bù)必要(yào)進行(xíng)動态頁面的(de)屏蔽，搜索引擎一(yī)般會(huìλ)自(zì)動判斷是(shì)否重複，普通(tōng)網站(zhàn)內(nèi)容并不(bù)是(sh♦ì)非常多(duō)，一(yī)般出現(xiàn)重複頁面的(de)可(kě)能(néng)性也(yě)比較低(¶dī)，如(rú)果是(shì)信息站(zhàn)和(hé)論壇站(zhàn)等建議(yì)屏蔽動态頁面。

二、robots.txt屏蔽特殊頁面，隐私內(nèi)容的(de)屏蔽。

robots.txt屏蔽特殊頁面，網站(zhàn)隐私內(nèi)容的(de)屏蔽，其實對(duì)于一(yī)個(gè)網站(zhàn)來(∏lái)說(shuō)，隐私內(nèi)容比較難實現(xiàn)，在無程序支持的(de)前提下(xià)，這(zhè)裡(lǐ)說(shuō)的(de)隐私是(shì)指一(yī)些(xiē)不(b÷ù)想被流傳到(dào)互聯網的(de)內(nèi)容，屏蔽搜索引擎蜘蛛避免在互聯網被泛濫，如(rú)：網絡培訓班培訓資料。

三、網站(zhàn)特殊文(wén)件(jiàn)夾屏蔽

特殊文(wén)件(jiàn)夾一(yī)般是(shì)指，網站(zhàn)程序安裝文(wén)件(jiàn)，動态功能(néng)頁面，多(duō)于的(de)γ文(wén)件(jiàn)夾，後台功能(néng)等。

robots.txt文(wén)件(jiàn)的(de)好(hǎo)處剛才也(yě)說(shuō)了(le)，就(jiù)是(shì)提供搜索引擎蜘蛛看δ(kàn)的(de)，告訴它哪些(xiē)文(wén)件(jiàn)你(nǐ)不(bù)要(yào)看(kàn)，不(bù)給你(nǐ)的(de)，這(zhè)是(shì)它的(de)Ω優點，但(dàn)是(shì)robots.txt在告訴搜索引擎蜘蛛的(de)同時(shí)，也(yě)在告訴其他(tā) 人(rén)，這(zhè)個(gè)網站(zhàn)的(de)隐私，比如(rú)：網站(zhàn)後台文(wén)件(jiàn)夾✘地(dì)址，相(xiàng)信很(hěn)多(duō)站(zhàn)長(cháng)都(dōu)會(↑huì)在robots.txt上(shàng)面填寫，如(rú)：Disallow:/dede/ 從(cóng)這(zhè)裡(lǐ)我們可(kě)以看(kàn)錯(c"uò)應該是(shì)織夢程序，當然我們可(kě)以更改。

網站(zhàn)屏蔽的(de)安裝文(wén)件(jiàn)地(dì)址，如(rú)：Disallow: /install/ 這(zhè)一(yī)般是(shì)程序安裝文( wén)件(jiàn)的(de)地(dì)址，就(jiù)算(suàn)我們後台地(dì)址更改後一(y☆ī)樣能(néng)分(fēn)析出是(shì)什(shén)麽程序做(zuò)出來(lái)的(de)。

屏蔽網站(zhàn)後台登錄地(dì)址，如(rú)：Disallow: /login.asp  這(£zhè)樣就(jiù)明(míng)顯告訴有(yǒu)心人(rén)你(nǐ)的(de)後台登錄地(dì)址了(le)。

屏蔽網站(zhàn)隐私內(nèi)容，如(rú)：Disallow: /123.html  也(yě)隻是(shì)針對(duì)搜索引‍擎，對(duì)人(rén)為(wèi)我們還(hái)是(shì)有(yǒu)風(fēng)險。

上(shàng)面說(shuō)的(de)幾點都(dōu)是(shì)出于安全性的(de)考慮，那(nà)我們還(hái)寫不(bù)寫robots.tx​t呢(ne)？

根據我個(gè)人(rén)的(de)操作(zuò)來(lái)說(shuō)，robots.txt還(hái)是(s₽hì)要(yào)些(xiē)的(de)，畢竟優化(huà)很(hěn)多(duō)時(shí)候離(lí)不(bù)開(kāi)他(tā¥)，但(dàn)是(shì)對(duì)于網站(zhàn)安全我們也(yě)要(yào)采取一(yī)些(xiē')必要(yào)的(de)措施與手段，那(nà)我們隻能(néng)在程序的(de)安全性上(shàng)做(zuò)手腳了(le)，但(dàn)要(yào)怎麽做(z uò)這(zhè)手腳是(shì)程序員(yuán)發揮作(zuò)用(yòng)的(de)時(sh±í)候了(le)，比如(rú)會(huì)員(yuán)功能(néng)等。

其次，為(wèi)了(le)不(bù)告知(zhī)他(tā)人(rén)我們的(de)隐私，那(nà)麽我們可(kě)以在robots裡(∞lǐ)用(yòng)“*”來(lái)隐藏我們的(de)文(wén)件(jiàn)名。  

從(cóng)上(shàng)圖可(kě)以見(jiàn)，我們可(kě)以完全不(bù)暴露自(zì)己的©(de)文(wén)件(jiàn)名了(le)，同時(shí)也(yě)能(néng)夠對(duì)搜索引擎蜘蛛進行(xíng)屏蔽！