在網站(zhàn)/目錄級别，也(yě)可(kě)以使用(yòng)robots.txt來(lái)控制(zhì)搜索引擎抓取，這(zhè)也(yě)是(shì)不(bù)支↓持.htaccess文(wén)件(jiàn)的(de)Windows 平台服務器(qì)下(xià)的(de)的(de)必須選擇。不(§bù)過，與采用(yòng).htaccess文(wén)件(jiàn)的(de)方式，控制(zhì)權完全掌握在網站(zhàn)建設者手中相(xiàng)比，robo↑ts.txt能(néng)否完全控制(zhì)搜索引擎的(de)Spider取決于搜索引擎是(shì)不(bù)是(shì)ε嚴格遵循robots.txt文(wén)件(jiàn)的(de)要(yào)求，如(rú)Baidu的(de)Spider就(jiù)曾多(duō)次被質疑<。

      在網頁級别，在html文(wén)件(jiàn)中使用(yòng)meta标簽，“n↔oindex”标簽将告訴搜索引擎的(de)Spider該頁面拒絕收錄，“nofollow”标簽則告訴搜索引擎的(de)Spider該網頁內(nèi)的(de)所有↑(yǒu)鏈接拒絕爬行(xíng)。同樣地(dì)，這(zhè)些(xiē)标簽Googlebot能(néng)夠很(hěn)好 (hǎo)地(dì)辨識并遵循，但(dàn)有(yǒu)些(xiē)搜索引擎則未必。

在鏈接級别，可(kě)以為(wèi)某個(gè)單獨的(de)鏈接使用(yòng)“nofollow”标簽。

      如(rú)果要(yào)保護的(de)內(nèi)容已經被Google收錄，≥可(kě)以使用(yòng)google的(de)網址删除系統。一(yī)般說(shuō)來(lái)，這(zhè)是(shì)最後的(d÷e)手段，要(yào)慎重地(dì)使用(yòng)，在Google索引中被删除的(de)內(nèi)容在180天內(nèi)不(bù)會(huì→)被重新收錄。具體(tǐ)可(kě)參考Google的(de)幫助。

      當然，要(yào)完全杜絕私密內(nèi)容被搜索引擎、被别人(rén✔)看(kàn)到(dào)，最有(yǒu)效的(de)還(hái)是(shì)不(bù)要(yào)将"其放(fàng)在面向公衆訪問(wèn)的(de)Internet服務器(qì)上(shàng)。