网站页面禁止抓取和收录的2个方法

2.  meta robots标签
        meta robots标签是页面bead部分meta标签的一种，用于指令搜索引擎禁止索引本页内容。
        最简单的meta robots标签格式为:
    <meta name="robots" content="noindex,nofollow">
    上面标签的意义是禁止所有搜索引擎索引本页面，禁止跟踪本页面上的链接。
    Google、必应、雅虎都支持的meta robots标签如下。
    NOINDEX:告诉蜘蛛不要索引本页面。
    NOFOLLOW:告诉蜘蛛不要跟踪本页面上的链接。
    NOSNIPPET:告诉搜索引擎不要在搜索结果中显示说明文字。
    NOARCHIVE:告诉搜索引擎不要显示快照。
    NOODP:告诉搜索引擎不要使用开放目录中的标题和说明。
    百度的官方说法是目前只支持NOFOLLOW和NOARCHIVE。
    meta robots标签内容可以写在一起，以逗号间隔，中间可以有空格，也可以没有。多个meta robots内容也可以写成不同标签。
   meta robots标签不区分大小写。
        只有禁止索引时，使用meta robots才有意义。以下这个标签:
    <META NAME="ROBOTS" CONTENT="INDEX, FOLLOW">
是没有意义的，等于没写。普通需要被收录·索引，链接需要被跟踪的页面，不用写meta robots标签。
        这个标签有时会用到:
        <meta name"robots" content="noindex"}
        效果是禁止索引本页面，但允许蜘蛛跟踪页面上的链接，也可以传递权重。
       使用了noindex meta robots标签的页面会被抓取，但不会被索引，页面URL不会出现在搜索结果中，这一点与robots文件不同。

转自：http://www.wang98.com/newsshow.asp?id=112