怎么设置不让搜索引擎收录某些页面

what:

今天发现百度快照里，网站后台等链接也收录了，所以想通知搜索引擎忽略掉

why:

搜索引擎蜘蛛很强大，很多链接明明只有自己在用，也没有连接到其他地方，也能被找出来收录

how:

（1）使用robots.txt方法

　　robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定的内容。

　　当一个搜索引擎（又称搜索机器人或蜘蛛程序）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。

        Robots的语法

　　1、User-agent:（定义搜索引擎）

　　示例：

　　　User-agent: *（定义所有搜索引擎）

　　　User-agent: Googlebot （定义谷歌，只允许谷歌蜘蛛爬取）

　　　User-agent: Baiduspider （定义百度，只允许百度蜘蛛爬取）

　　　不同的搜索引擎的搜索机器人有不同的名称，谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。

　　2、Disallow:（用来定义禁止蜘蛛爬取的页面或目录）

　　示例：

　　　　Disallow: /（禁止蜘蛛爬取网站的所有目录 "/" 表示根目录下）

　　　　Disallow: /admin （禁止蜘蛛爬取admin目录）

　　　　Disallow: /abc.html （禁止蜘蛛爬去abc.html页面）

　　　　Disallow: /help.html （禁止蜘蛛爬去help.html页面）

　　3、Allow:（用来定义允许蜘蛛爬取的页面或子目录）

　　示例：

　　　　Allow: /admin/test/（允许蜘蛛爬取admin下的test目录）

　　　　Allow: /admin/abc.html（允许蜘蛛爬去admin目录中的abc.html页面）

　　两个通配符如下：

　　4、匹配符 “$”

　　　　$ 通配符：匹配URL结尾的字符

　　5、通配符 “*”

　　　　* 通配符：匹配0个或多个任意字符

        注意事项

　　1、robots.txt 文件必须放在网站的根目录，不可以放在子目录。

　　2、robots.txt 文件名命名必须小写，记得在robot面加“s”。

　　3、User-agent、Allow、Disallow的 “:” 后面有一个字符的空格。

　　4、路径后面加斜杠“/” 和不加斜杠的是有区别的

　　　　Disallow: /help

              禁止蜘蛛访问 /help.html、/helpabc.html、/help/index.html

　　　　Disallow: /help/　

　　　　禁止蜘蛛访问 /help/index.html。 但允许访问 /help.html、/helpabc.html

　　5、Disallow与Allow行的顺序是有意义的：

　　　　举例说明：

　　　　允许蜘蛛访问 /admin/ 目录下的seo文件夹

　　　　User-agent: * 　　　　Allow: /admin/seo/

　　　　Disallow: /admin/

　　　　如果Allow 和 Disallow 的顺序调换一下：

　　　　User-agent: * 　　　　Disallow: /admin/

　　　　Allow: /admin/seo/

　　　　蜘蛛就无法访问到 /admin/ 目录下的 seo 文件夹，因为第一个 Disallow: /admin/ 已匹配成功。

（2）使用Robots Meta方法

　　Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况，而Robots Meta标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots Meta标签也是放在页面中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

　　Robots Meta 标签中没有大小写之分，name="Robots" 表示所有的搜索引擎，可以针对某个具体搜索引擎（如google）写为 name="Googlebot"， content部分有四个指令选项：index、noindex、follow、nofollow，指令间以 “,” 分隔。

　　Index 指令告诉搜索机器人抓取该页面；

　　NoIndex命令：告诉搜索引擎不允许抓取这个页面

　　Follow 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；

　　NoFollow命令：告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。

　　Robots Meta 标签的缺省值是Index和Follow；

　　根据以上的命令，我们就有了一下的四种组合：

　　可以抓取本页，而且可以顺着本页继续索引别的链接=

　　不许抓取本页，但是可以顺着本页抓取索引别的链接

　　可以抓取本页，但是不许顺着本页抓取索引别的链接

　　不许抓取本页，也不许顺着本页抓取索引别的链接。

        示例：

        原先的标签是<meta name='robots' content='noindex,nofollow' />，含义是“不许抓取本页，也不许顺着本页抓取索引别的链接”。

（3）使用 rel="nofollow"方法

　　将"nofollow"放在超链接中，告诉搜索引擎不要抓取特定的链接。

        示例：

        <a href="" rel="nofollow">登录</a>，告诉爬虫该页面无需追踪。

打赏

感谢支持与鼓励～