619浏览量
what:今天发现百度快照里，网站后台等链接也收录了，所以想通知搜索引擎忽略掉why:搜索引擎蜘蛛很强大，很多链接明明只有自己在用，也没有连接到其他地方，也能被找出来收录how:（1）使用robots.txt方法 robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定的内容。 当一个搜索引擎（又称搜索机器人或蜘蛛程序）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该
