文教用橡胶制品200D-254 - 产品展示 - 遂宁市网络工程运营部

欢迎来到遂宁市网络工程运营部

全国咨询热线： 021-50372863

推荐产品

其他饲料添加剂373-373195464

管理软件F5A77AF-577169

其他网络设备240A98CC5-24985

联系我们

地址：黑龙江省双鸭山友谊县城东村296号

电话：021-50372863

传真：021-50372863

邮箱：008213610@296.com

文教用橡胶制品

文教用橡胶制品200D-254

更新时间：2025-04-21 04:58:37

订购热线：021-50372863

产品介绍

robots其实就是指Robots协议，Robots协议（也称为爬虫协议、机器人协议等）的全称是网络爬虫排除标准（RobotsExclusionProtocol），网站通过Robots协议告诉搜索引擎哪些网页可以抓取，哪些网页不能抓取。

前面有提到，这个文本文件承载着robots协议，它告诉所有搜索引擎本网站哪些网页可以被抓取，哪些网页禁止抓取。这样做有两方面的意义：

1.保护隐私。有些网页信息不想或者说不能让外界看到，单搜索引擎并不知道这些情况，它还是会照常抓取、展示。如果我们通过设置robots做了限制，搜索引擎蜘蛛就会放弃抓取，外界就不能通过搜索引擎了解到这些隐秘信息。

2.调节网页抓取量。我们都知道每个网站蜘蛛抓取的配额都是有限的，如果我们通过robots.txt文件禁止一些不重要的网页被抓取，究竟就节约了配额，让那些重要的网页得到更多的抓取机会。

robots协议针对的就是允许或者不允许，另外也可以设置具体的搜索引擎，作者认为正常情况下不用去区分搜索引擎，统一设置即可。

1.禁止所有搜索引擎访问网站

User-agent:

*Disallow:/

2.允许所有搜索引擎访问网站

User-agent:

*Allow:/

这是最基本的用法，robots协议的用法还有许多技术，作者建议大家去仔细阅读robots协议。

有朋友说我的网站没有什么要禁止抓取的，你就不要设置robots.txt文件了吧，理论上行得通。不过，作者建议，即便全部开放也最好设置一个robots文件，如本站的文件：http://www.yazec.com/robots.txt。

放在网站根目录下，在链接url的显示就是：http://www.abc.com/robots.txt，其中www.abc.com就是网站域名。

有朋友提到有没有直接生产robots文件的工具，作者认为这完全没有必要，robots文件应该手动去具体设置，这样才能发挥robots.txt文件最大的作用。

我要采购

产品展示

联系我们

地址：黑龙江省双鸭山友谊县城东村296号

电话：021-50372863

传真：021-50372863

邮箱：008213610@296.com

0.41