robot是什么意思？用法、例句 Robot除了机器人原来还有这个意思，你知道吗？

大家好，关于robot是什么意思？用法、例句很多朋友都还不太明白，不过没关系，因为今天小编就来为大家分享关于Robot除了机器人原来还有这个意思，你知道吗？的知识点，相信应该可以解决大家的一些困惑和问题，如果碰巧可以解决您的问题，还望关注下本站哦，希望对各位有所帮助！

有一天主管说你去了解下Robot.txt吧，当时一愣，这是个什么？原谅我不懂技术的懵逼脸，哈哈，然后就去研究了下，以下是研究结果，给跟我一样不懂技术的人看，哈哈~~

Robot英文直译是机器人,在搜索引擎优化SEO中经常翻译为:探测器。当然，也可以叫crawler(爬行器),spider(蜘蛛)。个人觉得Spider是最好理解的，你可以想象下你的网站就是一个蜘蛛网，而这个Spider就可以通过这个网络去爬取信息，你可以通过设置Robot.txt来限制Spider的爬行范围。

1，User-agent:搜索引擎的spider代号（定义所有搜索引擎）,

2，Disallow:输入数据夹或文件名的路径（用来定义禁止蜘蛛爬取的页面或目录）

Disallow:/（禁止蜘蛛爬取网站的所有目录"/"表示根目录下）

Disallow:/admin（禁止蜘蛛爬取admin目录）

Disallow:/ABC.html（禁止蜘蛛爬去abc.html页面）

Disallow:/help.html（禁止蜘蛛爬去help.html页面）

3、Allow:（用来定义允许蜘蛛爬取的页面或子目录）

Allow:/admin/test/（允许蜘蛛爬取admin下的test目录）

Allow:/admin/ABC.html（允许蜘蛛爬去admin目录中的abc.html页面）

4、通配符“$”

5、通配符“*”

*通配符：匹配0个或多个任意字符

好了，本文到此结束，如果可以帮助到大家，还望关注本站哦！