【Robots.txt】Robot是什么？？---探测器

云码酷 · 于 2018-4-26 21:51:23

马上注册，自学更多教程，下载更多资源。

您需要登录才可以下载或查看，没有帐号？立即注册

x

Robot英文直译是机器人，在搜索引擎优化SEO中，我们经常翻译为:探测器。
　　有时，你会碰到crawler（爬行器），spider（蜘蛛），都是探测器之一，只是叫法不同。
　　SEO中常说的这个探测器(Robot)是什么？
　　搜索引擎用来抓取网页的工具。它是一个软件或者说一系列自动程序(显然，不是一部机器)。
　　不同的搜索引擎给他们自己的探测器(Robot)起不同的名字。
　　谷歌:googlebot 百度:baiduspider MSN:MSNbot Yahoo:Slurp (yahoo家的这位比较特殊，没有带“姓”，并且用的是一个拟声词。Slurp，中文理解是机器人吃东西时发出的啧啧的声音)
　　关于Robot，需要关心的主要是Robots.txt，以及网站日志中包含的以上几个名字。
转自搜外

上一篇：【Robots.txt】robots.txt文件的重要作用意义
下一篇：【Robots.txt】搜索引擎统一Robots文件标准