深入认识robots搜索引擎使用spider程序自动范文互联网上的网页并获取网页信息。Spider在访问一个网站时，会首页检查该网站的根域名下是否有一个叫robots.txt的纯文本，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站上创建一个robots.txt，在文件中声明改网站中哪些目录不让搜索引擎收录。（robots.txt文件应该放置在网站根目录下。）

　　1、 Robots的用法User-agent：定义进制搜索引擎名字，比如说：百度（Baiduspider）、谷歌（Googlebot）、360（360Spider）等。号代表全部搜索引擎Disallow：不允许收录Allow：允许收录案例：User-agent: （声明所有的搜索引擎抓取以下内容）Disallow：/blog/（网站blog栏目下所有的页面。比如说：/blog/123.html）Disallow：/api（比如说：/apifsdfds/123.html也会被屏蔽。）Allow：/blog/12/（一般情况下不需要写Allow的，而我们在的目录下面，我们需要让搜索引擎收录，那么我们就可以使用Allow，比如说我们前面了blog栏目下所有的页面，同时我们想/12/栏目下被收录，这个时候我们就需要通过Allow来允许搜索引擎的收录。）Disallow：?（只要你的径里面带有问号的径，那么这条径将会被屏蔽。）Disallow：/.php$（意思是以.php结尾的径全部屏蔽掉。）

　　如何使用Robots提升排名一、屏蔽死链接许多时候，我们网站会产链接，比如说：网站改版、文章删除等，都很有可能会导致网站出现404页面，那么这个时候我们就需要通过robots来屏蔽这些死链接。查看死链的方法有以下两种：1、通过网站日志查询。我们可以通过下载网站日志来查看我们的404页面（网站日志可以向空间商要，空间商会提供下载通道），我们用txt打开网站日志，通过搜索“404”，如果你网站有404页面，并且被访问到了，那么这个时候就会被网站日志给记录。2、百度平台查询我们首先需要验证百度平台（如何验证就不说了，最基本的。）验证以后，我们通过百度工具的死链工具，可以清楚的看到，我们网站有哪些死链接。

　　三、屏蔽重复径当你网站出现重复径的时候，百度将会对我们的网站进行直接降分，比如说：一个网站做了伪静态，同时他的动态页面也可以访问，这个时候就会出现重复径。因此我们需要通过robots屏蔽这些重复径。总结：也许很多人都不知道，许多细节都很有可能是你网站排名不上的原因，而这些小小的细节往往被大家给忽略了。同时希望在做网站优化的时候多多关注一些网站细节的问题。来源: btxkj.com