大神们，菜鸟的我有一个问题现在不知道该如何解决，目前比较头疼，跪求帮助，成分感谢？问题（避免广告嫌疑，以 为例）：在网站 有许多新闻页，比如 等都是以 开头的URL，目前有个问题，百度蜘蛛抓取了 这个URL，返回404。 这个是死链接，网站内没有这个链接，但是不知道蜘蛛如何能抓取到，因此，我想把这个死链接给屏蔽掉，可是不知道如何处理：如果用robots屏蔽，这个要怎么写；如果不用robots屏蔽，这个又要如何处理？请各位大神帮帮菜鸟的我？泪谢！

　　设置robots.txt或是nofollow不能从根本上解决问题，而且有可能影响页面的蜘蛛爬行深入和权重问题，要从根本上解决这问题才能治本，正常这404接触比较多的除了工具就是在网站日志分析时会分析到。引擎有爬到这地址说明程序面页有文本或是链接指向这地址，才会被爬到，或是在根目录有相应的文件夹（这个要考虑你的站地址是用伪静态还是真静态）。可以通过行为IP查检是哪些页面可以存在的这问题。如果是真静态说明访问的HTML文件都是存在根目录下的，这地址正常是访问：跟网站配置有关)，如果用的是WIN系统可以直接在IIS配置里设，如果不是自己的服务器是买的空间，空间商会给你个操作的面板也是可以设置，这块默认你可以检查下。查看原帖