UEO即用户体验优化,从功能、视觉、等优化
从而获得用户粘度。

robots文件放在哪里,robots协议常见问题

在上一节讲到了关于robots是什么意思,robots文件怎么写,但是知道如何写robots却不知道,放那个位置。这也是很多新手容易犯错的一向问题。今天重庆陈七SEO就为大家全面解答关于robots放置位置及常见问题解答。

robots文件放在哪里,robots协议常见问题

robots文件放在哪里?

每当网站蜘蛛进入网站时,搜索引擎和其他网络爬虫第一步就是去寻找所需robots文件。但是,他们只会在一个特定位置寻找该文件:主目录(通常是您的根域或主页)。

如果蜘蛛访问www.cqueo.com/robots.txt,并在此处找不到漫游器文件,则它将假定该站点没有一个漫游器文件,然后继续抓取页面(甚至整个站点)上的所有内容。

即使robots.txt页面确实存在于例如www.cqueo.com/index/robots.txt或 www.cqueo.com /homepage/robots.txt,搜索引擎蜘蛛也不会发现该页面,因此将对该站点进行处理好像根本没有机器人文件一样。

为了确保找到robots.txt文件,请始终将其包含在主目录或网站根目录。

为什么需要robots.txt?

Robots.txt文件控制抓取工具对网站某些区域的访问。如果您不小心禁止搜索引擎抓取您的整个网站,这可能非常危险,但是在某些情况下,robots.txt文件非常有用。

robots文件放在哪里,robots协议常见问题

一些常见的用例包括:

  • 防止重复内容出现在SERP中(请注意,元机器人通常是更好的选择)
  • 将网站的整个部分保密(例如,您的工程团队的登台站点)
  • 防止内部搜索结果页显示在公共SERP上
  • 指定站点地图的位置
  • 防止搜索引擎索引您网站上的某些文件(图像,PDF等)
  • 指定爬网延迟,以防止爬网程序一次加载多个内容时服务器过载

如果您网站上没有要控制用户代理访问的区域,则可能根本不需要robots.txt文件。

robots匹配模式

当要阻止或允许实际的URL时,robots.txt文件会变得相当复杂,因为它们允许使用模式匹配来覆盖一系列可能的URL选项。可用于标识SEO希望排除的页面或子文件夹。这两个字符是星号(*)和美元符号($)。

  • *是通配符,表示任何字符序列
  • $匹配URL的末尾

怎么检测robots文件?

不知道您是否有robots.txt文件?只需键入您的根域,然后将/robots.txt添加到URL的末尾。例如,陈七SEO的漫游器文件位于www.cqueo.com/robots.txt。

如果没有显示.txt页面,则你当前没有robots.txt页面。

另外一种检测方法就是加入百度站长平台检测robots文件如下图所示:

robots文件放在哪里,robots协议常见问题

robots.txt语法

可以将Robots.txt语法视为robots.txt文件的“语言”。您可能会在robots文件中遇到五个常用术语。它们包括:

  • User-agent:  您要向其提供爬网指令的特定Web爬网程序(通常是搜索引擎)。可以在此处找到大多数用户代理的列表。
  • Disallow: 用于告诉用户代理不要抓取特定URL的命令。每个URL仅允许一个“ Disallow:”行。
  • Allow:  告诉搜索引擎可以访问页面或子文件夹的命令,也可以不允许其父页面或子文件夹。
  • Sitemap:  用于调出与此URL关联的网站站点地图的位置。

以上便是robots的相关问题,有任何问题都可以联系陈七SEO博主。感谢大家支持!

未经允许不得转载:陈七UEO » robots文件放在哪里,robots协议常见问题

本文链接: http://www.cqueo.com/seojichu/250.html

版权声明:文章部分内容和图片来源于网络,本文观点仅用于网络分享,如有侵权请联系站长删除!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

UEO即用户体验优化,从功能、视觉、访问速度等优化,从而获得用户粘度。