关于WordPress 站点添加和上传 robots.txt

  • A+
所属分类:建站系统

关于WordPress 站点添加和上传 robots.txt

wordpress网站robots.txt怎么写?robots.txt是网站很重要的一个组成部分。它告诉搜索引擎什么文件可以抓取,什么文件不能抓取。它是搜索引擎和网站之间一个默许的协议,由搜索引擎自觉遵守,用文本文档来实现,放在robots.txt中。

robots协议(也称为爬虫协议、爬虫规则、机器人协议等),也就是通常添加到网站根目录的robots.txt 文件,它的作用在于告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,从而优化网站的收录结果和权重。

如果你的网站根目录还没有 robots.txt,你可以创建一个,具体的写法请参考 百度百科。下面是一个基本的 WordPress robots协议:

一、robot文件怎么写?

最简单的写法是如下面例子的两行代码。

下面两行代码表示网站禁止抓取

User-agent: *

Disallow: /

下面代码表示网站开放抓取

User-agent: *

Allow:

当robots.txt为空的时候,代表允许任何搜索引擎抓取,没有限制。


1、如果你是新建网站,在安装完wordpress程序之后,应该立即使用上面的禁止抓取代码。等待网站安装、配置完毕,发布一定内容之后,这时确认网站形式、目录架构、核心方向、内容模式不会有删改之后,再开放抓取,这样能够让搜索引擎抓取到正确的内容。

提示:一定要在开放抓取之前搞定网站相关内容,开放抓取之后只是新增内容、目录,这都是正常的。如果再删、改就会引起搜索引擎的反感,进而可能会被惩罚。

如果不放置这个robots.txt文件,从零开始对wordpress网站内容、目录、结构反复多次增、删、改,只会让搜索引擎认为你的网站不稳定,造成抓取了也不放出来,放出来也不给权重,不给好的排名,不给关键词靠前等等不良后果。

说到底大部分网站都是靠着搜索引擎的青睐才能活下去,我们做不到独特内容让搜索引擎特别喜欢你,起码也别被搜索引擎反感。

二、robot放到哪里去?

写好了之后放到网站根目录,比如wordpress网站的话,就用ftp软件上传到wp-admin、wp-content、wp-includes文件夹同一级目录即可。

比如本站亿恩enews的robot文件网址是 https://enews.enkj.com/robots.txt,你传上去之后把域名用你自己的替换掉,用网址能正常打开看到内容就说明是正确的了。

三、robot的一点个人经验总结

1、robots文件的官方写法,国内请参考百度搜索资源平台>站点管理>数据监控>Robots。下面有一些关于写法的一些解释,如果你的网站主要靠百度带来流量,就老老实实的依照建议写。

我们常用的就是allow、Disallow等几条命令,allow也就是允许抓取文件、文件夹;Disallow是禁止抓取文件、文件夹。

2、外贸站及面向国外访客的网站,robot写法请参考google support中心的解释,因为国外网站的流量主要来源自谷歌,按照谷歌爸爸的描述去操作准没错。

3、禁止了robot之后,搜索引擎会按照相应的规则抓取或不抓取网站内容。不过用户是可以正常访问网站的。

很多新手只知道服务器运维、建设wordpress网站内容、发外链、加友链,却不知道在网站建设初期及正常上线后最重要的robots.txt文件,所以对新手来说,本文内容很重要,建议大家好好看看.

以下即为基本的wordpress站点robots.txt文本

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /feed

Disallow: /articles/*/feed

Sitemap: https://domain/sitemap.xml

河南亿恩科技股份有限公司(www.enkj.com)始创于2000年,专注服务器托管19年,是国家工信部认定的综合电信服务运营商。亿恩为近五十万的用户提供服务器托管、服务器租用、机柜租用、云服务器、网站建设等网络基础服务,另有网总管、名片侠网络推广服务,使得客户不断的获得更大的收益。 服务热线:400-723-6868 服务器/云主机 24小时售后服务电话:0371-60135900 虚拟主机/智能建站 24小时售后服务电话:0371-55621053
广告也精彩
avatar

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: