怎样才能让robots.txt保障网站的后台和隐私

  • A+
所属分类:网站建设 网络安全

怎样才能让robots.txt保障网站的后台和隐私

robots.txt基本上每个网站都用,而且放到了网站的根目录下,任何人都可以直接输入路径打开并查看里面的内容,如https://enews.enkj.com/robots.txt。该文件用于告诉搜索引擎,哪些页面可以去抓取,哪些页面不要抓取。一般而言,搜索引擎都会遵循这个规则。

robots.txt如何使用

在网站根目录下创建一个文件,取名robots.txt,文件名必须是这个!然后设置里面的规则。

比如倘若我要设置不允许任何搜索引擎收录本站。robots.txt中就设置如下两行即可。

User-agent: *

Disallow: /

如果要限制不让搜索引擎访问我们后台admin目录,则规则改为:

User-agent: *

Disallow: /admin/

robots.txt更多的使用规则,不在本文的讨论范围之内。

robots.txt防黑客

像上面的例子中,我们为了让搜索引擎不要收录admin页面而在robots.txt里面做了限制规则。但是这个robots.txt页面,谁都可以看,于是黑客就可以比较清楚的了解网站的结构,比如admin目录啊、include目录啊等等。

有没有办法既可以使用robots.txt的屏蔽搜索引擎访问的功能,又不泄露后台地址和隐私目录的办法呢?有,那就是使用星号(*)作为通配符。举例如下:

User-agent:

Disallow: /a*/

这个设置,禁止所有的搜索引擎索引根目录下a开头的目录。当然如果你后台的目录是admin,还是有可以被人猜到,但如果你再把admin改为admmm呢?还有会谁能知道?

总结下,为了不让搜索引擎索引网站的后台目录或其它隐私目录,我们将这些路径在robots.txt文件中禁用了。又为了让robots.txt中的内容不泄露网站的后台和隐私,我们使用星号(*)来修改设置项。最后为了不让黑客猜到真实的路径,我们可以把这些敏感的目录进行非常规的重命名。

好了,关于robots.txt与网站隐私,就介绍这么多,希望对大家有帮助,谢谢!

 

更多关于robots.txt的知识点,点击以下链接:

河南亿恩科技股份有限公司(www.enkj.com)始创于2000年,专注服务器托管19年,是国家工信部认定的综合电信服务运营商。亿恩为近五十万的用户提供服务器托管、服务器租用、机柜租用、云服务器、网站建设等网络基础服务,另有网总管、名片侠网络推广服务,使得客户不断的获得更大的收益。 服务热线:400-723-6868 服务器/云主机 24小时售后服务电话:0371-60135900 虚拟主机/智能建站 24小时售后服务电话:0371-55621053
广告也精彩
avatar

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: