Robots是什么

SEO入门教程评论1.8K1阅读模式

Robots是机器人协议(Robots.txt)

机器人协议(Robots.txt)是一个TXT文本文件,存在于你域名根目录之下

搜搜引擎在访问你的网站是最先会访问robots文件,作用是将网站的目录结构信息告诉爬虫和蜘蛛,并限制其对特定文件夹和内容的访问,或者是完全将它们关在门外,即告诉搜索引擎蜘蛛什么是可以访问抓取的、什么是不允许访问抓取的

但是,要注意的是:搜索引擎蜘蛛不一定完全听从这个文件的规定。

SEO优化问题咨询
评论  0  访客  0

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定