Robots是什么 潮涌SEO 2017年4月6日02:50:53 评论 1,579 Robots是机器人协议(Robots.txt) 机器人协议(Robots.txt)是一个TXT文本文件,存在于你域名根目录之下 搜搜引擎在访问你的网站是最先会访问robots文件,作用是将网站的目录结构信息告诉爬虫和蜘蛛,并限制其对特定文件夹和内容的访问,或者是完全将它们关在门外,即告诉搜索引擎蜘蛛什么是可以访问抓取的、什么是不允许访问抓取的 但是,要注意的是:搜索引擎蜘蛛不一定完全听从这个文件的规定。 赞 1 分享 您可以选择一种方式赞助本站 支付宝扫一扫赞助 微信钱包扫描赞助 赏
您可以选择一种方式赞助本站
支付宝扫一扫赞助
微信钱包扫描赞助
赏