我们在学习SEO搜索引起优化的时候，可能会经常碰到robots文件，那么何为robots.txt文件？
robots.txt是一个纯文本形式存在的文件，robots.txt文件是一个协议，而不是一个命令。以下介绍了
四点，大家可以初步的了解一下。
第一，robots文件的形式
robots.txt是一种纯文本格式文件，是搜索引擎中访问网站的时候要查看的第一个文件。
第二，robots文件的的位置
robots.txt 必须放在根目录下，并且文件名必须是小写。如果不存在的话，网络搜索引擎默认全部
抓取。
第三，robots文件的功能
1，可以告诉网络搜索引起能访问那些内容不能访问那些内容。
2，可以屏蔽错过站点内的一些死链接，节省时间方便搜索引擎去抓网站内容。
3，可以屏蔽网站内一些较大的文件，如；视频，音乐，图片，flash动画等，节省服务器宽带。
第四，robots文件的语法
User-agent: 定义搜索引擎的类型
Disallow: 定义禁止搜索引擎收录的地址
Allow: 定义允许搜索引擎收录的地址
在SEO中robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的，它能够正确指引搜索引
擎蜘蛛对网站的抓取动作。
在线咨询
