robots文件的优化，通过robots文件来告诉搜索引擎

admin

　　robots文件的优化，通过robots文件来告诉搜索引擎，哪些是可以抓取的，哪些是不可以抓取的，防止搜索引擎的不完善机制在给网站定位的时候走弯路。sitemap文件，通常有两种格式，一种是xml的，给客户看，称作网站地图;另一种是txt的，给搜索引擎看，以连接列表的集合的文本。可以直接到各大搜索引擎去提交这个文件，也可以放在robots文件里面，让搜索引擎每次自己过来抓取。404文件优化，对于网站错误或者不存在的连接，用非常和谐或者幽默的方式告诉访问者该网页不存在或者错误，这个给客户的感觉是非常好的，搜索引擎的感觉也是一样。