网站robots.txt文件对于SEO来说是非常重要的，如果你参加过正规的SEO培训，你就会知道，当搜索引擎蜘蛛第一次来访问你网站时，它首先要做的第一件事情就是要看看你网站根目录里面有没有robots...