那么我们得先来了解一下robots.txt文件是什么，有什么作用。   当搜索引擎爬去我们页面时有一…