robots.txt文件放在哪里
robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
来源：SEO自学网 闽南seo，欢迎你，闽南seo开启你的seo之路
Robots.txt 文件应放在哪里？_闽南seo
本文来自网络，不代表闽南SEO立场，转载请注明出处：http://minnanseo.com/youhua/1798.html
