搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信 息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot 访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜 索引擎只收录指定的内容。
来源：SEO自学网 闽南seo，欢迎你，闽南seo开启你的seo之路
robots.txt是什么？_闽南seo
本文来自网络，不代表闽南SEO立场，转载请注明出处：http://minnanseo.com/youhua/4306.html