首先,我们需要了解搜索捕获系统的工作原理。根据工作原理,今天的编辑简要介绍了如何建立一个符合捕获系统习惯的网站。
蜘蛛抓取相当于遍历网络的有向图,所以一个结构简单清晰的网站一定是它的核心,并尽量保证蜘蛛的可读性。
(1)树形结构为“首页频道详情页”;
(2)最小化了从平面主页到细节页的层次,便于抓取,并能很好地传递权重。
(3)mesh保证每个页面至少有一个文本链接点,使网站尽可能全面地被捕获,内链的构建也能对排序起到积极的作用。
(4)导航为每个页面添加一个导航,方便用户了解路径。
(5)相信很多站长对子域和目录的选择有疑问。我们认为,当内容较少,相关性强时,建议以目录的形式实现,有利于权重的继承和收敛;当内部容量较大,与主站相关性稍差时,建议以子域的形式实现。
(1)在一个很好的网站中,相同的内容页只对应一个的URL。太多的url会分散页面的权重,目标url有可能被系统过滤掉;
(2)动态参数尽量少,URL尽量短。
(3)美学可以让用户和机器通过URL判断页面内容的主旨;
我们推荐以下几种形式的URL:URL应该尽可能简短易读,以便用户能够快速理解,例如使用拼音作为目录名;相同的内容在系统中只生成与之对应的唯一URL,删除无意义的参数;如果无法保证URL的唯一性,请尝试使不同形式的url301到目标url;防止用户错误地将首选域301输入到主域。
(1)不要忽略那些不幸的机器人文件。默认情况下,系统中的一些机器人被禁用的搜索引擎捕获。网站建立后,及时检查并编写相应的机器人文件,在网站日常维护过程中注意定期检查;
(2)建立网站站点地图文件和死链文件,并通过百度站长平台及时提交;
(3)部分电子商务网站存在区域跳跃问题。建议制作一个统一的页面来标记页面中是否有货物。如果此区域没有商品,将返回无效页面。由于蜘蛛的出口有限,正常页面将不包括在内。
(4)合理利用网站管理员平台提供的机器人、网站地图、索引量、抓取压力、死链提交、网站改版等工具。对于百度最难的,怎么办?