一、首先要学习了解搜索引擎:
1、什么是搜索引擎?搜索引擎是一个对互联网信息资源进行搜索整理和分类,并储存在网络数据库中供用户查询的系统,简单来说就是在百度、谷歌、360等有搜索功能的页面用搜索框输入需要信息的名称来进行查询想要信息的系统。
2、搜索引擎的工作原理都是一样的吗?大体上来说搜索引擎的工作原理基本都是一样的,不管是百度、谷歌还是360等,搜索引擎都是相同的工作原理,只是其他的方面各有不同的目标和方向。
3、网站和搜索引擎是什么关系?网站是给广大用户提供他们所迫切需要的信息、产品,就像水是给万物提供水源滋润万物一样。而搜索引擎则是加工工厂提供可以直接饮用的水源,从全部网站中挑取能够给人们带来帮助的网站,供人们汲取其中的信息、产品。
二、抓取过滤系统又分为抓取和过滤两个步骤:
1、抓取的步骤:①、抓取的程序有哪些?抓取的程序有百度Spider、googlebot、360spider等。 ②、影响蜘蛛抓取的因素有哪些?想让蜘蛛抓取有两种方法,分为自动抓取和提交抓取,自动抓取是指,蜘蛛在爬行访问各个网站的时候回自行抓取可抓的网站。提交抓取是指,站长自己在专门的平台提供本站链接供蜘蛛抓取。 ③、影响访问的因素;影响访问有两种情况,第一种是网址链接中带有中文路径的情况,这会影响蜘蛛对你网站的抓取先后,一般蜘蛛会选择最后抓取带有中文路径的网站。第二种是网址链接路径过长,一般超过255字节的链接,蜘蛛就会考虑是否抓取了,所以要谨记。 ④、蜘蛛来过没有?怎么知道蜘蛛是否来自己的网站中抓取过呢,利用百度站长平台或服务器日志进行查询查看,就能得知蜘蛛是否来自己的网站中抓取过。
2、过滤(预处理): ①、为什么要过滤?其实很好理解,蜘蛛在抓取完网站后,都会进行挑选,挑出一些好的网站,把一些低质量或者垃圾网站过滤掉,如果不过滤,收取到了垃圾网站并且给予排名,那么用户还怎么去很好的体验呢,而且不是也给了不法分子的可乘之机了么?所以说搜索引擎的过滤过程就跟自来水厂的过滤过程是一样的,泥沙过滤、杂质过滤,最终留下能够直接饮用的水源,搜索引擎也是一样通过层层过滤,最终留下那些能够给用户带来帮助的网站。 ②、常见影响过滤的情况有哪些?共有文字、链接、图片、视频四种,蜘蛛作为一种抓取程序,它对文字和链接的识别能力最强,而图片和视频如果没有相关的文字说明,蜘蛛是看不懂的,所以光有图片视频的网站蜘蛛是不会抓取的,而文字量少的内容不够丰富的网站蜘蛛也会进行过滤。
三、收录排序系统也分为收录和排序两个步骤:
1、收录:当蜘蛛在进行完抓取和过滤的两个步骤后,就会开始收录网站了,把过滤完剩下的优良网站收入自己的存储数据库中。而新站3个月不收录,一个页面一个月没有收录这都是正常的,因为新站是需要和蜘蛛慢慢推进关系的,就像两个陌生人要成为朋友是需要一定时间来考验的。对于收录过的网站,收录网站里的页面越多排名才能越高,收录率越高才证明网站越健康。
2、排序:用户喜欢有质量有内容的网站,也是一样,百度蜘蛛从已收录的网站中对网站的打开速度、网站的权重、页面的质量以及时间的长短,还有用户的评价来进行对比分析,结合各项因素来进行排序排名,而用户的最终搜索到的信息排名就是百度蜘蛛排序的体现。 一个网站的好坏,是从网站的各方面综合评定而给出的结果,如果想让自己的网站有收录、排名高,还是要经过一定时间的沉淀积累,自己在建设网站的初期对网站的布局,以及内容的丰富上下功夫,路是一步一个脚印走的,饭是一口一口吃的,所以想要做出好的网站,优化出更好的排名,还是需要自己的努力和不断的进行SEO优化思维的拓展。写在最后: 总的来说,搜索引擎蜘蛛的抓取步骤就是:爬行-抓取-过滤(预处理)-收录-排序,这是最基本的SEO必学知识,也是最难搞懂的重要知识,每一个环节都值得SEOer去认真专研。优秀的SEOer都是了解搜索引擎的SEOer,高超的SEO技术也是在不断的认识搜索引擎的过程中总结而来的。