您的位置: 抚顺资讯网 > 娱乐

搜索引擎依靠一种叫做爬虫s

发布时间:2019-11-27 07:09:40

摘要 : 如果你只是在一个内容相对集中的站点中浏览,那么超链接可以给你很好的指引。但如果你想在茫茫的互联上找到相关的内容,单纯的超链接似乎就力不从心了。搜索引擎的出现,就帮人们解决了互联上的定位问题。

【注】《互联杂谈》是我个人关于互联的一些所见、所闻、所感。由于没有什么太成体系的思考,故只能杂乱无章的随意诌一下。在这个互联思维被抬到无限高的年代,希望能用自己的视角给出一点点关于互联是什么的答案。

之前讲到了SEO这个事,而这都和搜索引擎的存在有关,这篇来讲讲和搜索引擎相关的一些东西。

当我开始可以上时,怎么找到你需要的信息就成了一个很大的问题。你知道上有很多的东西,但你却不知道它在那里。这时候伟大的搜索引擎就可以救你于水深火热之中。

如同之前所说的,刚开始上时,主要是通过门户站上的超链接(就是点击了会跳到另外一个页的文字或图片)来浏览络。超链接的确是互联中简单却又异常有用的发明。通过超链接,成千上万的页得以互联连接。通过不同的组织方式,人们可以更好的浏览内容,发现相关内容,链接广告还可以用来变现等等。

但超链接也有很大的局限性,如果你只是在一个内容相对集中的站点中浏览,那么超链接可以给你很好的指引。但如果你想在茫茫的互联上找到相关的内容,单纯的超链接似乎就力不从心了。当你从一个页面进行了10几次跳转还没找到相关内容的时候,估计你就完全没有耐心继续寻找了。

搜索引擎的出现,就帮人们解决了互联上的定位问题。通过搜索引擎,只需要相应的关键字,你就可以很容易的早点相关的内容,而不需要通过似乎无止境的超链接导航一层一层的走。

当然,搜索引擎并不是孤立存在的,能使搜索引擎存在的基础便是超链接的存在。搜索引擎能完成搜索最重要的两个核心要素信息抓取和信息排序,都离不开超链接。

搜索引擎依靠一种叫做爬虫(spider)的程序在互联获取信息。之所以称之为爬虫就是因为这个程序会顺着它获得到的超链接一直爬,正是由于互联超链接的互通性,从一些大的站点或者一些重要的导航站(目录站)出发,爬虫就有可能通过这些千千万万的链接走遍整个互联。

搜索引擎的爬虫在爬到相应的站时,就会将该站存到自己的数据库中,以便搜索排序之用。就是说,想要实现真正的搜索,搜索引擎厂商需要将几乎整个互联都装进自己的服务器中。

为了存储这些数据,搜索引擎公司需要有大量的服务器。谷歌中国前技术总监周杰在2008年的一次会议上曾经透露过Googl拥有的服务器数量级,他说Google的服务数量大约相当于美国第三大PC生产商。虽然不知道具体数据,我们还可以从另外一个侧面来看谷歌的数据中心规模,据谷歌公布的数据显示,谷歌全球能源消费达到2.6亿瓦特,这相当于弗吉尼亚州首府里士满或者加州欧文市家庭用户的所有用电量,或者说,这相当于一座标准核电站1/4的输出功率。大多数数据报告都认为谷歌是世界上拥有最多服务器的企业。

当然,仅仅是储存这些数据是远远不够的,搜索的目的就是要找出最符合用户需求的页。这时候搜索引擎就需要对不同的页进行排序,而这个排序的基础也是通过超链接计算出来的。

简单来说,搜索引擎的排序基础算法是这样的:大多数页都有超链接链向它,或者它会链向别人,而这种链接可以被认为是每个页对其他页质量好坏的投票。搜索引擎认为,如果有大量的链接链向某个页面,那这个页面就是受欢迎的,就应该在搜时被排在前面。反之没有人链接的站就是不受欢迎的。当然,搜索引擎还会考虑关键字匹配程度、链接页本身的质量等多种因素,但大体上其工作原理就是上面所说的那样。

正是由于搜索引擎的工作原理是通过超链接实现的,就可以理解大多数站为什么那么喜欢交换友情链接了。因为增互相间的链接是可以提高站在搜索引擎的排名的。当然如果你没有那么多友人的话,你还可在上找到很多卖友链的人的,他们会很友好的告诉你每条链接的价钱。

直接卖链接,是比较初级的做法。因为即使有链接,但效果怎么样实在难以衡量。在搜索引擎称霸互联以后,就出现了一种特殊的工种SEO(搜索引擎优化)。SEO的职责就是让站的排名在搜索引擎里尽量靠前,这样你的站就有可能被跟多的人访问到。正如上一篇所说的,很多站会有专门的SEO人员来优化自己站的排名。

围绕搜索引擎,有很多相关的上下游产业。这边就不一一展开去了。当你知道搜索引擎的大概工作原理,你就能大概理解这些行当都是做什么的。

回到搜索引擎本身,如上面提到的,要从成千上亿条数据中快速找出需要的页面并完成排序,这在技术上也并不是一件容易的事情,调度上万台机器的资源可不容易,包括头。

搜索引擎在基础设施投资和技术门槛上都可以说是一件门槛非常高的事,但于此同时搜索引擎又有着一种令人着迷的盈利模式,这让很多企业都对引擎业务趋之若鹜。

更多内容请关注公众号:baishuwo

软件
网球
军事
猜你会喜欢的
猜你会喜欢的