注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

艾艾贴微商代理,微信:zeji110

艾艾贴,是30:1的五年黄金艾绒,效果是传统艾灸3~5倍!

 
 
 

日志

 
 
关于我

没基础?没资金?没关系!手把手教你低成本创业。加入我们,让你月薪过万,时间、金钱双自由。

网易考拉推荐

【站长平台】搜索引擎检索系统概述(上)  

2013-10-30 10:46:32|  分类: Baidu度娘 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

众所周知,搜索引擎的主要工作过程包括:抓取、存储、页面分析、索引、检索等几个主要过程。过去几周给大家介绍了抓取相关的简要过程。今天简要介绍一下索引系统,以亿为单位的网页库中查找特定的某些关键词犹如大海里面捞针,也许一定的时间内可以完成查找,但是用户等不起,从用户体验角度我们必须在毫秒级别给予用户满意的结果,否则用户只能流失。怎样才能达到这种要求呢?

如果能知道用户查找的关键词(query切词后)都出现在哪些页面中,那么用户检索的处理过程即可以想象为包含了query中切词后不同部分的页面集合求交的过程,而检索即变成了页面名称之间的比较、求交。这样,在毫秒内以亿为单位的检索成为了可能。这就是通常所说的倒排索引及求交检索的过程。如下为建立倒排索引的基本过程:

【站长平台】搜索引擎检索系统概述 - 我是鲨鱼 - SEO_网络营销_网站运营|鲨鱼工作室

(1)页面分析的过程实际上是将原始页面的不同部分进行识别并标记,例如:titlekeywordscontentlinkanchor、评论、其他非重要区域等等;

(2)分词的过程实际上包括了切词分词同义词转换同义词替换等等,以对某页面title分词为例,得到的将是这样的数据:term文本、termid、词类、词性等等;

(3)之前的准备工作完成后,接下来即是建立倒排索引,形成{termàdoc},可以粗略的理解为如下,为什么是【term->doc,而不是直接应用【doc->term】呢?

【站长平台】搜索引擎检索系统概述 - 我是鲨鱼 - SEO_网络营销_网站运营|鲨鱼工作室

上述即是索引系统中的倒排索引过程,是搜索引擎实现毫秒级检索非常重要的一个环节。

  评论这张
 
阅读(225)| 评论(1)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017