建立SQL全文索引提升搜索速度

原创雅客  时间:2007-06-13 17:39:33  

转载请注明出处

    要实现搜索引擎的模糊查找功能,使用SQL的关键字LIKE来实现模式匹配。

    现在我们有一个数据库,表名叫T1,有记录数一万条。Title字段是文本字段,长度为255,Body为备注字段。看下面的SQL语句:
Select * From T1 Where Title Like '%迅雷%'
    则这句话就是要返回Table1表中Title字段里包含‘迅雷’的所有记录。由于Title是文本字段,长度也不大,故其查找速度还可以接受。
    现在我们要返回Title或Body字段中包含‘迅雷’的所有记录:
Select * From T1 Where Title Like '%迅雷%' Or Body Like '%迅雷%'
    速度慢了许多倍,这样的速度用于Web搜索,用户会有这个耐心去等待吗?
    如何解决在模糊查找中的速度问题,这就是我们今天要引出的全文索引的话题。

    关于全文索引,一个能说明问题的例子就是:
    给你一本你没看过的书,指定书里面存在的一句话让你去查找,而且不能看目录(索引),那么你只能一页一页的翻书本去查找了,想一想,你对这本书的内容也不了解,这样的查找速度会快吗?
    如果允许看目录(索引),根据目录(索引)的指引,你也许会更快的找到(如果这个索引和要查找的话关联性大)。另外,我们再假如你很喜欢这本书,并且每天阅读,过一段时间,你已经对书本的内容了如指掌,这个时候,让你再找一段话,你是不是一下子便能知道这句话大概的位置?然后根据大概位置在附近查找,然后很快定位搜索结果。这其实可以说是你已经在你的脑子里为这本书建立了全文索引。
    SQL全文索引就是将数据库的记录按词语做了事先的索引,以便在模糊查找的时候能提升速度。这些索引的词语,对于英文,每两个单词之间有一个空格,可中文不一样了,这涉及到中文分词技术。我们在使用数据库引擎的时候,引擎的全文索引其实已经使用了分词的技术,当然这并不能从表面所看到。

    我们以MS SQL Server 2000为例,说明如何建立全文索引。
    1、启动全文索引。在Microsoft SQL Server >> SQL Server 组 >> (LOCAL) (Windows NT) >> 支持服务 >> 全文检索 >> 右键菜单元 >> 启动;
    2、对数据库建立全文目录。在Microsoft SQL Server >> SQL Server 组 >> (LOCAL) (Windows NT) >> 数据库 >> 全文目录 >> 右建菜单 >> 新建全文目录;
    3、对所要建立全文索引的表建立全文索引。在Microsoft SQL Server >> SQL Server 组 >> (LOCAL) (Windows NT) >> 数据库 >> 你的数据库名 >> 表 >> 双击 >> 在右侧列表中选择要建立全文索引的数据表 >> 右建菜单 >> 全文索引表 >> 在表上定义全文索引 , 按向导,选择要建立全文索引的字段和全文目录,完成操作。注意,你的数据表必须有主键,否则会出现如下错误提示:“所选表中没有在不允许 NULL 的列上的唯一单个列索引”。
    4、对上一步建立全文索引时选择的全文目录进行填充。在Microsoft SQL Server >> SQL Server 组 >> (LOCAL) (Windows NT) >> 数据库 >> 全文目录 >> 双击 >> 在右侧列表中选择全文目录 >> 右建菜单 >> 启动完全填充。注意,填充是需要时间的。

    这样,给数据表建立全文索引之后我们就可以使用CONTAINS来检索了:
Select * From T1 Where Title Like '%迅雷%' OR CONTAINS(Body, '%迅雷%')
    试一试查询速度,第一次查询速度还是很慢,当查询驻入内存之后,查询就快了。已免强可以接受。但第一次查询速度慢的问题还需要解决,并且以后的查询离百度搜索速度还有很大距离。就是说还有很多地方可以完善的。

    下一篇,我们研究如何用存储过程,Map映射,自定义的数据库文件结构的方法再一次提升查询速度。