[转载]构建自己的购物搜索引擎一：写一个简单的

[转载]构建自己的购物搜索引擎一：写一个简单的 – 小诺N – 博客园.

记得2010年10月9号，淘宝全网搜索引擎一淘网上线，当时不怎么关注，只是在网站上看到过新闻而己，前两个月，觉得是时候走确定自己以后要走的方向了，于是决定以后加入到搜索的行列中，此时开始关注一淘网的技术，来打开搜索的大门。

那么做搜索引擎要做哪些内容呢，以前有人也这样问过nutch,lucene,hadoop之父Doug Cutting，他回答大致应该分为以下几部分：

1） 攫取(fetching)：就是把被指向的网页下载下来。通常就是日常所说的网络爬虫的工作。

2） 数据库：保存攫取的网页信息，比如那些网页已经被攫取，什么时候被攫取的以及他们又有哪些链接的网页等等。

3） 链接分析：对刚才数据库的信息进行分析，给每个网页加上一些权值(比如PageRank,WebRank什么的)，以便对每个网页的重要性有所估计。不过，在我看来，索引那些网页标记(Anchor)里面的内容更为重要。(这也是为什么诸如Google Bombing如此高效的原因

4） 索引(Indexing): 就是对攫取的网页内容，以及链入链接，链接分析权值等信息进行索引以便迅速查询。

5） 搜索(Searching): 就是通过一个索引进行查询然后按照网页排名显示

根据这几部分，我们可以自己写一个简单的购物搜索引擎。

第一步：抓取数据

目前开源的网络爬虫有很多，nutch,heritrix都可以算是其中的佼佼者。这里我们先自己动手写一个简单的。

仔细看淘宝的网站，会发现，基本上商品信息比较全的页面全都是以item.taobao开头的，那我们用chrome的开发人员工具分析一下页面结构。

如下图：

图片内容为：<div id=”J_itemViewed” catid=”1512″ data-value=”{“itemId”:”10810071223″,”xid”:””,”pic”:”i3/T1EJahXm4kXXb3Ses._112056.jpg”,”price”:”334800″,”itemIdStr”:””,”title”:”HTC S510e/Desire S g12 安卓2.3系统 大陆行货 联保 现货”}”></div>

我们可以看到，在这个名为J_itemViewed的div中，我们可以取到商品的三个最基本的信息，商 品名称，商品价格，商品图片地址。那么现在的目标很明确，就是在抓取item.taobao的网页，然后找到id为J_itemViewed的div标 签，取出里面的商品信息。那么动手吧。

我们写一个Crawler的类，这个类要做以下几件事：

1.提取网页链接

2.碰到包含有item.taobao的链接，分析网页内容，提取信息，将商品信息存储入本地

首先来看提取网页链接，如下图所示：

提取网页上的链接一般是从一种初始网页开始了，比如说我从www.taobao.com开始，然后分析网 页的结构，取得里面的所包含的链接，然后根据这个链接，去提取更深层次的链接。如此循环，到一定条件停止。在抓取网页的时候，网络蜘蛛一般有两种策略：广 度优先和深度优先。广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。这是最常 用的方式，因为这个方法可以让网络蜘蛛并行处理，提高其抓取速度。深度优先是指网络蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再 转入下一个起始页，继续跟踪链接。对于垂直搜索来说，通常采用广度优先策略。下面简单列出抓取与提供信息的方法，具体的看附近里的源程序。

GetUrlThread.class(链接抓取)

GetInfo.class(信息提取)

/**
* 提取信息
*
* @param url
* @return
* @throws ParserException
*/
private void retrieveInfo(String url) throws ParserException,
IllegalArgumentException, IOException {
URL myurl = new URL(url);
Node node = null;
Lexer lexer = new Lexer(myurl.openConnection());
while (null != (node = lexer.nextNode())) {
if (node instanceof TagNode) {
//找到id为J_itemViewed的结点，提取其value值
if ("J_itemViewed".equalsIgnoreCase(((TagNode) node)
.getAttribute("id"))) {
String content = "url:"+url+"\r\n"+"data:"+((TagNode) node).getAttribute("data-value")+"\r\n";
FileOut.instance().write(content);
}
}
}
CommonData.urlInfoed.add(url);//添加到已经提取过的集合中
CommonData.urlInfo.remove(url);//从原集合中移去
}

看一下代码：主要是采用htmlparser,一个html文档解析器来解析下载的内容，得到网页中的<a>标签，去掉邮 件，JavaScript，空锚点等，将提取出来的链接加入到集合中，并将包含有item.taobao的链接加入到要提取网页信息的集合中。

从要提取网页信息的集合中取得url，提取所需要的id为J_itemViewed的div的value值。并将其持久化到本地磁盘。我这里采用的是每一分钟写一个文件夹，每一秒写一下文件。得到的文件内容如下所示：具体看附件）

url:http://item.taobao.com/item.htm?id=7520167497

data: {“itemId”:”7520167497″,”xid”:””,”pic”:”i4/T1ZM86XoFpXXXfrvg2_043733.jpg”,”price”:”279900″,”itemIdStr”:””,”title”:”Konka /康佳 LC32IS68N 32寸液晶电视 高清网络电视机 USB/HDMI”}

我们先来看一下lucene索引的过程

如上图所示，lucene建立索引的步骤大概可以分为以下几步：

将内容信息存入在Field中，将多个Filed组合成Document，然后经过分词，由IndexWriter写入到目录中。

简单介绍一下这几个类，因为看lucene in action自己翻译过来的，可能会理解的不太准确，见谅。

1.IndexWriter

indexWriter 是创建索引的核心组件。它可以创建一个索引，或者打开一个已经存在的索引，也可以添加，删除，更新索引中的文档。indexWriter拥有索引的写的权限，却没有读与查询的权限。IndexWriter需要在某处来存储这些索引，而这个存储的地方就是Directory。

2.Directory

Directory类代表Lucene索引存储的地方。它是一个抽象类，其子类可以存储合适的索引。在我们的indexer例子中，我们使用FSDirectory.open来得到合适的具体实现FSDirectory来存储目录下的文件，然后将其传给IndexWriter的构造方法。

Lucene包含了若干个有趣的Directory实现。IndexWriter要想创建索引，则必须通过AnalyZer来解析内容。

3.Analyzer

在文本被索引之前，它必须通过analyzer分析。在IndexWriter的构造方法中，声明了Analyzer,analyzer是负责利用将要被索引的文字来抽取标识符并且消除剩余的。如果内容被索引的部分不是最简单的部分，需要先将里面的内容的简单字符抽取出来，再索引。

Analyzer是一个抽象类，但是Lucene自带一些它的实现.

Analyzer是Lucene非常重要的类，它常用于简单的过滤文本。开发者要想反lucene集成到产品中，需要正确的选择analyzer。

要想分析就需要文档，即Document,document中包含单独的field用来创建索引。

4.Document

Document类是fields的集合。其可以是web网页，email或者单纯的文本。

5.Field

每一个索引中的document都包含有一个或者多个命名的字Filed。每一个Field都有一个名字与对应的值。

看一下建立索引的代码：（具体的过程看源代码中的Index.class）

建立索引

上图为建立完索引后生成的文件

第三步：搜索

建立好索引之后，我们就可以检索所需要的信息了，还是利用lucene，代码挺简单的：

/**
* 信息搜索
* @author xiaoruoen
*
*/
public class Search {
private Logger logger = Logger.getLogger(Search.class);
public void search(String name){
try {
//打开索引存放的目录
Directory dic = FSDirectory.open(new File(CommonData.index));
//创建索引搜索
IndexSearcher search = new IndexSearcher(dic);
//创建中文分词
Analyzer analyzer = new IKAnalyzer();
//开始搜索
QueryParser parser = new QueryParser(Version.LUCENE_32,"title",analyzer);
Query query = parser.parse(name);
TopDocs hits = search.search(query,100);
//显示搜索结果
logger.info("共找到"+hits.totalHits+"条记录");
logger.info("=====================================================");
for(ScoreDoc scoreDoc:hits.scoreDocs){
Document doc = search.doc(scoreDoc.doc);
logger.info("名称："+doc.get("title"));
logger.info("价格："+doc.get("price"));
logger.info("图片："+doc.get("pic"));
logger.info("网址："+doc.get("url"));
}
} catch (IOException e) {
e.printStackTrace();
} catch (ParseException e) {
e.printStackTrace();
}
}
}

我们搜索一下“女装”，看一下出来的结果：

这里只是简单的打印出来，有兴趣的可以弄个web，将结果显示出来。

好了，已经初步构建好一个最简单的购物搜索擎了，由于个人水平原因，可能代码写的有点……，但不管怎么说，是一个开始，接下来会慢慢完善的。

源代码下载

程序运行所需文件与搜集到的内容