蜜蜂的赞美(节选):分析Nutch的工作流程_守护地下铁

Nutch的大致工作流程可以通过上一篇文章有了一定的了解了。在上一篇文章中，主要是针对一幅Nutch工作流程图片来了解Nutch的工作流程，十分感性，并没有涉及到任何关于Nutch的包和类。这里通过在网上下载的一个《Nutch入门学习》的PDF文档中介绍的内容，来详细组织一下，加深了解，为深入研究Nutch的源代码奠定良好的基础。

这里通过几个标题来叙述。

Nutch爬虫工作策略

Nutch爬虫的工作策略一般则可以分为累积式抓取（cumulative crawling）和增量式抓取（incremental crawling）两种。

累积式抓取是指从某一个时间点开始，通过遍历的方式抓取系统所能允许存储和处理的所有网页。在理想的软硬件环境下，经过足够的运行时间，累积式抓取的策略可以保证抓取到相当规模的网页集合。但由于Web数据的动态特性，集合中网页的被抓取时间点是不同的，页面被更新的情况也不同，因此累积式抓取到的网页集合事实上并无法与真实环境中的网络数据保持一致。

增量式抓取是指在具有一定量规模的网络页面集合的基础上，采用更新数据的方式选取已有集合中的过时网页进行抓取，以保证所抓取到的数据与真实网络数据足够接近。进行增量式抓取的前提是，系统已经抓取了足够数量的网络页面，并具有这些页面被抓取的时间信息。

面向实际应用环境的网络蜘蛛设计中，通常既包括累积式抓取，也包括增量式抓取的策略。累积式抓取一般用于数据集合的整体建立或大规模更新阶段；而增量式抓取则主要针对数据集合的日常维护与即时更新。
在确定了抓取策略之后，如何从充分利用网络带宽，合理确定网页数据更新的时间点就成了网络蜘蛛运行策略中的核心问题。

总体而言，在合理利用软硬件资源进行针对网络数据的即时抓取方面，已经形成了相对比较成熟的技术和实用性解决方案，这方面目前所需解决的主要问题，是如何更好的处理动态网络数据问题（如数量越来越庞大的Web2.0数据等），以及更好的根据网页质量修正抓取策略的问题。

下面，通过针对Nutch工作流程中，各个关键的环节进行详细分析阐述，可能要涉及到Nutch的源代码：包和类，有助于在阅读Nutch源代码的时候提供导向作用。

Nutch工作流程：建立初始URL集合分析

初始URL集的建立有两种方式：超链接和站长提交。

超链接是指机器人程序根据网页链到其他网页中的超链接，就像日常生活中所说的“一传十，十传百……”一样，从少数几个网页开始，连到数据库上所有到其他网页的链接。理论上，若网页上有适当的超连结，机器人便可以遍历绝大部分网页。

站长提交是指在实际运行中，爬虫不可能抓取到所有站点，为此，网站站长可以向搜索引擎进行提交，要求收录，搜索引擎经过核查之后，便将该网站加入到URL集合中，进行抓取。

Nutch工作流程：inject操作分析

inject操作调用的是nutch的核心包之一crawl包中的类org.apache.nutch.crawl.Injector。它执行的结果是：crawldb数据库内容得到更新，包括URL及其状态。

inject操作主要作用可以从下面3方面来说明：

(1) 将URL集合进行格式化和过滤，消除其中的非法URL，并设定URL状态(UNFETCHED),按照一定方法进行初始化分值；

(2) 将URL进行合并，消除重复的URL入口；

(3) 将URL及其状态、分值存入crawldb数据库，与原数据库中重复的则删除旧的，更换新的。

Nutch工作流程：generate操作分析

generate操作调用的是crawl包中的类org.apache.nutch.crawl.Generator。它执行的结果是：创建了抓取列表，存放于segments目录下，以时间为文件夹名称。循环抓取多少次，segments文件夹下就会有多少个以时间为名称的文件夹。

generate操作主要作用可以从下面3方面来说明：

(1) 从crawldb数据库中将URL取出并进行过滤；

(2) 对URL进行排序，通过域名、链接数和一种hash算法综合进行降序排列；

(3) 将排列列表写入segments目录中。

Nutch工作流程：fetch操作分析

fetch操作调用的是fetcher包中的类org.apache.nutch.fetcher.Fetcher。它执行的结果是：将页面内容抓取下来，存于segment目录下。

fetch操作主要作用可以从下面4方面来说明：

(1) 执行抓取，按照segments目录下的抓取列表进行；

(2) 抓取过程中，页面的URL地址可能因为链接发生改变，从而需要更新URL地址；

(3) 抓取采用多线程方式进行，以提高抓取速度；

(4) fetch操作过程中调用了parse操作。

Nutch工作流程：parse操作分析

parse操作调用的是parse包中的类org.apache.nutch.parse.ParseSegment。它执行的结果是：将fetch得到的页面解析为text和data，存于segments目录下。

parse操作主要作用可以从下面3方面来说明：

(1) 解析segment中由fetch得到的页面，并进行整理，将页面分成为parse-date和parse-text；

(2) parse-date中保存的是页面的题名、作者、日期、链接等内容；

(3) parse-text中保存的是页面的文本内容。

例如，我只执行一次抓取任务，就执行了上述的一些操作，操作的结果直接反映在segments目录中。可以看到在home\SHIYANJUN\nutch-0.9\mydir\segments目录下面创建了20081004102407这个目录，该目录中包含6个目录：content、crawl_fetch、crawl_generate、crawl_parse、parse_data、parse_text，从目录名称就可以大致知道该目录存取的相关内容信息。

Nutch工作流程：updatedb操作分析

updatedb操作调用的是crawl包中的类org.apache.nutch.crawl.CrawlDb。它执行的结果是：更新了crawldb数据库，为下一轮抓取做准备。

updatedb操作主要作用如下：

根据segments目录下fetch目录和parse目录中的内容，对crawldb进行更新，增加新的URL，更换旧的URL。

Nutch工作流程：invertlinks操作分析

invertlinks操作用来更新linkDB，为建立索引的工作提供准备。

Nutch工作流程：index过程分析

index过程，即索引过程，包括：将数据转换成文本、分析文本、将分析过的文本保存到数据库中这三个操作。

(1) 转换成文本

在索引数据之前，首先必须将数据转换成nutch 能够处理的格式――纯文本字符流。但是，在现实世界中，信息多以富媒体(rich media)文档格式呈现：PDF、WORD、EXCEL、HTML、XML等。为此，nutch采用了插件机制(plugin)，通过各种各样的文档解析器，将富媒体转换成纯文字字符流。文档解析器种类繁多，开发人员可以根据需要进行选择，同时还可以自己修改或编写，非常灵活方便。

(2) 分析文本

在对数据进行索引前，还需要进行预处理，对数据进行分析使之更加适合被索引。分析数据时，先将文本数据切分成一些大块或者语汇单元(tokens)，然后对它们执行一些可选的操作，例如：在索引之前将这些语汇单元转换成小写，使得搜索对大小写不敏感；最有代表性的是要从输入中去掉一些使用很频繁但却没有实际意义的词，比如英文文本中的一些停止词(a、an、the、in、on等)。同样的，我们也需要分析输入的语汇单元，以便从词语中去掉一些不必要的字母以找到它们的词干。这一处理过程称为分析(analyze)。分析技术在索引和搜索时都会用到，比较重要。

(3) 将分析过的文本保存到数据库中

对输入的数据分析处理完成之后，就可以将结果写入到索引文件中。Nutch采用的是Lucene的索引格式，可以参考关于Lucene的索引机制。Lucene采用“倒排索引”的数据结果来存储索引的。

Nutch工作流程：搜索程序分析

Nutch的搜索程序执行过程，可以从下面的步骤了解：

(1) HTTP服务器接收用户发送过来的请求。对应到nutch的运行代码中就是一个servlet，称为查询处理器(Query Handler)。查询处理器负责响应用户的请求，并将相应的HTML结果页面返回给用户。

(2) 查询处理器对查询语句做一些微小的处理并将搜索的项(terms)转发到一组运行索引搜索器的机器上。Nutch的查询系统似乎比lucene简单的多，这主要是因为搜索引擎的用户对他自己所要执行的查询内容有非常清晰的思路。然而，lucene的系统结构非常灵活，且提供了多种不同的查询方式。看似简单的nutch查询最终被转换为特定的lucene查询类型。每个索引搜索器并行工作且返回一组有序的文档ID列表。

(3) 现在存在这大量从查询处理器返回过来的搜索结果数据流。查询处理器对这些结果集进行比较，从所有的结果查找出匹配最好的那些。如果其中任何一个索引搜索器在1~2秒之后返回结果失败，该搜索器的结果将被忽略。因此，最后列表由操作成功的搜索器返回的结果组成。

关于查询处理器

查询处理器对查询作了一些细微的处理，例如删除停止词(例如the、of等)。接着nutch需要执行一些操作以便于它在大规模的数据环境下能更好的工作。一个索引搜索器涉及搜索的文档集数目非常庞大，所以nutch需要同时与很多索引搜索器交互来提高搜索速率。实际运行环境中，为了保证系统级别的稳定性，文档集的段文件会被复制到多个不同主机上。因为对于文档集中的每个段，查询处理器会随机的与其中一个可搜索到自身的索引搜索器相交互。如果发现一个索引搜索器不能交互，查询处理器会通知之后的搜索操作不使用该搜索器，但是查询处理器每隔一段时间会回头检查一次搜索器的状态，以防该主机上的搜索器再次可用。

关于分析器

Nutch使用自己的分析器，对应于analysis包。Nutch把索引时进行分析所使用的二元语法技术(bigram)与查询过程中对短语的优化技术结合在一起，通过二元语法技术可以把两个连续的词组合成一个语汇单元。这就可以大大减少搜索时需要考虑的文档范围，例如，包含词组the quick的文档比包含the 的文档要少的多。

分析器对分析操作进行了封装。分析器通过执行若干操作，将文本语汇单元化，这些操作可能包括提取单词、去除标点符号、去掉语汇单元上的音调符号、将字母转化为小写(也称为规格化)、移除常用词、将单词转换为词干形式(词干还原)，或者将单词转换为基本形等。这个过程也称为语汇单元化过程。分析操作发生在两个阶段：建立索引和进行查询时。

nutch的其他一些特性

● 为了获取小数量的文档(通常是10个左右)，查询处理器会对每个索引搜索器进行查询。因为最后的结果是从多个索引搜索器中合并得到的，所以就没有必要从一个数据源中获取过多的文档结果，尤其是在用户很少去查看第一页之后的结果的情况下。

● 实际上，在每个用户查询被处理之前，它会被扩展为十分复杂的lucene查询。每个索引过的文档都包含了三个域：网页自身的内容，网页的URL文本值，以及由所有关键(anchor)文本所组成的合成文档，这些关键文本可在导航网页的超链接中找到。每个域对应一个不同的权重值。Nutch的查询处理器生成一个lucene布尔查询，其中在三个域中都包含了搜索引擎用户所输入的文本。

● Nutch也会特别的把那些在web上出现的非常频繁的关键字组作为一个整体来索引(其中的许多关键字是与HTTP相关的词组)。这些关键字序列出现的非常频繁，所以无需花费精力去对这些词序中的每个组成部分单独搜索，也不必查找出这些搜索结果中是否有交集的部分。我们不用把这些项划分为单独的单词对来搜索文档，而是把它们作为一个单元，当然前提是nutch在索引期间必须检测到它们是作为一个整体而存在的。另外，在与索引搜索器交互之前，查询处理器会查找出用户输入的字符串中单词的任意组合。如果这样一个词序确实存在，它的单词成员就会整合成一个特殊的搜索项。

● 在使用lucene执行索引操作之前，nutch的内容获取器/索引器需要预处理HTML文档。它使用NekoHTML解析器剥离HTML中的内容，并索引其中的非标记文本。对于从HTML文档提取标题文本，NekoHTML是很有建树的。

● Nutch进程间通信层(IPC)保持了查询处理器与索引搜索器间长时间的连接。查询处理器端可能存在多个并发的线程，对于给定的地址，任一线程都可以向远程服务器发送调用请求。服务器每接受一个请求之后，就会根据给定字符串尝试去查找对应的注册服务(运行在自己线程上)。客户端的请求线程会一直阻塞其他事件，直到服务器端响应的IPC代码到达后，消息通知请求线程为止。如果服务器的响应花费的时间超过了IPC规定的时限，IPC的代码就会宣布此服务器不可用，并抛出一个异常。

● 另外，nutch的排序算法是仿照google的PageRank算法，关于PageRank算法的资料有很多，推荐《Google的秘密PageRank彻底解说中文版》。