编辑“︁Nutch”︁

{{NoteTA
|G1=IT
}}

'''Nutch'''是一个开源的[[网络爬虫]]和[[搜索引擎]]框架，由[[Apache软件基金会]]开发维护。它是[[Hadoop]]项目的前身，为大规模网络数据采集和处理提供了基础架构。

== 概述 ==
Nutch最初由[[Doug Cutting]]和[[Mike Cafarella]]于2002年开发，旨在构建一个可扩展的、分布式的网络搜索引擎。其核心功能包括：
* 网页抓取（Crawling）
* 链接分析（Link Analysis）
* 索引构建（Indexing）
* 搜索功能（Searching）

Nutch的设计目标包括：
* 模块化和可扩展性
* 透明和开放的算法
* 支持分布式处理
* 商业友好的开源许可（Apache License 2.0）

== 架构 ==
Nutch采用模块化架构，主要组件包括：

=== 爬虫组件 ===
负责从互联网抓取网页内容，包含：
* URL过滤器
* 抓取调度器
* 网页解析器
* 内容存储

=== 索引组件 ===
将抓取的网页内容转换为可搜索的索引：
* 文本分析器
* 倒排索引构建器
* 索引优化器

=== 搜索组件 ===
提供搜索功能：
* 查询解析
* 相关性排序
* 结果呈现

== 与Hadoop的关系 ==
Nutch是Hadoop项目的起源：
* 2004年，Nutch团队开发了分布式文件系统（NDFS）和MapReduce实现
* 2006年，这些组件从Nutch中分离出来，成为独立的Hadoop项目
* Nutch 2.0开始使用Hadoop作为底层存储和处理框架

== 使用示例 ==
以下是使用Nutch进行网页抓取的基本命令：

<syntaxhighlight lang="bash">
# 创建种子URL列表
echo "https://example.com" > seed.txt

# 开始抓取
bin/nutch crawl seed.txt -dir crawl -depth 3 -topN 50
</syntaxhighlight>

这个命令会：
1. 从example.com开始抓取
2. 最大抓取深度为3层
3. 每层最多抓取50个页面
4. 结果存储在crawl目录中

== 实际应用 ==
Nutch被广泛应用于：
* 企业搜索引擎建设
* 网络数据挖掘
* 竞争情报收集
* 学术研究

知名案例包括：
* 英国国家档案馆的网络存档系统
* 多个政府机构的网络内容监控
* 多家电商的价格监控系统

== 生态系统 ==
Nutch与多个开源项目集成：
{| class="wikitable"
|-
! 项目 !! 功能
|-
| [[Apache Solr]] || 提供搜索和索引功能
|-
| [[Apache Tika]] || 内容类型检测和提取
|-
| [[Apache Gora]] || 数据持久化
|}

== 版本历史 ==
* 1.0 (2005) - 首个稳定版本
* 1.2 (2007) - 引入Hadoop集成
* 2.0 (2012) - 完全基于Hadoop架构
* 当前版本：1.19 (2023)

== 参见 ==
* [[网络爬虫]]
* [[搜索引擎]]
* [[Hadoop]]
* [[MapReduce]]

== 参考资料 ==
<references />

== 外部链接 ==
* [https://nutch.apache.org/ 官方网站]
* [https://github.com/apache/nutch GitHub仓库]

[[Category:搜索引擎]]
[[Category:Apache软件基金会项目]]
[[Category:网络爬虫]]
[[Category:开源软件]]