这篇是对上面配置的继续 1.安装lucene wget http://apache.mirror.phpchina.com/lucene/java/lucene-2.3.2.tar.gz 不是lucene-2.3.2-src.tar.gz哦，这个无lucene-demos-2.3.2.jar 在目录下： tar zxvf lucene-2.3.2.tar.gz mv lucene-2.3.2 /usr/share 查看解压文件里面的build.txt里面有lucene配置的的基本步骤，根据提示，ant是必须的，我们现在要把ant的安装补上（eclipse下有ant，如果在eclipse下调试的话好像不需要再安装了就。具体的不太清楚也） ##CONTINUE## 2.安装ant http://ant.apache.org/bindownload.cgi ant是一个基于JAVA的自动化脚本引擎，脚本格式为XML。除了做JAVA编译相关任务外，ANT还可以通过插件实现很多应用的调用，比make脚本来说还要好维护一些。 wget http://apache.mirror.phpchina.com/ant/binaries/apache-ant-1.7.1-bin.tar.gz 在对应目录下： tar zxvf apache-ant-1.7.1-bin.tar.gz mv apache-ant-1.7.0 /usr/share/ gedit /etc/profile 加上 ANT_HOME=/usr/share/apache-ant-1.7.1 export ANT_HOME 编辑 PATH=$PATH:$JAVA_HOME/bin:$ANT_HOME/bin 3 继续设置lucene 再修改profile gedit /etc/profile 增加 LUCENE_HOME=/usr/share/lucene-2.3.2 CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar:${LUCENE_HOME}/lucene-core-2.3.2.jar:${LUCENE_HOME}/lucene-demos-2.3.2.jar 4.测试lucene demo 在lucene目录下， cd ./src/demo java org.apache.lucene.demo.IndexFiles /usr/share/lucene-2.3.2/docs 如果路径正确会出现如下： 。 。 。 adding [...]
Posts Tagged ‘nutch’
Nutch介绍[转自Nutch中文网站]
By clfour in 干活Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。可以为什么我们需要建立自己的搜索引擎呢？毕竟我们已经有google可以使用。这里我列出3点原因： ##CONTINUE## 透明度：Nutch是开放源代码的，因此任何人都可以查看他的排序算法是如何工作的。商业的搜索引擎排序算法都是保密的，我们无法知道为什么搜索出来的排序结果是如何算出来的。更进一步，一些搜索引擎允许竞价排名，比如百度，这样的索引结果并不是和站点内容相关的。因此 Nutch 对学术搜索和政府类站点的搜索来说，是个好选择。因为一个公平的排序结果是非常重要的。 对搜索引擎的理解：我们并没有google的源代码，因此学习搜索引擎Nutch是个不错的选择。了解一个大型分布式的搜索引擎如何工作是一件让人很受益的事情。在写Nutch的过程中，从学院派和工业派借鉴了很多知识：比如：Nutch的核心部分目前已经被重新用 Map Reduce 实现了。看过开复演讲的人都知道 Map Reduce 的一点知识吧。Map Reduce 是一个分布式的处理模型，最先是从 Google 实验室提出来的。你也可以从下面获得更多的消息。 http://www.domolo.com/bbs/list.asp?boardid=29 http://domolo.oicp.net/bbs/list.asp?boardid=29 并且 Nutch 也吸引了很多研究者，他们非常乐于尝试新的搜索算法，因为对Nutch 来说，这是非常容易实现扩展的。 扩展性：你是不是不喜欢其他的搜索引擎展现结果的方式呢？那就用 Nutch 写你自己的搜索引擎吧。 Nutch 是非常灵活的：他可以被很好的客户订制并集成到你的应用程序中：使用Nutch 的插件机制，Nutch 可以作为一个搜索不同信息载体的搜索平台。当然，最简单的就是集成Nutch到你的站点，为你的用户提供搜索服务。 Nutch 的安装分为3个层次：基于本地文件系统，基于局域网，或者基于 internet 。不同的安装方式具有不同的特色。比如：索引一个本地文件系统相对于其他两个来说肯定是要稳定多了，因为没有 网络错误也不同缓存文件的拷贝。基于Internet 的搜索又是另一个极端：抓取数以千计的网页有很多技术问题需要解决：我们从哪些页面开始抓取？我们如何分配抓取工作？何时需要重新抓取？我们如何解决失效的链接，没有响应的站点和重复的内容？还有如何解决对大型数据的上百个并发访问？搭建这样一个搜索引擎是一笔不小的投资呀！在 ” Building Nutch: Open Source Search,” 的作者 Mike Cafarella 和 Doug Cutting 总结如下：: … 一个具有完全功能的搜索系统：1亿页面索引量，每秒2个并发索引，需要每月800美元。10亿页面索引量，每秒50个页面请求，大概需要每月30000美元。 这篇文章将为你演示如何在中等级别的网站上搭建Nutch。第一部分集中在抓取上。Nutch的抓取架构，如何运行一个抓取程序，理解这个抓取过程产生了什么。第二部分关注搜索。演示如何运行Nutch搜索程序。以及如何订制Nutch 。 Nutch [...]