本文目录一览:
关于java搜索引擎
lucene的效率没有问题,你可以100W条记录的索引放在一台机器上,用nutch分开检索的算法,或者用hadoop存储索引,自己写一个indexsearcher,但是需要注意各个机器上的结果是本地最优不是全局最优的结果,如果想全局最优的结果还得采用全局频率计数(Nutch现在有没有我不清楚),或者放开各个机器返回结果的数量,从算法理论的角度上最大可能的获得最优解。100W记录的响应我测试过,应该可以满足要求。等你遇到什么问题,可以再联系,lucene后面的基准测试你也可以看看。
老吴
java 搜索引擎
用lucene检索包,很强大。到官网下一个最新版本就可以进行二次开发。
至于中文支持,可以使用流行的中文分词包,建议用用paoding。
有没有java 开源的简单搜索引擎
被邀请回答这个问题,但是似乎问错人了,问的是开源的搜索引擎,但是很抱歉,我对此领域并不熟悉。
我所知道的搜索引擎方案仅有:
1. Nutch ()
2. Datapark search
以下列表不是一个完整的搜索引擎方案,一般都不包括爬虫,确切的说是IR或者全文检索引擎更为恰当:
1. Zettair
2. Indri
3. Terrier
4. Galago
5. Zebra
6. Lucene 及其变种
Lucene
Solr
Elasticsearch
7. Sphinx
8. Xiapian
怎么用java 开发一个搜索引擎呀?
一. 创建索引
1.一般创建索引的核心步骤
(1). 创建索引写入对象IndexWriter:
IndexWriter indexWriter = new IndexWriter(INDEX_STORE_PATH,new StandardAnalyzer(),create);
参数说明:INDEX_STORE_PATH: 索引文件存放路径
new StandardAnalyzer(): 分词工具
create: 此参数为Boolean型,true表示重新创建整个索引, false 表示增量式创建索引。
(2).创建文档模型,并用IndexWriter对象写入
Document doc = new Document();
Field field1 = new Field(fieldName1, fieldValue , Field.Store.YES, Field.Index.TOKENIZED);
doc.add(field1);
Field field2 = new Field(fieldName2, fieldValue , Field.Store.YES, Field.Index.TOKENIZED);
doc.add(field2);
……
indexWriter.addDocument(doc);
indexWriter.close();
参数说明:
Document :负责搜集数据源,它可以从不同的物理文件提取数据并放入同一个Document 中或从一个物理文件中提取出不同的数据并放入同一个Document中。
如下图所示
Field :用来表示不同的数据源
fieldName1: 表示field名称
fieldValue: 表示field 的值
Field.Store.YES,:表示是否在索引文件中完整的存储该值。
在创建索引时,有些内容需要以摘要的形式完整地或以片段的方式显示在页面上,来便于用户查找想要的记录,那么就应该选择存储,如果不需要完整或片段的显示就不需要存储。
Field.Index.TOKENIZED :表示是否索引和分词。
只要是需要当作关键字让用户查找的字段就需要建立索引。
在建立索引的过程中,如果像文章标题、文章内容这样的Field, 一般是靠用户输入几个关键字来查询的,就应该选择分词。
如果需要用户输入完整字符也就是精确查找才能查询到的,例如:beanName,就可以不分词。
Document最直观的理解方式:
Document就相当于我们平台中的一个普通javaBean,,而Field 就是javaBean中的一个属性。lucene搜索的机制就是靠搜索指定的Field的值 ,来得到含有要搜索内容的Document 集合,所以问题的关键在于如何组织Document .
2.结合平台创建索引的思路
(1) 经分析搜索元素应该由如下内容组成(Document的属性)
(2) 数据库数据转化为Document 的构造过程:
JavaBean / Attachment → (Temp Object) BaseData → (Finally Object) Document
分析:
要建立索引的源数据分为两大部分:一个是数据库数据 BeanData ,另一个是附件数据 FileData , 这样可以建立一个抽象类 BaseData , 来存放它们共有的属性。同时为了管理这些相应的数据,在相同的等级结构上,建立了相应的管理类(xxxDataManager) ,对这些数据类的操作(建立或删除索引)进行管理,并用一个工厂类(DataManagerFactory)来创建所需要的管理类,IndexHelper用来充当整个索引模块对外的接口,为了实现一些与平台特定的业务,特用SupportManager来提供一些额外的业务支持,索引模块代码结构如下图所示。
二.搜索索引
1. lucene 搜索的核心步骤:
String[] fields = {“title”, “summary”,……}; //要查找的field范围
BooleanClause.Occur[] flags = {BooleanClause.Occur.SHOULD, BooleanClause.Occur. MUST ,……};
Query query = MultiFieldQueryParser.parse(queryStr, fields,flags,new StandardAnalyzer());
Hits hits = new IndexSearcher(INDEX_STORE_PATH).search(query);
for (int i = 0;i hitsLength ; i++)
{
Document doc = hits.doc(i);
String title = doc.get(“title”);
String summary = doc.get(“summary”);
// 搜索出来的结果高亮显示在页面上
if (title != null) {
TokenStream tokenStream = analyzer.tokenStream(“title”,new StringReader(title));
String highlighterValue = highlighter.getBestFragment(tokenStream, title) ;
if(highlighterValue != null){
title = highlighterValue ;
}
//log.info("SearchHelper.search.title="+title);
}
if(summary!= null){
TokenStream tokenStream = analyzer.tokenStream(“summary”,new StringReader(summary));
String highlighterValue = highlighter.getBestFragment(tokenStream, creator) ;
if(highlighterValue != null){
summary = highlighterValue ;
}
//log.info("SearchHelper.search. summary ="+ summary);
}
}
2.结合平台构造搜索模块
PageData 类用来存放检索结果集数据。
PageInfo 类用来存放页面相关信息例如,PageData对象集合、总记录个数、每一页的记录数、 总页面数量等等。
SearchHelper用来充当整个搜索模块的对外接口。
三.为平台组件添加索引的步骤(以知识中心为例)
1.在com.cscec.oa.searchengine.extend.module 目录下添加一个新的package
例如:com.cscec.oa.searchengine.extend.module.resourcestore
2.在新的目录下建立data package 并建立相应的数据类,并使这个数据类继承BeanData。
例如:
package com.cscec.oa.searchengine.extend.module.resourcestore.data
public class ResourceStoreBeanData extends BeanData{
}
3. 与data package 同一级目录建立manager package 并建立相应管理类,并使这个管理类继承BeanDataManager
例如:
com.cscec.oa.searchengine.extend.module.resourcestore.manager
public class ResourceStoreBeanDataManagerImpl extends BeanDataManager{
}
4.以管理员的身份登陆OA后,在菜单中找到“索引模块管理”链接,将相应信息添加完成后,便可以在List 页面 点击“创建索引”对该模块的数据进行索引的建立,建立完成后便可以进行查询。
求基于JAVA设计的搜索引擎代码。
在业务逻辑层里操作不是都相同的么?为什么特别指出不需要JSP要用GUI呢?难道是用ajax写?但你说在数据库搜索内容并显示又不像ajax。搞不懂。
类似于下面那样子的业务吧?:
String sql="select WP_PRODUCT.*,WP_PROD_CTGRY.C_NAME from WP_PRODUCT,WP_PROD_CTGRY where WP_PRODUCT.CTGRY_ID=WP_PROD_CTGRY.TID ";
ListObject params=new ArrayListObject();
if(type!=null!"".equals(type)){
sql+=" and CTGRY_ID like ?";
params.add(type+"%");
}
if(proName!=null!"".equals(proName)){
sql+=" and NAME like ?";
params.add("%"+proName+"%");
}
if(code!=null!"".equals(code)){
sql+=" and CUSTOM_ID like ?";
params.add(code+"%");
}
if(brandId!=null!"".equals(brandId)){
sql+=" and OWNER_ID = ?";
params.add(brandId);
}
if(netId!=null !"".equals(netId)) {
sql += " and WP_PRODUCT.TID IN(SELECT PRODUCT_ID FROM WP_NET_PRODUCT WHERE OWNER_ID = ?) ";
params.add(netId);
}
sql += " order by WP_PRODUCT.MOD_DATE desc";
this.getVisitor().createPaginationExecutor(sql, page, params.toArray()).pagination(WpProdBean.class);