|  
 JSP中的全文检索 
全文检索一直都是web方面的关键技术,如何在浩如烟海的信息中找到自己想要的信息是人们最关心的。鼎鼎大名的GOOGLE就是一个很成功的例子,网络上的人们大部分都用GOOGLE来查找自己需要的内容。全文检索主要有两个技术指标:快速和精确。前一段时间做了一个新闻系统,老板要加上全文检索的功能,想了很久才用一个不太高明的方法实现了。现在分享一下,希望是抛砖引玉吧,如果大家有更好的办法请跟在后边:) 
先介绍一下我的新闻系统:数据库里存新闻的基本信息,如标题,发布人,发布时间,主体新闻的文件名。新闻主体是html格式的静态页(第一是要提高速度,减少数据库的压力。第二是数据库处理大字符串的时候会有问题。)。全文检索的思路是:先从数据库里把所有的新闻检索出来,把主体新闻找到,然后通过io操作把主体新闻读到一个字符串中。再去掉多余的东西,象html标记什么的,再用正则表达式对这个字符串查找,如果找到符合条件的信息,就记录这条新闻。最后返回所有的符合条件的新闻显示给用户。 
下面这段代码是输入查询条件的代码,查询关键字用”+”隔开search.jsp 
<html> 
<head> 
<link rel="stylesheet" href="css/style3.css"> 
<title>新闻搜索</title> 
<script language="javascript">       
function subform() 
{    
 if (document.zl_form.keyword.value=="") 
 { 
  alert("请输入关键字!"); 
  document.zl_form.keyword.focus(); 
  return false; 
 }      
 return true;        
} 
</script> 
</head> 
<body bgcolor="#F0F6E2"> 
<form name="zl_form"  target="_new" method="post" action="aftsearch.jsp" onsubmit="return subform()"> 
  <table width="600" bgcolor="#F0F6E2"> 
    <tr>  
      <td colspan="4" height="10">  </td> 
    </tr> 
    <tr>  
      <td width="14%">输入查询关键字:</td> 
      <td align="left" width="65%">  
        <input size="50" type="text" name="keyword" style="font-size: 9pt"> 
        <input type="submit" name="submit" value="搜索" style="font-size: 9pt"> 
      </td>  
    </tr> 
    <tr>  
      <td colspan="2" height="9" align="left"> 
              <br> 
        <font color="red" size="+1">说明:如果有多个查询条件,中间用</font><font size="+2">+</font><font color="red" size="+1">隔开。如:1+2+3+4...</font></td> 
    </tr> 
  </table>  
</form> 
</body> 
</html> 
下面的代码是全文检索主体javabean的代码:newsSearch.java 
package NEWS; 
import java.sql.*; 
import java.lang.*; 
import java.text.*; 
import java.util.*; 
import java.io.*; 
import java.util.regex.*; 
import DBstep.iDBManager2000;//数据库操作的bean 
public class newsSearch { 
  private String filePath=null;//主体新闻存放的目录 
  private String keyWord=null;//查询关键字 
  private Vector news = new Vector();//存放符合条件的结果  
  public newsSearch() { } 
  public void setFilePath(String s) { 
    this.filePath=s; 
  } 
  public void setKeyWord(String s) { 
    this.keyWord=s; 
  } 
  public Vector getResult() { 
    return news; 
  } 
  public void search() { 
  //打开数据库  
ResultSet result=null; 
   String mSql=null; 
   PreparedStatement prestmt=null;  
   DBstep.iDBManager2000 DbaObj=new DBstep.iDBManager2000(); 
   DbaObj.OpenConnection(); 
   try { 
  //检索所有的新闻 
   mSql="select * from t_news_detail  order by release_time desc"; 
   result=DbaObj.ExecuteQuery(mSql); 
   while(result.next()) 
   { 
    String id=result.getString("id"); 
    String title=result.getString("title"); 
    String release_time=result.getString("release_time"); 
    String news_type=result.getString("type"); 
    String content=result.getString("content"); 
    String man_add=result.getString("man_add");  
      //按行读文件 
      String trace=filePath+content+".html"; 
      FileReader  myFileReader=new FileReader(trace); 
    BufferedReader myBufferedReader=new BufferedReader(myFileReader); 
    String myString=null; 
    String resultString=new String(); 
    while((myString=myBufferedReader.readLine())!=null) 
    {   
     resultString=resultString+myString;  
     } 
      //去掉多余字符 
   HtmlEncode.HtmlEncode Html=new HtmlEncode.HtmlEncode();//这个bean去掉多余的字符,新闻是自己生成的文件,可以尽量多的删除多余字符 
   resultString=Html.TextEncode(resultString);  
   myFileReader.close(); 
   //取出查询关键字 
   Pattern p=null; 
   Matcher m=null; 
   p = Pattern.compile("\\+"); 
   String[] a=p.split(keyWord);//把关键字用+分开 
   //全文检索 
   String searchResult="1";//检索结果 
   int i; 
   for(i=0;i<a.length;i++)//逐个按关键字查找,如果所有的关键字都符合,则记录结果 
  { 
   p = Pattern.compile(a[i].toString()); 
   m = p.matcher(resultString); 
   if (!(m.find())) { 
    searchResult="0"; 
      } 
     } 
  //记录符合条件的新闻      
  if(searchResult.equals("1"))   
  { 
   News resultNews=new News();//存放结果的类,和数据库的结构基本一致 
   resultNews.content=content; 
   resultNews.release_time=release_time; 
   resultNews.type=news_type; 
   resultNews.man_add=man_add; 
   resultNews.title=title; 
   news.addElement(resultNews);//最后的结果集,要返回客户端 
   } 
   }  
  //关闭数据库 
  DbaObj.CloseConnection() ;   
    }catch(Exception e){ 
        System.out.println(e.toString()); 
      } 
  } 
 public class News { //存放结果的类 
    String content; 
    String release_time; 
      String type; 
      String man_add; 
      String title; 
    public String getContent() { return this.content; } 
      public String getTitle() { return this.title; } 
    public String getTime() { return this.release_time; } 
      public String getType() { return this.type; } 
    public String getMan_add() { return this.man_add; } 
  } 
} 
下面的代码是调用的:aftsearch.jsp 
<%@ page contentType="text/html; charset=gb2312" %> 
<%@ page import="java.util.*" %> 
<% 
 request.setCharacterEncoding("GB2312");  
 String keyword=request.getParameter("keyword");  //接收关键字 
 String trace=getServletContext().getRealPath("/")+"xwxx\\news\\";//主体新闻存放路径 
 NEWS.newsSearch newsSearch=new NEWS.newsSearch();//初始化检索的bean 
 newsSearch.setFilePath(trace);//设置主体新闻路径 
 newsSearch.setKeyWord(keyword);//设置关键字 
 newsSearch.search();//检索 
 Vector news=newsSearch.getResult();//取到结果 
%> 
<html> 
<head> 
<title>新闻搜索</title> 
<META HTTP-EQUIV="Cache-Control" CONTENT="no-cache"> 
<link rel="stylesheet" href="../css/style3.css"> 
<script LANGUAGE="javascript"> 
 function open_window(id) 
{ 
  locat="./news/"+id+".html"; 
  window.open(locat,"new","width=550,height=500 ,scrollbars=yes") 
} 
</script> 
</head> 
<object id=hh2 classid="clsid:ADB880A6-D8FF-11CF-9377-00AA003B7A11">  
<param name="Command" value="Maximize"></object> 
<body bgcolor=#F5FAF3 leftmargin="0" topmargin="0" marginwidth="0" marginheight="0"> 
<script> 
hh2.Click(); 
</script> 
<table width="621" border="0"> 
  <tr> 
    <td colspan=5> 
               
               
               
       </font> 
    </td> 
  </tr> 
  <tr valign="middle"> 
    <td width="45%" height="22"> 
      <div align="center" class = "t_header">标 题</div> 
    </td> 
    <td width="15%" height="22"> 
      <div align="center" class = "t_header">类 别</div> 
    </td> 
      <td width="15%" height="22"> 
      <div align="center" class = "t_header">发 布 人</div> 
    </td> 
    <td width="25%" height="22"> 
      <div align="center" class = "t_header">发 布 时 间</div> 
    </td> 
  </tr> 
  <tr bgcolor="#B7D79F" valign="middle"> 
    <td colspan="4" height="2"></td> 
  </tr> 
</table>  
<table width="624" border="0" bordercolor="#99CCFF"> 
<% 
 String color=null; 
 int j=0; 
 if(!(news.size()==0)) { 
 for (int i = 0; i < news.size(); i++) { 
 j++; 
 NEWS.newsSearch.News  myNews=(NEWS.newsSearch.News)news.get(i); 
  if(i%2==0) 
  { color="#F5FAF3"; } 
  else { color="#DBF7ED";   } 
%>  
           <tr  bgcolor = "<%=color%>"> 
             <td width="45%" height="20"> 
             <img src="./images/dot.gif" align = "absmiddle"> 
<a href="#"  onClick="open_window(<%=myNews.getContent()%>)"> <%=myNews.getTitle()%></a> 
             </td> 
                     <td width="15%" height="20" align="center"> 
<%=myNews.getType()%> 
             </td> 
             <td width="15%" height="20" align="center"> 
<%=myNews.getMan_add()%> 
             </td> 
             <td width="25%" height="20" align="center"> 
<%=myNews.getTime()%> 
             </td> 
          </tr> 
<% } } else{ out.println("对不起,没有搜索到您要查找的新闻");}  //和最前边的else对应,判断是否有记录 %>                 
  <tr bgcolor="#B7D79F"> 
    <td colspan="4" height="2"></td> 
  </tr> 
             <tr> 
             <td colspan=4> 
<p align=right> 
   
             </td> 
             </tr> 
       </table> 
<P align=center>                共搜索到新闻 <%=j%> 条   
</body> 
</html> 
这个方法比较原始,但是时间有限,也没办法了,先凑合用。我在自己机器测试:100条记录的时候检索时间是9秒,200条是10秒,300条是12秒。也是可以接受的:)。 
这个是基于数据库的,大家可以很容易的扩展到基于文件夹的,只要把文件夹下的所有文件都遍历件出来,就可以和上边的方法一样做全文检索了,文件必须是文本格式的才可以。不过那样的话速度方面就没有保证了。 
全文检索是一个大课题,有很多因素要考虑,还有很多技术。这个只是为我的新闻系统做的,也许方法很原始,这也是我能想到的最好的办法了。大家如果有好的全文检索的办法请跟在下面,谢谢。  
 
  |