��Z��Lucene的搜索框�?snoics-retrieval-1.01 版本更新

snoics — Tue, 28 Sep 2010 08:33:00 GMT

下蝲地址�Q?a target="_blank" title="http://code.google.com/p/snoics-retrieval/" >http://code.google.com/p/snoics-retrieval/

版本更新说明

V1.01�Q?/span>

1、提高创建烦(ch��)引的效率

2、通过对象池管�?/span>IndexWriter�?/span>IndexReader对象

3、修正若�q?/span>BUG

V1.0�Q?/span>

初始版本

��Z��Lucene的全文检索框�Ӟ��提供快速方便的索引创徏�?qi��ng)查询方式，�q�提供扩展功能对框架�q�行扩展�?br />
��目地址�Q?/span>http://code.google.com/p/snoics-retrieval/

环境要求

Java1.5+

Lucene 3.0+

snoics 2010-09-28 16:33 发表评论

snoics — Wed, 18 Aug 2010 07:00:00 GMT

做了(ji��n)一些小的修改和调整

环境要求

Java1.5+

Lucene 3.0+

snoics 2010-08-18 15:00 发表评论

使用逆�L兰表辑ּ��q�行四则�q�算

snoics — Thu, 29 Jul 2010 09:44:00 GMT

摘要: 对四则运��表辑ּ�字符串进行解析后计算出结果，可以使用逆�L兰表辑ּ��q�行处理�? 首先说明一下什是逆�L兰表辑ּ��Q? 逆�L兰表辑ּ�又叫做后�~�表达... 阅读全文

snoics 2010-07-29 17:44 发表评论

snoics — Mon, 26 Jul 2010 00:06:00 GMT

摘要: ��Z��自己的兴��，利用业务旉��在Lucene基础上做的一个搜索框�Ӟ��请大家多多指教�? 一�?nbsp; 介绍 ��Z��Lucene的全文检索框�Ӟ��提供快速方便的索引创徏�?qi��ng)查询方式，�q�提供扩展功能对框架�q�行扩展�? &nbs... 阅读全文

snoics 2010-07-26 08:06 发表评论

Myeclipse 7 插�g安装

snoics — Mon, 15 Dec 2008 05:41:00 GMT

    Myeclipse 7 的插件安装方式与原先的方式完全不一样了(ji��n)�Q�下面以JBossTools-2.1.2.GA插�g安装��Z��q�行说明�?br />
    假设
            Myeclipse 7的安装�\径�ؓ(f��)�Q�C:\Genuitec
            JBossTools-2.1.2.GA插�g的�\径�ؓ(f��)�Q?nbsp; C:\eclipse-plugins\plugins\JBossTools-2.1.2.GA-ALL-win32

    ��下面这�D�代码编译后执行�Q?br />

1package test;
2
3import java.io.File;
4import java.util.ArrayList;
5import java.util.List;
6
7
8/**
9 * Descript:
10 *
11 *
12 */
13
14public class CreatePluginsConfig {
15    private String path;
16
17    public CreatePluginsConfig(String path){
18        this.path=path;
19    }
20
21    public void print(){
22        List list=getFileList(path);
23        if(list==null){
24            return;
25        }
26
27        int length=list.size();
28        for(int i=0;i<length;i++){
29            String result="";
30            String thePath=getFormatPath(getString(list.get(i)));
31            File file=new File(thePath);
32            if(file.isDirectory()){
33                String fileName=file.getName();
34                if(fileName.indexOf("_")<0){
35                    continue;
36                }
37                String[] filenames=fileName.split("_");
38                String filename1=filenames[0];
39                String filename2=filenames[1];
40                result=filename1+","+filename2+",file:/"+path+"\\"+fileName+"\\,4,false";
41                System.out.println(result);
42            }else if(file.isFile()){
43                String fileName=file.getName();
44                if(fileName.indexOf("_")<0){
45                    continue;
46                }
47                String[] filenames=fileName.split("_");
48                String filename1=filenames[0];
49                String filename2=filenames[1].substring(0, filenames[1].lastIndexOf("."));
50                result=filename1+","+filename2+",file:/"+path+"\\"+fileName+",4,false";
51                System.out.println(result);
52            }
53
54        }
55    }
56
57    public List getFileList(String path){
58        path=getFormatPath(path);
59        path=path+"/";
60        File filePath=new File(path);
61        if(!filePath.isDirectory()){
62            return null;
63        }
64        String[] filelist=filePath.list();
65        List filelistFilter=new ArrayList();
66
67        for(int i=0;i<filelist.length;i++){
68            String tempfilename=getFormatPath(path+filelist[i]);
69            filelistFilter.add(tempfilename);
70        }
71        return filelistFilter;
72    }
73
74    public String getString(Object object){
75        if(object==null){
76            return "";
77        }
78        return String.valueOf(object);
79    }
80
81    public String getFormatPath(String path) {
82        path = path.replaceAll("\\\\", "/");
83        path = path.replaceAll("//", "/");
84        return path;
85    }
86
87    public static void main(String[] args){
88        new CreatePluginsConfig("C:\\eclipse-plugins\\plugins\\JBossTools-2.1.2.GA-ALL-win32\\eclipse\\plugins").print();
89    }
90}

    执行完之后，��控制台中打印出的执行结果，直接复制��C��面这个文件中�Q?br />
    C:\Genuitec\MyEclipse 7.0\configuration\org.eclipse.equinox.simpleconfigurator\bundles.info

    然后�?-clean 命��o(h��)重新启动Myeclipse即了(ji��n)完成插�g的安装�?br />

snoics 2008-12-15 13:41 发表评论

snoics — Thu, 24 Apr 2008 04:52:00 GMT

        “不要重新发明轮子�Q�！�Q?#8221;

        乍听之下�Q�这一句话��g��是很有道理。确实在很多情况下，�q�句话是很有道理。可是殊不知在这一句冠冕堂皇的理由下，有多��的创意、多��的�Ȁ情被�Ҏ(gu��)��?ji��n)�?br />
        在很多情况下�Q�有些中国的�E�序员只要自己想做一些有创造性的工作�Q�确��L��被上�U�或其他的某些同行嘲�W?#8220;你要做的�q�个东西已经有现成的�?ji��n)，有必要再花时间去做吗�Q�你能做的比别�h做出来的东西更好吗？你这是在重新发明轮子�Q�而且是不好的轮子�?#8221;

        �l�果�Q�一个接着一个的萌芽�?#8216;不要重新发明轮子’�q�个古训扼杀�?ji��n)�?br />
        惌��v来真是觉得很�(zh��n)�哀也很无奈�Q�中国的�E�序员永�q�只能��用外国�h的技术，甚至其中有不��都是已�l�快要过时了(ji��n)才开始在中国普及(qi��ng)开。一个接着一个的��行框架在国外的人手中��生出来，��Z��么他们就可以重新发明轮子�Q�而我们就不行呢？��d��古训��D��的唯一的结果就是无法进步，永远只能使用别�h的东西，最多就是罗列了(ji��n)一堆会(x��)使用的框�Ӟ��真正的技术都是掌握在别�h的手里�?br />
         有一�ơ面试，��历上列出�?ji��n)�?x��)使用�Q�JSF,SPRING,HIBERNATE�Q�还有不��其他的�Q�具体的��C��太清�?ji��n)�?j��)�Q�而且已经参与开发过�?ji��n)两个WEB�c�d��的项目，�q�且已经通过�?ji��n)SCJP认证。结果确�q�几�U�List的区别，HashTable和HashMap的区别都分不清，设计模式斚w��更是惨不忍睹�Q�甚��x��不可思议的是�q��用HTML语法��d��一个稍昑֤�杂的表格都办不到。回�{�是�Q�因为都是��用框架和框架提供的标�{�，所以不需要接触这�?#8230;…

        �q�是那句话：(x��)有时候是该反省反省，除了(ji��n)框架�Q�自��p��剩下什么？

snoics 2008-04-24 12:52 发表评论

一个关于分��늚�数据和显�C�分��ȝ��设计

snoics — Tue, 25 Mar 2008 03:39:00 GMT

摘要: 数据分页昄��是一��Ҏ(gu��)��?ch��)�h的工作，涉及(qi��ng)到数据来源，数据生成�Q�数据显�C��几个斚w��。数据有可能是从��L��地方以�Q意方式获取到的，而且获取到的数据又有可能是经�q�了(ji��n)��L��的方式处理之后，再以��L��的方式显�C�给最�l�用戗��? �q?.. 阅读全文

snoics 2008-03-25 11:39 发表评论

snoics — Mon, 24 Mar 2008 13:02:00 GMT

一个cron表达式有臛_��6个（也可�?个）(j��)有空格分隔的旉��元素�?/p>

按顺序依�ơ�ؓ(f��)
�U�（0~59�Q?
分钟�Q?~59�Q?
��时�Q?~23�Q?
天（月）(j��)�Q?~31�Q�但是你需要考虑你月的天敎ͼ�(j��)
月（0~11�Q?
天（星期�Q�（1~7 1=SUN �?SUN�Q�MON�Q�TUE�Q�W(xu��)ED�Q�THU�Q�FRI�Q�SAT�Q?
7.�q�䆾�Q?970�Q?099�Q?/p>

其中每个元素可以是一个�?�?),一个连�l�区�?9-12),一个间隔时�?8-18/4)(/表示每隔4��时),一个列�?1,3,5),通配�W�。由�?月䆾中的日期"�?星期中的日期"�q�两个元素互斥的,必须要对其中一个设�|?.
0 0 10,14,16 * * ? 每天上午10点，下午2点，4�?br /> 0 0/30 9-17 * * ? 朝九(ji��)晚五工作旉��内每半小�?br /> 0 0 12 ? * WED 表示每个星期三中�?2�?
"0 0 12 * * ?" 每天中午12点触�?
"0 15 10 ? * *" 每天上午10:15触发
"0 15 10 * * ?" 每天上午10:15触发
"0 15 10 * * ? *" 每天上午10:15触发
"0 15 10 * * ? 2005" 2005�q�的每天上午10:15触发
"0 * 14 * * ?" 在每天下�?点到下午2:59期间的每1分钟触发
"0 0/5 14 * * ?" 在每天下�?点到下午2:55期间的每5分钟触发
"0 0/5 14,18 * * ?" 在每天下�?点到2:55期间和下�?点到6:55期间的每5分钟触发
"0 0-5 14 * * ?" 在每天下�?点到下午2:05期间的每1分钟触发
"0 10,44 14 ? 3 WED" 每年三月的星期三的下�?:10�?:44触发
"0 15 10 ? * MON-FRI" 周一臛_��五的上午10:15触发
"0 15 10 15 * ?" 每月15日上�?0:15触发
"0 15 10 L * ?" 每月最后一日的上午10:15触发
"0 15 10 ? * 6L" 每月的最后一个星期五上午10:15触发
"0 15 10 ? * 6L 2002-2005" 2002�q�至2005�q�的每月的最后一个星期五上午10:15触发
"0 15 10 ? * 6#3" 每月的第三个星期五上�?0:15触发

有些子表辑ּ�能包含一些范围或列表
例如�Q�子表达式（天（星期�Q�）(j��)可以�?“MON-FRI”�Q?#8220;MON�Q�W(xu��)ED�Q�FRI”�Q?#8220;MON-WED,SAT”
“*”字符代表所有可能的�?
因此�Q?#8220;*”在子表达式（月）(j��)里表�C�每个月的含义，“*”在子表达式（天（星期�Q�）(j��)表示星期的每一�?

“/”字符用来指定数值的增量
例如�Q�在子表辑ּ��Q�分钟）(j��)里的“0/15”表示从第0分钟开始，�?5分钟
在子表达式（分钟�Q�里�?#8220;3/20”表示从第3分钟开始，�?0分钟�Q�它�?#8220;3�Q?3�Q?3”�Q�的含义一�?

“�Q?#8221;字符仅被用于天（月）(j��)和天�Q�星期）(j��)两个子表辑ּ��Q�表�C�Z��指定�?
�?个子表达式其中之一被指定了(ji��n)��g��后，��Z��(ji��n)避免冲突�Q�需要将另一个子表达式的��D��?#8220;�Q?#8221;

“L” 字符仅被用于天（月）(j��)和天�Q�星期）(j��)两个子表辑ּ��Q�它是单�?#8220;last”的羃�?
但是它在两个子表辑ּ�里的含义是不同的�?
在天�Q�月�Q�子表达式中�Q?#8220;L”表示一个月的最后一�?
在天�Q�星期）(j��)自表辑ּ�中，“L”表示一个星期的最后一天，也就是SAT
如果�?#8220;L”前有具体的内容，它就��h��其他的含义了(ji��n)
例如�Q?#8220;6L”表示�q�个月的倒数�W�６天，“�Q�Ｒ�Q�Ｌ”表示�q�个月的最一个星期五
注意�Q�在使用“L”参数�Ӟ��不要指定列表或范��_(d��)��因�ؓ(f��)�q�会(x��)��D��问题

字段允许�?允许的特�D�字�W?br /> �U?nbsp; 0-59 , - * /
�?nbsp; 0-59 , - * /
��时 0-23 , - * /
日期 1-31 , - * ? / L W C
月䆾 1-12 或�?JAN-DEC , - * /
星期 1-7 或�?SUN-SAT , - * ? / L C #
�q�_(d��)��可选）(j��) 留空, 1970-2099 , - * /

snoics 2008-03-24 21:02 发表评论

snoics — Mon, 24 Mar 2008 12:38:00 GMT

IE有时�?x��)在打开一些页面时出现

此对话框出现错误�?br />
错误�Q?3
存储�I�间不��Q�无法完成此操作

的错误提�C�框�Q�导致页面最�l�无法打开

�l�过很长旉��Q�终于发现在IE7中解册��个问题的解决�Ҏ(gu��)��

在IE7中进行如下操作：(x��)

Tools-->Internet Options-->Programs-->Advanced-->Reset-->Reset

�q�样讲IE7中的各项配置�Q�包括插件全部都恢复到IE7刚安装完时的最初始化的状态，之前的那个错误也解决�?ji��n)�?br />

snoics 2008-03-24 20:38 发表评论

snoics — Sun, 25 Nov 2007 10:51:00 GMT

�q�h��?ji��n)一�D�|��_(d��)��现在�l�于想通了(ji��n)�Q�还是��l�以前的执着�Q��l�朝以前的那个目标不断努力吧。差点就攑ּ��?ji��n)，不过�q�是�l�于�q�是又回来了(ji��n)�?br />
一定要�Q�也一定会(x��)变得更强�Q�对自己有信�?nbsp; ^_^

snoics 2007-11-25 18:51 发表评论

snoics-reptile �|�页爬虫2.1 (2006-10-27日更�?

snoics — Fri, 27 Oct 2006 13:05:00 GMT

           最�q�因为工作太忙的原因�Q�一直没有时间来更新�Q�现在放�?.1的版本（包含最新的源代码）(j��)�?/font>

        下蝲地址�Q?br />                         snoics-reptile2.1.part1.rar
                         snoics-reptile2.1.part2.rar
                         snoics-reptile2.1.part3.rar
                         snoics-reptile2.1.part4.rar

          �Q�大家有什么意见可以在�q�里提出�Q�只要有旉��Q�我�?x��)尽量更斎ͼ�有什么徏议可以在blog里面提出�Q�或者加我的MSN一赯��论。�?^_^ �Q?/font>

版本历史
2.1�Q?br />	1、不用再配置snoics-configpath.xml中的路径�?br />2、定时自动保存Cache 3、修改了(ji��n)一些Bug
2.0�Q?br />	核心(j��)代码全部重写�Q�增加了(ji��n)扩展性，通过扩展之后�Q�基本上能实现对整个�\|�站完整的解�?br />
1.0�Q?br />	实现�?ji��n)整站抓取的基本的功能，不能解析��?gu��)��的URL�Q�对javascript无法辨认

snoics 2006-10-27 21:05 发表评论

猫扑�?sh��)台遨游插�g

snoics — Wed, 06 Sep 2006 11:28:00 GMT

发现猫扑的电(sh��)��C��错，把它作成遨游的插件了(ji��n)�Q�放上来与大家分享�?br />
下蝲以后把文件解压到遨游的插件目录下�Q�就�?x��)在侧边拦出现MOP的电(sh��)収ͼ�用�v来很方便�?a href="/Files/snoics/MOP">

http://m.tkk7.com/Files/snoics/MOP.rar

snoics 2006-09-06 19:28 发表评论

snoics — Sat, 19 Aug 2006 06:30:00 GMT

    有些��不知道snoics-reptile中的snoics-systemconfig.xml不知道怎么配置�Q�这里就�l�出一个CSDN中Java文档中心(j��)的抓取配�|�的抓取配置�?br />
     在抓取完�?ji��n)之后往Apache的httpd.conf中加�?br />Listen 10001

    DocumentRoot D:\\temp\\reptile\\website

     �q�段配置�?br />

     最后删除抓取下来的文�g夹中的D:\temp\reptile\website\author\index.html�q�个文�g。不知道��Z��么文档中�?j��)的�q�个URL是一个空的页�?a >http://dev.csdn.net/author �Q�把�q�个URL的相对应的抓取下的文件删除就可以正常使用�?br />
     在抓取的�q�程中，有些囄��文�g可能�?x��)出现错误，不过不�?ji��ng)响��用，因�ؓ(f��)�q�些囄��的�\径本�w�大概就有些问题�?br />

      附�g-配置文�g�Q?a href="/Files/snoics/snoics-systemconfig.rar">http://m.tkk7.com/Files/snoics/snoics-systemconfig.rar

snoics 2006-08-19 14:30 发表评论

源代码发�?snoics-reptile �|�页爬虫2.0

snoics — Sat, 03 Jun 2006 02:53:00 GMT

源代码发�?/font>

snoics-reptile �|�页爬虫2.0

作者：(x��)	施伟
EMail�Q?/td>	snoics@hotmail.com
主页�Q?/td>	http://m.tkk7.com/snoics

FAQ

1、snoics-reptile是什么？

是用�U�Java开发的�Q�用来进行网站镜像抓取的工具�Q�可以��用配制文件中提供的URL入口�Q?br />把这个网站所有的能用��览器通过GET的方式获取到的资源全部抓取到本地�Q�包括网��和�?br />�U�类型的文�g�Q�如�Q�图片、flash、mp3、zip、rar、exe�{�文件。可以将整个�|�站完整��C��传至
��盘内，�q�能保持原有的网站结构精��不变。只需要把抓取下来的网站放到web服务�?br />(如：(x��)Apache)中，��可以实现完整的�|�站镜像�?br />

2、现在已�l�有�?ji��n)其他的�c�M��的��Y�Ӟ��Z��么还要开发snoics-reptile�Q?/font>

因�ؓ(f��)有些在抓取的�q�程中经�怼�(x��)出现错误的文�Ӟ��而且对很多��?br />javascript控制的URL没有办法正确的解析，而snoics-reptile通过对外提供
接口和配�|�文件的形式�Q�对�Ҏ(gu��)��的URL�Q�可以通过自由的扩展对外提
供的接口�Q��ƈ通过配置文�g注入的方式，基本上能实现�Ҏ(gu��)��有的�|�页�?br />正确的解析和抓取�?br />

3、如何��用？

a、配�|?bin\snoics-configpath.xml 文�g

��配�|�文件中的path节点的值改为conf文�g夹在�pȝ��中的�l�对路径�Q?br /> �? c:\snoics-reptile\conf

    b、配�|?conf\snoics-systemconfig.xml 文�g

        其中parameters节点中的配置为对需要抓取的�|�站的参数的配置�Q?br />
        以下是各个参数的说明�Q?

        1、websitename�Q?br />
        站点的名�U?不能为空�Q�由字母和数字组�?

        2、charsetName�Q?br />
        该站点��用的字符集类�?br />
        3、website�Q?br />
        ��被抓取的站点的域名

        4、startpage�Q?br />
        抓取的�v始页�?br />
        5、url�Q?br />
        该站点中��被抓取的部�?如果留空则�ؓ(f��)整个站点�Q�可以有多个URL�Q?br />每个URL之间使用";"隔开)

        6、remoteurlflag�Q?br />
        代表�q�程URL的标志，没有�Ҏ(gu��)��情况请不要修�Ҏ(gu��)��处，使用默认�?br />(多个之间使用";"隔开)

        7、forbidurl�Q?br />
        该站点中不被抓取的部�?多个之间使用";"隔开)

        8、cachefile�Q?br />
        该站点��用的�~�存文�g�Q�如果缓存文件不存在则自动创��Z��个新的，
如果已经存在�Q�则�?x��)蝲入文件中保存的信�?br />
        9、filerootpath�Q?br />
        抓取下的文�g的保存�\�?必须是系�l�中的绝对�\�?

        10、indexpage�Q?br />
        ��被保存成index.html文�g名的URL�c�d��(多个之间使用";"隔开)

        11、filenamelength�Q?br />
        ��面保存到本地时�Q�随机生成的文�g名的长度

        12、cacheunitsize�Q?br />
        一个cache单元的大��?br />
        13、reptile-downloadfiletype�Q?br />
        ��被抓取到本地的文�g�c�d��(多个之间使用";"隔开)

        14、reptile-undownloadfiletype�Q?br />
        ��面被保存到本地�Ӟ��该种�c�d��的文件的URL��被�Ҏ(gu��)��q�程的URL地址
�Q�如果这�U�类型出现在reptile-downloadfiletype中时�Q�则文�g��被抓取到本圎ͼ�
而URL也将�Ҏ(gu��)��本地的URL(多个之间使用";"隔开)

c、在参数配置好之后，执行bin/run.bat文�g

4、如何扩展接口？

    扩展接口使用的配�|�文件是�Q�conf/snoics-reptile-urlregex.xml

    首先加入一�D�如下的配置



            ]*\shref\s*=\s*["']?[^<>]*["'\s][^<>]*>]]>



            ]*\shref\s*=\s*["']?reptile-replace-string["'\s][^<>]*>]]>








    其中ahrefGetRegexUrl是实��C��(ji��n)com.snoics.reptile.regex.url.IGetUrlRegex接口的类�Q�用来从可能包含�?ji��n)URL的字�W�串里面提取其中包含的URL

    其次加入如下的配�|�：(x��)












    最后，在如下的配置中，加入刚才配置好的部分

5、版本历�?font size="+0">
2.0�Q?br />	核心(j��)代码全部重写�Q�增加了(ji��n)扩展性，通过扩展之后�Q�基本上能实现对整个�\|�站完整的解�?br />
1.0�Q?br />	实现�?ji��n)整站抓取的基本的功能，不能解析��?gu��)��的URL�Q�对javascript无法辨认

源代码下载地址�Q?br />
snoics-reptile2.0-src.part1.rar
snoics-reptile2.0-src.part2.rar
snoics-reptile2.0-src.part3.rar
snoics-reptile2.0-src.part4.rar

snoics 2006-06-03 10:53 发表评论

snoics-reptile �|�页爬虫2.0

snoics — Mon, 29 May 2006 13:41:00 GMT

snoics-reptile �|�页爬虫2.0

作者：(x��)	施伟
EMail�Q?/td>	snoics@hotmail.com
主页�Q?/td>	http://m.tkk7.com/snoics

FAQ

1、snoics-reptile是什么？

是用�U�Java开发的�Q�用来进行网站镜像抓取的工具�Q�可以��?br />配制文�g中提供的URL入口�Q�把�q�个�|�站所有的能用��览器通过
GET的方式获取到的资源全部抓取到本地�Q�包括网��和各种�c�d��
的文�Ӟ��如：(x��)囄��、flash、mp3、zip、rar、exe�{�文件。可以将�?br />个网站完整地下传至硬盘内�Q��ƈ能保持原有的�|�站�l�构�_��不变�?br />只需要把抓取下来的网站放到web服务�?如：(x��)Apache)中，��可�?br />实现完整的网站镜像�?br />

2、现在已�l�有�?ji��n)其他的�c�M��的��Y�Ӟ��Z��么还要开发snoics-reptile�Q?/font>

因�ؓ(f��)有些在抓取的�q�程中经�怼�(x��)出现错误的文�Ӟ��而且对很多��?br />javascript控制的URL没有办法正确的解析，而snoics-reptile通过对外提供
接口和配�|�文件的形式�Q�对�Ҏ(gu��)��的URL�Q�可以通过自由的扩展对外提�?br />的接口，�q��过配置文�g注入的方式，基本上能实现�Ҏ(gu��)��有的�|�页�?br />正确的解析和抓取�?br />

3、如何��用？

a、配�|?bin\snoics-configpath.xml 文�g

��配�|�文件中的path节点的值改为conf文�g夹在�pȝ��中的�l�对路径�Q?br /> �? c:\snoics-reptile\conf

    b、配�|?conf\snoics-systemconfig.xml 文�g

        其中parameters节点中的配置为对需要抓取的�|�站的参数的配置�Q?br />
        以下是各个参数的说明�Q?

        1、websitename�Q?br />
        站点的名�U?不能为空�Q�由字母和数字组�?

        2、charsetName�Q?br />
        该站点��用的字符集类�?br />
        3、website�Q?br />
        ��被抓取的站点的域名

        4、startpage�Q?br />
        抓取的�v始页�?br />
        5、url�Q?br />
        该站点中��被抓取的部�?如果留空则�ؓ(f��)整个站点�Q�可以有多个URL�Q?br />         每个URL之间使用";"隔开)

        6、remoteurlflag�Q?br />
        代表�q�程URL的标志，没有�Ҏ(gu��)��情况请不要修�Ҏ(gu��)��处，使用默认�?br />(多个之间使用";"隔开)

        7、forbidurl�Q?br />
        该站点中不被抓取的部�?多个之间使用";"隔开)

        8、cachefile�Q?br />
        该站点��用的�~�存文�g�Q�如果缓存文件不存在则自动创��Z��个新的，
如果已经存在�Q�则�?x��)蝲入文件中保存的信�?br />
        9、filerootpath�Q?br />
        抓取下的文�g的保存�\�?必须是系�l�中的绝对�\�?

        10、indexpage�Q?br />
        ��被保存成index.html文�g名的URL�c�d��(多个之间使用";"隔开)

        11、filenamelength�Q?br />
        ��面保存到本地时�Q�随机生成的文�g名的长度

        12、cacheunitsize�Q?br />
        一个cache单元的大��?br />
        13、reptile-downloadfiletype�Q?br />
        ��被抓取到本地的文�g�c�d��(多个之间使用";"隔开)

        14、reptile-undownloadfiletype�Q?br />
        ��面被保存到本地�Ӟ��该种�c�d��的文件的URL��被�Ҏ(gu��)��q�程的URL
地址�Q�如果这�U�类型出现在reptile-downloadfiletype中时�Q�则文�g��被抓取
到本圎ͼ�而URL也将�Ҏ(gu��)��本地的URL(多个之间使用";"隔开)

c、在参数配置好之后，执行bin/run.bat文�g

4、如何扩展接口？

    扩展接口使用的配�|�文件是�Q�conf/snoics-reptile-urlregex.xml

    首先加入一�D�如下的配置,其中正则表达式部分应该特定的需要自��q��出，
    reptile-replace-string用来代替URL出现的位�|�，在程序执行的�q�程中，该部�?br />    �?x��)被自动替换�?br />


            ]*\shref\s*=\s*["']?[^<>]*["'\s][^<>]*>]]>



            ]*\shref\s*=\s*["']?reptile-replace-string["'\s][^<>]*>]]>








    其中ahrefGetRegexUrl是实��C��(ji��n)com.snoics.reptile.regex.url.IGetUrlRegex
    接口的类�Q�用来从可能包含�?ji��n)URL的字�W�串里面提取其中包含的URL

    其次加入如下的配�|�：(x��)












    最后，在如下的配置中，加入刚才配置好的部分

5、版本历�?font size="+0">
2.0�Q?br />	核心(j��)代码全部重写�Q�增加了(ji��n)扩展性，通过扩展之后�Q�基本上能实现对整个�\|�站完整的解�?br />
1.0�Q?br />	实现�?ji��n)整站抓取的基本的功能，不能解析��?gu��)��的URL�Q�对javascript无法辨认

下蝲地址�Q?br />
snoics-reptile2.0.part1.rar

snoics-reptile2.0.part2.rar

snoics-reptile2.0-doc.rar

snoics 2006-05-29 21:41 发表评论

框架.....

snoics — Thu, 09 Mar 2006 01:43:00 GMT

     现在各种各样的框架满天飞,几乎随便找个人都能把各种框架,模式,说的头头是道.弄的好象如果不懂�q�些,你就是落�?��׃��懂的什么是�~�程,什么是企业应用�pȝ��的开�?

     现在很多初学者一上来�Q�就是这个框�?那个框架的，一�?x��)学了(ji��n)这个一�?x��)又学那�?往往忽略�?ji��n)最重要最基本的JAVA基础.

     个�h认�ؓ(f��),框架不等同于JAVA,它只是JAVA下面的一�U�工��P��q��学会(x��)使用再多的框架也不代表就学会(x��)�?ji��n)JAVA.一�U�工具可能一开始不�?x��)用�Q�可是如果重复��用过几次,我想只要是正常的人，没有人学不会(x��)的，��q��是条件反��也该会(x��)�?�?x��)用了(ji��n)和理解了(ji��n)是两种完全不同的情�?.

     �l�果也就出现�?ji��n)这��L(f��ng)��情况,问到一个挺��单的问题,可是却都�{�不上来,原因是原来都是在别�h的或者是框架里面��装好的东西,自己只是负责调用而已.

     框架是比较容易过时的东西�Q�只有基��才是比较持久�?所以当在学�?x��)�?ji��n)使用一大堆的框架以�?误��(g��)�虑一�?如果除了(ji��n)框架,我还剩下�?ji��n)什�?

     只是对这�U�情�늚�感想,没有��M��贬低框架的意�?

snoics 2006-03-09 09:43 发表评论

snoics — Fri, 03 Mar 2006 01:10:00 GMT

        一般情况下,在记录日志时,只能把通过API�q�行记录的信息写入自定义的日志文�Ӟ��其余的信息就无法被写入了(ji��n).

       解决的办法就是重写System.out和System.err,让System.out,System.err的写入�{向到你的日志文�g�Q�这样只要在控制台的所有的输出信息都会(x��)被记录到日志文�g�?

      例如可以在系�l�进行初始化时进行这��L(f��ng)��操作:

      重写System.out:
              PrintStream printStreamOut = new PrintStream(outputStreamOut);
              System.setOut(printStreamOut);

      重写System.err
              PrintStream printStreamErr = new PrintStream(outputStreamErr);
              System.setErr(printStreamErr);

      �q�里的outputStreamOut,和outputStreamErr都是自定义的重定向的日志文�g的OutputStream

      现在重定向输出的问题解决�?ji��n)，可以又出��C��(ji��n)一个新的问�? 在控制台上看不到��M��输出信息,输出的信息全部被定向到日志文件中.

       要解册��个问题还需要自己实��C��个OutputStream,让OutputStream能同时写入多个输�?

       首先�l�承java.io.OutputStream,然后实现public abstract void write(int b) throws IOException; �q�且覆写java.io.OutputStream中的其他的方�?具体的实现方式按照自��q��需求来�?�q�里��׃��做出具体的实��C��(ji��n).

       通过实现自己实现OutputStream之后,
      �?BR>           PrintStream printStreamOut = new PrintStream(outputStreamOut);
           PrintStream printStreamErr = new PrintStream(outputStreamErr);
      中分别把outputStreamOut和outputStreamErr对象换成自己实现的OutputStream对象�Q�这样就可以实现在一个OutputStream对象中进行多个输出操�?

      按照以上的思�\�q�行的实玎ͼ�可以完全把控制台的所有的输出写入到日志文件中,包括System.out.println�q�样的输�?

               snoics

snoics 2006-03-03 09:10 发表评论

OpenCMS V6.03 + Oracle92 的中文版完整安装�q�程

snoics — Thu, 23 Feb 2006 01:57:00 GMT

1. 把opencms.war复制到Tomcat\webapps目录�?�q�复制classes12.jar到Tomcat\common\lib目录�?然后启动Tomcat,在启动完成之�?删除opencms.war

2. 在oracle中新��Z��个表�I�间opencms

3. �?A href="http://localhost:8080/opencms/setup">http://localhost:8080/opencms/setup�q�行安装

4. 安装�q�程中，数据库类型选择oracle9i, 用户名�ؓ(f��)system,另一个用户名是准备用来分配给opencms使用的用户名�Q�这个地方可以按照具体的情况自己�q�行讄��Q�这个用户可以是本��n在oracle中�ƈ不存在的用户,安装�E�序�?x��)自动的创徏�q�个用户,�q�把opencms表空间分配给该用�?接下来的表空间和Index的输入框中都输入opencms.

5. 接下��d��需要按照提�C�Z��路Continue,最后当文�g都导入完成之后，opencms��安装完成了(ji��n)�Q�初始管理员和密码是Admin,admin

6. 安装完成之后�Q?BR> 修改/system/workplace/resources/commons/explorer.js
中的�?
""+vr.langadress+"&\n"
�?""+vr.langadress+"\n"

然后把org.opencms.locales.zh.zip包复制到Tomcat\webapps\opencms\WEB-INF\packages\modules目录�?使用Admin�q�入opencms�pȝ��,选择Administrator��理界面,然后选择模块��理,导入org.opencms.locales.zh.zip�?然后解压org.opencms.locales.zh.zip,把org.opencms.locales.zh\system\workplace\locales\zh\messages下的templateone_form_zh.properties和templateone_zh.properties以及(qi��ng)org整个文�g夹复制到Tomcat\webapps\opencms\WEB-INF\classes目录�?

7.重启Tomcat,使用Admin�q�入opencms�pȝ��,选择Administrator��理界面,然后把语�a��c�d��讄��成chinese,�q�时��p��使用中文界面的opencms�?img src ="http://m.tkk7.com/snoics/aggbug/32066.html" width = "1" height = "1" />

snoics 2006-02-23 09:57 发表评论

snoics — Mon, 20 Feb 2006 02:45:00 GMT

/*
* Encrypt 字符串加�?BR> *
* @author shiwei 2004-8-28
*/

package com.snoics.base.util;
/**
* Encrypt 字符串加�?BR> * @author shiwei
*
*/
public class Encrypt {

public Encrypt() {

}

    /**
     * 加密字符�?BR>     * @param encryptstring
     * @return String
     */
    public static String encrypt(String encryptstring){
    String newstring="";
    if(encryptstring.length()<1){
      return encryptstring;
    }else{
      String tempstring=StringClass.remove(encryptstring,0,(int)(encryptstring.length()/3));
      tempstring=StringClass.getConvertString(tempstring);
      encryptstring=StringClass.getConvertString(encryptstring);
      newstring=encrypt(encryptstring,tempstring);
      return newstring;
    }
    }

    /**
     * 普通加密字�W�串
     *
     * @param encryptstring1
     * @param encryptstring2
     * @return String
     */
    public static String encrypt(String encryptstring1, String encryptstring2) {
        int strcount = 0; //字符串ASCII码的��d��
        int newpasswordlength = 0; //生成的密码长�?BR>        int seed1 = 0; //�U�子
        int seed2 = 0;
        String str = "";
        String newpassword = ""; //生成的密�?BR>        char newchar;
        int newcharint = 0;
        int thechar = 0;

str = encryptstring2 + encryptstring1;

        if (str.length() > 0) {
            for (int i = 0; i < str.length(); i++) {
                strcount = strcount + str.charAt(i);
            }

newpasswordlength = (strcount * strcount) / str.length() + str.length();

            int temp = 0;
            int temp2 = 0;
            while ((newpasswordlength <= 0) || (newpasswordlength > 100)) {
                temp = temp + str.length();
                temp2 = temp + temp2;
                newpasswordlength = 100;
            }

            for (int i = 0; i < encryptstring1.length(); i++) {
                seed1 = seed1 + encryptstring1.charAt(i);
            }
            for (int i = 0; i < encryptstring2.length(); i++) {
                seed2 = seed2 + encryptstring2.charAt(i);
            }

for (int i = 0; i < newpasswordlength; i++) {

                if (i < str.length()) {
                    thechar = str.charAt(i);
                } else {
                    thechar = str.charAt(i % (str.length() - 1))
                            + str.charAt((str.length() - 1)
                                    - (i % str.length()));
                }
                newcharint = thechar * (seed1 * (i + 1) + thechar);
                newcharint = newString(newcharint);
                newcharint = thechar * (seed2 * (i + 1) + thechar);
                newcharint = newString(newcharint);
                newchar = (char) newcharint;
                newpassword = newpassword + String.valueOf(newchar);
            }
            newpassword = newpassword.substring((encryptstring2.length() + encryptstring1.length()) % 100);
            return (newpassword);
        } else {
            return ("�I�字�W�串不能被加�?);
        }
    }

    private static int newString(int charint) {
        while ((charint > 127) || (charint < 32)) {
            while (charint > 127) {
                charint = (charint - charint/2+1) / 2;
                while(charint==60||charint==62||charint==34||charint==32||charint==39){
                charint = charint + 1;
                }
            }
            while (charint < 32) {
                charint = (charint + charint/2-1) * 2;
                while(charint==60||charint==62||charint==34||charint==32||charint==39){
                charint = charint + 1;
                }
            }
        }
        return (charint);
    }

    public static void main(String[] args) {
        String theusername = "1abc1";
        String thepassword = "1def1";
        String theusername1 = "1def1";
        String thepassword1 = "1abc1";
        String newstring=Encrypt.encrypt(theusername,thepassword);
        System.out.println("newstring="+newstring);
        String newstringa=Encrypt.encrypt(theusername1,thepassword1);
        System.out.println("newstringa="+newstringa);
        String newstring2=Encrypt.encrypt(newstring);
        System.out.println("newstring2="+newstring2);
        String newstring3=Encrypt.encrypt(newstring2);
        System.out.println("newstring3="+newstring3);
    }

}

执行�l�果:

newstring=*?C4%;V[GKOoUX[_#i%ptvy)!!#01&c(46*o;=?y{?AB#4HI7%7LM:==U?@?AXBZFGHH`IJKfgO4QlmR7qrt::wxz=
newstringa=(=A4$;TYDHLmTW[_#d#kpvx*!#-/$a(56)m89;vy@AB!2DE4$7LN::;P==?AYBXCDEE^IJKceL3NikR6opq89uvw;
newstring2=ij887i)54)?!@A!!!Ab##eBf##ddd#efff#b#cadc#bc_!!]@
newstring3=(qI}!+A!#z%%4?((

snoics 2006-02-20 10:45 发表评论

最新亚洲精品国偷自产在线,久久国产亚洲精品麻豆,亚洲AV成人精品日韩一区18p

��Z��Lucene的搜索框�?snoics-retrieval-1.01 版本更新

使用逆�L兰表辑ּ��q�行四则�q�算

Myeclipse 7 插�g安装

一个关于分��늚�数据和显�C�分��ȝ��设计

snoics-reptile �|�页爬虫2.1 (2006-10-27日更�?

猫扑�?sh��)台遨游插�g

源代码发�?snoics-reptile �|�页爬虫2.0

snoics-reptile �|�页爬虫2.0

框架.....

OpenCMS V6.03 + Oracle92 的中文版完整安装�q�程