Sosoo1.0网络爬虫程序---用户开发手册编写人：王建华（rimen/jerry）编写目的：基于sosoo定制webspider程序的编程人员。目录一：安装sosoo2二：功能定制21．基本功能参数的设置。22．配置机器人对url的检查33：实现文件管理。44．定制html文档下载规则。45．设置对下载后http文档的过滤处理56．启用机器人运行期监控。57．启用对http协议分析的监控。5三：sosoo描述6四：应用开发指南61．Roboter类，spider程序的主类。62．TaskList接口，解决对处理任务的存储。73．Http客户端实现。74．实现网页存储或处理75．实现运行期的监控8五．程序例子9六．参考依赖10一：安装sosoososoo提供的是一个sosoo-core.jar包，其中并没有提供可运行的程序入口。如果要使用可以通过src中的examples进行体验。开发者可以基于在这上开发出基于UI,j2ee等spider程序把sosoo-core包加入到你应用的classpath中。Sosoo提供一个线程类的来代表一个机器人com.sosoo.robot.spider.Roboter。通过一个测试类publicstaticvoidmain(String[]args)throwsException{Roboterrobby=newRoboter();robby.setStartURL(newURL("http://10.25.101.173:7001/pa18Web/framework/images/framevork_04.gif"));robby.setMaxDepth(0);//设置最大连接访问深度robby.setSleepTime(0);robby.setWalkToOtherHosts(true);robby.run();//启动}这样就启动了一个spider程序,sosoo将根据你对javaBean参数的设置进行对网络上html的抓取.停止机器人.robot.stopRobot();二：功能定制Sosoo利用回调的方式实现了aop，用户可以通过回调的方式注入javaBean对象，以实现其外部功能1．基本功能参数的设置。基本功能指：roboter的原生类型参数（或String），例如：startURL，maxDepth等。设置开始处理的url【startURL】：必须参数，roboter会根据这个地址开始在网络上进行查找。robby.setStartURL(URLurl)；设置从开始路径能找的最大深度【maxDepth】：程序会判断当前处理的链接深度是否超过最大链接深度，如果超过这个链接将忽略，当然你可以通过设置depthIsEffect来屏蔽这个功能。默认值为1。robby.setMaxDepth(0);设置处理文档的时间间隔【sleepTime】：当处理完一个url时，设置这个间隔时间处理下一个url。单位为s，默认值为60，推荐使用5s。robby.setSleepTime(0);设置http连接超时时间：在连接服务器时，可能由于网络或者本身服务的原因，可能会出现超时的情况，通过设置超时时间来限制对某个url连接的最大时间，这样就可以提高处理的速度，但是如果这个值设置太小，可能很多连接都会连接不到，建议使用大于30的值，默认为60s。robby.setUrlConnectTimeOut(30);停止robby线程【stopIt】：你可以通过对robby对象进行操作来停止当前的线程。robby.stopRobot();暂停robby线程【sleep】：可以对当前运行的robby线程进行暂停。robby.setSleep(true);2．配置机器人对url的检查sosoospider会根据用户的设置把收集到url列表中过滤掉不符合条件的url。过滤的顺序：walkToOtherHosts-allowWholeHost-flexibleHostCheck-allowWholeDomain-用户提供url列表。设置是否访问其他的主机【walkToOtherHosts】：如果你需要进行整个互联网的搜索，而不限于你开始提供的url中的主机，把这个参数设置为true。默认为false。robby.setWalkToOtherHosts(true);设置是否访问本主机【allowWholeHost】：如果你只想要对开始url代表的主机进行访问，你可以通过设置这个参数进行过滤url。robby.setAllowWholeHost(true);设置非www开始的主机