致力于打造适用于海量信息采集的专业级网页采集系统HYPERLINK"http://www.invader.com.cn/"\t"_blank"www.invader.com.cn第页(共NUMPAGES7页)侵略者WEB数据采集系统介绍目录一.HYPERLINK\l"一"开发背景二.HYPERLINK\l"二"功能介绍三.HYPERLINK\l"三"模块组成四.HYPERLINK\l"四"运行部署五.HYPERLINK\l"五"维护管理监控六.HYPERLINK\l"六"软硬件要求七.HYPERLINK\l"七"性能分析八.HYPERLINK\l"八"名词解释一.开发背景随着用户对信息获取速度的要求，很多公司开始做面向各行各业的垂直搜索引擎，垂直搜索引擎最核心的就是准确及时的获取数据源。本系统的设计目标就是为了满足这个需求。给垂直搜索引擎提供准确及时是数据采集服务。二.功能介绍本系统提供对互联网数据进行采集的服务。根据用户事先配置好的规则(网页下载规则，数据块解析规则等)，进行数据采集。当对方网站数据进行了更新，或者添加新数据时，系统自动会进行检测，并进行采集，然后更新到自己的数据库(或者别的存储方式)，这个过程不再需要人工干涉。本系统采用分布式处理，可以通过采集管理平台把采集任务发布到不同的服务器，能够进行对大量数据源网站进行高频率的并行监控采集。对服务器群管理方便快捷，通过采集管理平台进行统一管理，监控，统计，分析。本系统主要适合于对数据量要求大的行业垂直搜索引擎和情报分析系统的数据采集，也适合于一些对数据量要求不高的信息发布网站。本系统采用插件方式，对采集来的数据可以进行修正。对输出方式可以通过插件自由定制。可扩展性高。三.模块组成1.网页下载配置负责制定网页下载规则，登录设置，下载策略设置。主要供网页下载进程使用。2.网页下载进程根据网页下载配置的规则进行网页下载。等待网页解析进程进行解析3.网页解析配置负责制定网页解析规则，选择结果修正方法，并进行采集测试。4.网页解析进程根据网页解析配置对下载到的网页进行解析修正，然后通过插件输出到指定存储方式。5.采集任务配置把网页下载配置和网页解析配置(多选)组合起来，然后设置输出方式(多选)。6.采集任务测试和分配可以对采集配置角色提交的任务进行测试检验，合格后发布到采集服务器上(通过XML格式配置文件)。7.角色管理对采集配置角色，任务分配角色，系统管理角色三种角色的帐号管理。8.采集服务器的管理，监控，统计，分析等通过对服务进程发命令的方式，获取采集服务器的信息，进行管理，监控，统计，分析。9数据的导入，导出，备份等对已经配置好的采集任务以及其他数据进行数据库备份，对任务进行导入导出，以便发布到其他采集管理平台。10.插件管理发布对不断新增的插件进行上传，发布，管理。11.服务进程运行在每台采集服务器，响应采集管理平台的命令，负责对采集服务器的管理和状态反馈。四.运行部署采集管理平台：运行在一台服务器，负责其他所有采集服务器的管理，监控，统计，分析和任务分配。与其他采集服务器采用HTTP协议发送查询命令，然后返回要查询的相关信息。采集进程：每台服务器运行10个采集进程。每个进程负责多个采集任务，任务越多，数据更新的频率就越低。所以服务器越多，分配给每个进程的任务就越少，数据更新的频率就越高。数据采集的效率就越高。五.维护管理监控系统安装完毕后，维护主要通过基于WEB的采集管理平台。可以通过管理平台创建分配采集任务，监控每台服务器的运行状态，采集数据的统计，以及性能分析。根据分析结果可以调整服务器的运行配置，以便于更充分的利用硬件资源。数据源网站的采集配置采用分用户的管理方式，用户分三种角色：采集配置角色，任务分配角色，系统管理角色。1．采集配置角色用户可以配置管理自己的采集工程，配置完成的工程才可以提交给任务分配角色。2．任务分配角色对采集配置角色提交上来的工程进行测试，测试成功后分配给采集服务器处理，否则驳回，另外具有服务器运行状态，数据统计，性能分析等权限，可以根据分析结果进行采集任务分配。3．系统管理角色具有以上两者所有权限，并具有用户帐号管理，系统参数数据管理等所有权限。另外对系统的稳定性和准确性采取如下措施：1．进程监控：对采集进程和管理进程的监控，采取在管理服务器定期对每个服务器进行检查的方式，发送一个检查指令，判断某台采集服务器上这两个进程的运行