高校新闻网系统的设计与实现学校代号10532学号分类号TP311密级公开工程硕士学位论文高校新闻网系统的设计与实现学位申请人姓名培养单位软件学院导师姓名及职称学科专业软件工程研究方向高等教育管理信息化论文提交日期密级：公开湖南大学工程硕士学位论文高校新闻网系统的设计与实现学位申请人姓名：导师姓名及职称：培养单位：软件学院专业名称：软件工程论文提交日期：2015年10月10日论文答辩日期：2015年12月12日答辩委员会主席：DesignandImplementationofUniversityNewsNetSystembyLIXinyuB.E.(JishouUniversity)2006AthesissubmittedinpartialsatisfactionoftherequirementsforthedegreeofMasterofscienceinSoftwareEngineeringintheGraduateschoolofHunanUniversitySupervisorOctober,2015PAGE\*MERGEFORMATIIPAGE\*MERGEFORMAT1PAGE\*MERGEFORMATI湖南大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于１．保密□，在年解密后适用本授权书。2．不保密□。(请在以上相应方框内打”√”)作者签名：日期：年月日导师签名：日期：年月日高校新闻网系统的设计与实现工程硕士论文PAGE\*MERGEFORMAT1摘要随着网络在世界范围的飞速发展，互联网作为最具潜力与活力的媒体已经被公认是继报纸，广播，电视之后的“第四媒体”，成为反映社会新闻热点的重要载体。为了及时了解高校内部重大事件和网络新闻热点，相关机构引入了高校新闻网系统。在传统高校新闻网系统的基础上对高校新闻网系统进行改进，使得系统能通过爬虫技术进行对“感兴趣”的新闻进行爬取，以此来实现新闻定制功能。首先利用爬虫技术将新闻数据获取到本地数据库中，然后将新闻信息以及新闻分析的结果将在前台网页中进行可视化输出，前台主要由ASP实现，后台主要通过java实现。本文主要进行了以下几个方面的工作：用JAVA语言实现了一个基于广度优先算法的多线程爬虫程序。阐述了高校新闻网爬取实现中一些主要问题：为何使用广度优先的爬行策略，以及如何实现广度优先爬行；为何要使用多线程，以及如何实现多线程；系统实现过程中的数据存储；网页信息解析等。爬虫程序能够按照广度优先的爬行策略对新闻数据（包括图片信息）进行全面的定向抓取以及周期性的增量抓取，实现新闻定制功能；采用HTMLParser对获取到的新闻信息，将新闻的编号、标题、内容、发布方、发布时间等元数据以及新闻图片等元数据解析出来并存入SQLServer数据库中；前端界面利用开源AJAX框架ExtJS结合Servlet进行实现，兼顾用户交互方式的多样性以及系统的跨浏览器兼容性。从系统实际运行和测试的情况可以看出，系统的功能完善，性能出色，基本满足高校对新闻网的需求，实现了新闻信息发布及时性、高效性，达到了预期的效果。高校新闻网将现在流行的网络爬虫技术应用于新闻网的设计中来，打破了传统的仅仅人工进行新闻搜索的局限,其核心部分---网络爬虫系统部分能够为各个行业按需提供不同的服务。例如：为政府机关、公安、广电、教育机构提供舆情监测服务，为上市公司、投资机构、金融监管机构提供口碑管理服务，综上所述，该系统具有非常强的应用前景。关键词：新闻热点；网络爬虫；浏览器/服务器；多线程PAGE\*MERGEFORMAT1PAGE\*MERGEFORMATIIIAbstractWiththerapiddevelopmentofWorldWideWeb(WWW),itisw