基于大规模语料库的中文新词识别的任务书任务描述：本任务旨在设计并实现一种基于大规模中文语料库的新词识别系统，通过自动发现、分析和提取语料库中的新词，来丰富中文词库，并应用于中文自然语言处理领域。任务要求：1.收集并构建中文语料库，包括新闻、文学、社交网络等多个领域的文本，并进行预处理，如分词、去停用词等。2.设计并实现新词识别系统，可采用基于统计和机器学习等方法，对文本中的词汇进行识别和分类，并筛选出有潜力成为新词的候选集合。3.对候选词进行进一步的分析和评价，包括词频、权重、词性、上下文等，确定新词的程度和可靠度。4.输出新词结果列表，并进行人工或自动地标记和验证，以保证结果的准确性和可靠性。5.实现新词识别系统的可视化界面，方便用户进行查询和分析。参考文献：1.李宏毅.自然语言处理.机器学习导论（下）课程.2.张华平,熊仁军,桑彤,等.基于词向量和分布式表示的新词发现方法.南京大学学报(自然科学),2017,53(2):249-255.3.黄婷怡,范焱波.基于分布偏移和词库的新词识别研究.计算机应用研究,2019,36(5):1323-1326.