文档详情

网络新闻提取系统.doc

发布:2024-12-11约2.29万字共27页下载文档
文本预览下载声明

标题:网络新闻提取系统

摘要

近些年,随着互联网的发展和不断创新,新闻媒体已经发展成为传统媒体与网络媒体相结合的新媒体,公众获取新闻信息的方式也越来越多。随着网络新闻时延的不断减少,越来越多的社会群体开始从互联网上获取新闻信息。基于网络新闻的大数据前沿学科研究越来越热,科研领域对网络新闻数据的需求也越来越大。在此背景下,本文设计并实现了分布式网络新闻采集网络新闻数据,为相关研究提供数据支持。

论文介绍了网络爬虫的产生、发展和工作原理,Scrapy抓取爬虫框架的结构和工作流程,Scrapy-redis的组成和各组件功能,Graphite的相关概念。在深入分析网络新闻爬虫特点的基础上,根

显示全部
相似文档