基于网络爬虫C 网络新闻采集系统设计 文献综述.doc

范文最新推荐 PAGE1 / NUMPAGES1 基于网络爬虫C#网络新闻采集系统设计+文献综述 摘要随着信息时代的高速发展，网络技术对我们生活和工作显得越来越重要， 特别是现在信息高度发达的今天，传统的报纸杂志已经远远满足不了人们的需求，互联网已经成为人们快速获取、发布和传递信息的重要渠道，它在人们政治、经济、生活等各个方面发挥着重要的作用。简单地说，新闻采集系统就是充当一个网络新闻媒介的功能，主要实现对新闻的分类、上传、审核、发布，模拟了一般新闻媒介的新闻发布的过程。 此软件是基于网络爬虫软件开发而来。网络新闻信息采集系统的主要功能为：根据用户自定义的任务配置，批量而精确地抽取因特网目标网页中的半结构化与非结构化数据，转化为结构化的记录，保存在本地数据库中，用于内部使用或外网发布，快速实现外部信息的获取。系统基本功能模块包括：用户登陆、站点管理与新闻采集、对采集结果进行筛选和关键字查找、数据库管理。具体如下：1．实现管理员与用户的登陆和用户信息的管理；2．实现指定网页新闻的采集，采集站点的添加与管理；3．实现对采集到的新闻的筛选和关键字搜索功能；4．实现数据库对采集到的新闻信息的管理。8210 关键词： 网络爬虫新闻采集新闻管理数据保存 毕业设计说明书（论文）外文摘要 TitleWebpage information acquisition Abstract: With the rapid development of the information age, network technology on our lives and work are becoming increasingly important, especially now highly developed, traditional newspapers and magazines have far to meet not the needs of people, the Internet has become a fast acquisition, publishing, and an important channel for transmitting information, it plays an important role in the people political, economic, and other aspects of life. Simply put, the function of news gathering system is to act as a network media, the main classification of news, upload, review, publish, simulate the general media press release. 5.1登陆系统的设计与实现18 5.2采集系统的设计与实现21 5.3新闻管理和筛选的设计与实现26 参 考 文 献33 1引言 随着信息时代的高速发展，网络技术对我们生活和工作显得越来越重要， 特别是现在信息高度发达的今天，传统的报纸杂志已经远远满足不了人们的需求，互联网已经成为人们快速获取、发布和传递信息的重要渠道，它在人们政治、经济、生活等各个方面发挥着重要的作用。现今的社会，人们已经离不开了网络，网络已经成为人与人之间交流的一种形式，他能够把事情的复杂化转为简单。新闻采集系统的提出使电视不再是唯一的新闻媒体，从此以后网络也充当了一个重要的新闻媒介的功能。简单地说，新闻发布系统就是充当一个网络新闻媒介的功能，主要实现对新闻的分类、上传、审核、发布，模拟了一般新闻媒介的新闻发布的过程，通过不同权限的账号分别实现以上所说功能，当然这些功能也可以是某一个账号全部具有。 随着互联网的进一步发展，网络媒体在人们心中的地位进一步提高，新闻发布系统作为网络媒体的核心系统，其重要性是越来越重要：一方面，它提供一个新闻管理和发布的功能；另一方面，现在的新闻采集要求实现与普通的用户实现交互，用户可以很方便地参加一些调查和相关新闻的评论，这一点也是其他一些媒体现在无法做到的（电视、电台等），同时，Internet发展到当今，可以说，只要你上Internet，你就会接触到新闻发布系统，新闻采集系统的用户是相当惊人的，其重要性是不容置疑的，当然这也对新闻采集系统的开发提出了更高的要求。 网站新闻采集系统，是将网站上需要经常变动的信息，社会的动态等更新信息集中管理，并通过信息的某些共性进行分类，最后系统化、标准化发布到网站上的一种网站应用程序。传统的网站新闻管理方式有两种，一是静态HTML页面，更新信息时需要重新制作页面然后上传页面并修改相应链接，这