中国移动数据网管二期日志分析组件的设计与实现的中期报告.docx

中国移动数据网管二期日志分析组件的设计与实现的中期报告

设计背景

移动数据网(datanet)是中国移动公司建设的专门服务于移动用户的数据通信网。数据网管(deploy)是数据网络运维管理系统，有助于操作人员对网络进行监测、分析、优化以及故障处理，提高网络服务质量及用户满意度。中国移动数据网管二期日志分析组件的设计与实现是旨在提高数据网管操作效率、减轻工作负担的组件。

设计目标

1.实现对移动数据网日志的在线分析、存储与检索功能；

2.支持自定义日志解析规则；

3.提供灵活的日志分析方式，可按时间范围、关键词等条件查询、统计日志信息；

4.提供邮件、短信等报警功能，对数据网管日志异常进行及时预警；

5.实现日志处理自动化，减少人工干预，提高工作效率。

设计思路

数据网管日志文件较大，多达几十G，要进行在线分析存储不现实。为了解决这一问题，我们先设计了一个预处理模块，对日志文件进行分块处理，处理后的块存储在Hadoop分布式文件系统中，每个块可包含若干记录。

预处理模块包括日志文件读取模块、日志解析模块、文件分块存储模块等。

日志读取模块负责读取数据网管日志文件，将读取的日志记录交给日志解析模块进行分析，解析模块根据用户自定义规则，将日志记录中的关键信息解析出来，将解析结果交给文件分块模块进行存储。文件分块存储模块用来管理数据块的存储和检索。当数据块达到一定大小时，模块会自动进行拆分，并按时间为前缀进行命名，方便后续的检索与查询。

查询模块包括日志索引、搜索、统计等功能。用户可根据时间范围、关键字、IP地址、错误码等条件查询或统计日志信息，并可根据需要以图表方式展示。

报警模块用来监测日志信息是否异常，在系统检测到异常时，将通过邮件、短信等方式及时通知相应的人员，以便及时处理。

总体流程

以下为数据网管日志分析组件整体的流程：

预处理模块（LogPreprocessing）：读取数据网管日志文件，将读取的日志记录对解析模块进行分析，解析模块将关键信息解析出来，将解析结果交给文件分块模块进行存储。

查询模块(LogRetrieval)：用户可通过查询模块按时间范围、关键字、IP地址、错误码等条件查询或统计日志信息，并以图表形式呈现，方便查看。

报警模块(LogAlert)：通过监测日志信息是否异常，系统检测到异常时，将通过邮件、短信等方式及时通知相应的人员，以便及时处理。

目前已实现的功能及进展：

1.数据预处理模块中的日志读取模块实现完成，并经过测试，能够读取大部分数据网管日志文件，并将其转化为日志记录，并进行分块存储；

2.建立了Hadoop分布式文件系统，确保数据的安全性和可靠性；

3.通过Logstash等工具搭建了日志收集系统，使得数据收集更加自动化，方便后续的日志分析；

4.完成了数据查询模块的设计，主要实现了时间、关键字、IP地址、错误码等关键字的模糊匹配检索，并能够将结果以图表形式呈现。

工作计划：

1.完成数据预处理模块中的日志解析模块的设计，实现用户自定义日志解析规则，提高日志分析的准确性；

2.完成报警模块的设计，实现通过邮件、短信等方式及时通知异常信息；

3.进行性能调优，增加系统的容错性和稳定性；

4.进一步完善系统的功能和用户界面，提高用户体验。