论文基于网络流量元数据的安全大数据分析，该文是大数据方面有关专升本论文范文和元数据和网络流量和数据分析方面专科毕业论文范文.
前言：大数据时代,信息安全问题尤其重要.2016 年9 月,本应该是大学生开学的日子,但是由于一起电信诈骗事件,导致许多大学生的学费和生活费被骗取,甚至部分学生付出了生命的代价,也使得信息安全受到了社会各界的广泛关注.
一、元数据概述
元数据,是对其他数据进行描述的数据,基于网络流量的元数据能够对资源进行识别和评价,并且对其在使用过程中的动态变化进行追踪,有助于维护大数据的稳定和安全,实现对于大数据的有效管理.从实际应用的角度分析,元数据表现出了几个比较显著的特点,一是可以实现大数据共享.元数据的开发和利用要求分布式环境以发挥其本身的价值,换言之,单一的元数据不可能满足用户的共同需求,必须构建相应的数据共享平台；二是元数据本身属于编码体系.元数据能够对数字信息化的资源进行描述,在对网络信息进行编码的过程中,元数据可以为数字化信息资源构建起一种能够被计算机理解的框架[1].
二、网络流量分离平台构建
基于网络交换路由设备的特性,如ACL、PBR 等,设计构建了多条性能较高的网络流量分流平台,平台能够满足我国校园10G 网络流量在分析研究方面的需求,也可以为海量元数据的分析提供稳定的流量支持.网络流量分离平台可以实现一到多、多到一以及多到多的流量复制,从而满足不同应用业务系统对于流量的需求.在进行流量复制的过程中,结合ACL 技术,可以实现简单协议以及各种五元组级别的流量过滤,降低业务系统所承受的负载.同时,平台也能够实现单一或者复数高负载10G 链路流量到更多低负载10G链路流量的转换,结合多路负载均衡的方式,提升对于信息数据的处理能力,而配合交换机堆叠技术,可以实现对于端口数的迅速扩展,也可以提升10G 链路的处理能力.
三、安全大数据分析平台构建
在大数据分析中,应该立足不同的分析对象和分析目标,应用不同的分析平台.基于网络流量获得的元数据应该定期导入Hadoop 平台上进行存储,然后结合HIVE 进行初次的数据挖掘,在降低数据量的同时,也可以确保数据的安全性.依照不同的存储内容,可以选择MySQL、PostgreSQL等关系数据库进行分类存储.利用RDBMS,能够有效满足常规数据的查询需求,而利用Hadoop 则可以满足大量元数据开发查询的需求.事实上,在实际应用中,上述两种形式有着各自的有点,虽然无法相互取得,但是可以实现相互补充.在针对数据进行处理的过程中,应该对LinuxShdll 命令和Python 脚本进行灵活使用,尽可能保证网络流量元数据运行的高效性和安全性.
从保证大数据安全分析的角度,选择24 台物理机节点构建Hadoop 大数据分析平台,在平台中的每一个节点配置64G 内存,CPU 选择Xeon E5-2670,240G 固态硬盘两块以及2T 机械硬盘12 块,以万兆以太网实现节点之间的互通互联,总HDFS 容量为333TB.在软件选择中,采用了Cloudera Standard 4.8.0 版本进行部署,组件则选择CDH4.5.0+IMPALA1.2.1+SOLR1.1.0.在实际应用中, 结合HIVE 的类SQL 语句,实行按对于简单MapReduce 的快速统计[2].
在统计分析前期,可以将大数据分为若干小数据,确保其安全性,具体来讲,需要构建起基于IP 的黑白名单,结合名单进行网络流量的调整,去除其中的冗杂数据,在降低数据分析工作量的同时,也能够提升大数据分析的质量和效率.在大数据分析环节,如果发现突发性安全漏洞,可能会导致元数据的丢失,给个人或者企业带来损失.对此,可以利用HIVE 对HTTP 访问元数据中URL 字段进行查询,结合SHELL 脚步分析,找出漏洞产生的原因,并对其进行处理[3].
四、结语
基于网络流量元数据的安全大数据分析是信息时代背景下一个非常关键的课题,如何对大数据分析平台进行合理利用,提升数据分析的效率和质量,是相关技术人员需要关注的重点,对于保障数据安全意义重大.而如何利用大数据平台来实现漏洞自动检测以及不同类型数据的关联性分析,依然需要更加深入的研究.
此文汇总,上述文章是一篇适合不知如何写元数据和网络流量和数据分析方面的大数据专业大学硕士和本科毕业论文以及关于大数据论文开题报告范文和相关职称论文写作参考文献资料.
参考文献：
1、 消费主义视域下新媒体艺术的现状解读以网络游戏《绝地求生：大逃杀》的风行为例 摘 要 网络游戏伴随着电子信息技术发展而逐渐兴起,随着市场经济的发展而呈现出了消费主义注重享乐、符号化消费的特征 借助消费主义的视角解读了网络游戏绝地求生大逃杀的风行是因为其满足了玩家的娱乐、张扬了消.
2、 怎样防范网络攻击和数据泄露 作者 Jennifer Lonoff Schiff 编译 杨勇网络安全和数据保护专家告诉小企业如何防范安全漏洞和数字攻击 据赛门铁克公司的研究,针对小企业（不到250名员工的公司）的网络攻击数.
3、 在移动通信网络优化中大数据分析的应用 移动通信网络已成为维系社会生产与日常生活正常运转的先决条件,面临通信网络迅速发展的大环境,为确保网络体系的安全稳定,采取尖端的技术综合分析大数据,优化通信网络至关重要 一、大数据基本概念“.
4、 大数据时代云计算环境下的数据安全 摘要云计算将成为大数据时代主流计算方式,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务 利用云计算,用户能够使用大量的未限制资源 本文主要分析了云.
5、 企业网络规划建设中的安全体系 摘要网络规划建设对企业的发展具有一定的促进作用,在激烈的市场竞争环境下,如何对网络规划进行安全建设,是每个企业都需要认真思考的问题 基于这种情况,本文首先分析了企业网络规划建设中的安全需求,并在此基础.
6、 大学生心理健康教育现状与网络技术和数据分析的应用 摘要当代大学生心理压力日益增大,在校大学生中出现心理健康问题的比例逐渐增多,大学生心理健康已经成为社会关注的焦点 文章就大学生心理发展特点、心理健康主要问题以及现阶段心理健康教育的常用方式、存在问题与.