论文深度学习技术概述，本文是学习相关在职研究生论文范文和深度和概述和学习类开题报告范文.
【摘 要】 随着近几年深度学习技术的不断研究与发展,其研究越来越受到重视,实际应用也越来越广泛,鉴于此,本文对深度学习的发展与现状做了简要的概述.首先介绍了深度学习的发展,然后从深度学习在语音识别、图像识别及自然语言处理三个方面介绍了国内外研究现状,进而又阐述了深度学习的应用,最后提出了深度学习存在的问题及发展趋势.
【关键词】 深度学习 卷积神经网络；半监督学习 深度神经网络
一、引言
伴随科学技术的蓬勃发展,我国计算机领域的发展越来越迅速,其涉及的范围也越来越广,深度学习的概念就是在研究人工神经网络的过程中被提出来的.深度学习作为机器学习领域的一个新的研究方向,近些年来在学术和工业领域的应用取得了突破性进展.深度学习研究的目的是建立一个模型,从而模拟人类大脑的神经连接结构,在处理各种信号时运用多个变换阶段分层扫描数据特征,从而得到数据的研究结果.虽然深度学习算法在多个领域的应用已经取得了较大突破,但其仍然存在许多问题要解决,因此,对于深度学习的研究要不断的进行下去.本文将对深度学习的发展、深度学习国内外研究现状、深度学习的应用、问题及发展趋势进行简要概述.
二、深度学习的发展
深度学习的定义最早是由多伦多大学的Hinton 教授提出的,他于2006 年在顶级期刊《science》上的论文开启了深度学习研究和发展的热潮.在这篇论文中,Hinton 教授提出深度学习的两个主要的观点,第一个观点是利用计算机模拟人类大脑的神经元工作,形成的神经网络模型能够很好地学习数据的特征,进而能够在分类、回归及可视化等工作中取得较好的成果；第二个观点是可以采用逐层训练的方法对神经网络的参数进行训练,也就是说,采用无监督学习的方法使深度学习网络达到最佳的参数.
从2010 年开始,深度学习项目开始被重视并得到了资助,资助方有美国NEC 研究院和斯坦福、纽约两所知名大学.2011 年,深度学习在语音识别研究领域取得了重大的突破,深度神经网络技术被成功应用于语音识别领域,从而将语音识别的出错率降低了20％ -30％.2012 年,深度学习技术在图像识别方面也取得了很好的成果.除此之外,在制药行业,深度神经网络也起到了很重要的作用,深度神经网络被运用到药物活性检测当中,这一实践是全球范围内的最好成果.同年6 月,一个有16000 个处理器的大规模神经网络在Andrew NG 及其他科学家们的研究下创建了出来,这个神经网络包含十亿个网络节点,可以处理大量的片段.深度学习最有名的一个案例就是机器系统自动识别图像,这一成果引起了广泛的关注.
三、深度学习研究现状
深度学习目前最广泛应用于语音识别、图像识别和自然领域处理三个方面,其应用成果不断有新的突破,并受到了各国相关研究领域人员的重视.
3.1 深度学习在语音识别领域研究现状
在深度学习技术大规模普及之前,语音识别系统采用的算法大多都是混合高斯模型,基于结构简单、方便训练、区分度较好等优点,这种模型被广泛应用,也在相当长的时间内占据着语音识别的主导算法地位.但混合高斯模型存在这一些不足,首先该模型的网络层数较少,无法完全描述特征状态；其次,混合高斯模型所能反映的数据维度较少.进而使得数据之间的相关性无法充分表达；最后,混合高斯模型采用了似然概率的方法,虽然能够对数据进行一些区分,但是效果仍然不能够达到满意的状态.
在2009 年,微软亚洲研究院与Hinton 教授开始合作,2011 年以深度神经网络为基础的语音识别系统由微软公司推出,这一研究成果的推出完全改变了语音识别领域现有的技术框架.深度神经网络的运用具有重大的意义,充分表示了样本数据特征间相关性信息,高维特征由这些相关性信息结合而成,最后利用高维特征样本对深度神经网络模型进行训练.在实际的应用中,深度网络建模技术并没有完全替代传统的语音识别技术,而是与其很好地结合,在一定程度上大幅度提高了语音识别率.
在国际上,谷歌最早在深度神经网络的应用领域取得了较大的突破,它使用了深层神经网络来建模声音,但是与百度相比,谷歌的深度神经网络架构层数少了将近一半.网络架构层数的增加使得百度的产品可以采用更复杂的神经网络模型,这有利于拓展大规模语料数据训练深度神经网络模型.
3.2 深度学习在图像识别领域的研究现状
深度学习算法在图像处理任务中应用最早.在1989 年,卷积神经网络就已经被提出,也被叫做CNN,它是一种深度网络模型,这种网络模型的最大特点就是包含卷积层.起初,卷积神经网络在很多的应用实例上都取得了一定的成果,但在往后的一段时间里并没有更好的研究成果出现,主要原因便是在大尺寸图像上运用卷积神经网络,并没有得到很好的结果.
2012 年Hinton 构建了深度神经网络,自此之后,卷积神经网络的性能得到了大大的提高.2012 年百度公司将最新的相关技术应用到了识别这个问题上,无论是人脸识别还是图像识别都是其研究的主流,并基于其研究推出了相应的产品.目前的深度学习网络模型逐渐完善,已经可以理解一般的自然图像并进行相应的处理,这不但增加了图像识别的精度,而且节省了大量的进行人工特征提取的时间,使得运算效率大大提高.随着深度学习技术的不断研究与突破,它将会成为一种新的主流,新的趋势,并最终取代人工与机械合作的模式.
3.3 深度学习在自然语言处理领域研究现状
自然语言处理也是深度学习研究领域重要应用.近些年来,处理自然语言的主要方式是以统计模型为基础的方法.人工神经网络一直以来就是统计方法模型的一种,但在自然语言领域并没有得到足够的重视.最早将深度学习运用到自然语言处理是在美国的研究院,并最终取得了较好的成果.目前,自然语言处理领域已经普遍采用了深度学习的方法,在中文分词、词性标注、命名实体识别等任务中都取得了良好的效果.但从整体上来看,深度学习在自然语言处理方面的应用程度与在图像识别和语音识别相比仍有较大的差距.
四、深度学习的应用
4.1 构建半监督学习新模式
对于机器学习来说,无论是较浅层次的学习还是深层次的学习,监督学习和无监督学习都是最为人熟知和最常用的方式.监督学习增强网络学习能力,无监督学习则是用于网络模型的预训练,但现有的无监督学习+ 监督学习的模式不适合人们的学习方式和习惯,因而出现了半监督学习的方式.半监督学习不是随便地将两种学习方式相加起来,而是将监督学习和半监督学习两种模式结构相融合,构建更适合人类学习习惯的新模式.半监督学习网络结构设计有着更为广泛的研究空间,学习模式更具创新性.
4.2 深度强化学习
在人工智能领域,有两个衡量智能水平的重要指标,一个是决策能力,一个是感知能力.强化学习可以输入高维感知来制作决策控制智能体（agent）,但前提是需要手动提取数据的特征；深度学习算法的感知能力具有优势,但相反的其在决策能力方面就稍显不足.因此,将两者相结合,这样取长补短,就能够实现合作互利,深度强化学习便是其中的一种方法,这种方法相对于其它方法与人类的思维更加接近.2013 年,深智团队提出了深度Q 网络,这种网络的提出展现出了很大的优势,它结合了卷积神经网络和Q 学习,并通过经验回放技术,成功实现了端到端的学习控制.总的来说,深度Q 网络在深度强化学习领域是最具创新的一项工作,时间对于深度强化学习来说很重要,递归神经网络的作用是处理与时间序列相关的问题,所以深度强化学习的主要方式是加强学习与递归神经网络的组合.2016 年,深智团队以DRL 为基础,设计了一种计算机围棋程序,这成为了深度强化学习最为普遍的一个应用.
4.3 视频分类及行为识别
A.Karpathy 等人在卷积神经网络的基础上提出了一种新的经验评估模型,这种模型简单的应用于大规模分类的视频分类上,可以将100 万段的YouTube 视频分为487 类.该模型用了单帧、不相邻两帧、相邻多帧和多阶段相邻多帧四种时空信息融合方法来训练卷积神经网络.除此之外,一种新型的多分辨率的网络结构也被提出,从而使神经网络应用的训练速度大大提高.
S. Ji 等人提出了一个可以进行行为识别的三维卷积模型,该模型在时间和空间上运用三维卷积提取特征,可以获得很多相邻帧之间的运动情况.该模型以输入帧为基础形成了多个特征地图通道,并组合所有通道的信息,从而获得最终的特征表示.这种三维卷积模型既有利也有弊：好处在于三维卷积网络模型在处理真实环境的数据时效果要优于其它的方法；不利处在于该模型相较于其它方法在KTH 数据的上处于劣势.
五、深度学习存在的问题及发展趋势
深度学习的研究目前有很大的热度,其在各个领域的应用也都有较大的进展,但仍然存在很多的问题需要进一步研究和解决：
(1) 无标记数据的特征学习.现在占据主导地位的仍是标记数据的特征学习,但世界上存在许多人们无法统计的无标记数据,要对这些无标记数据进行标记的添加,是无法完成的任务.所以无标记技术的特征学习就显得尤为重要,必须重视这方面的研究与发展.
(2) 模型大小与训练速度和精度之间的关系.这个天平如何平衡是一个很重要的问题,模型越大,相应的其训练精度会提高,但其训练的速度也会大大下降.因此,在不断提高训练精度的过程中,如何相应地去提高训练速度,这也是一个仍需要研究的问题.
(3) 单一的发展.只去发展深度学习技术而不与其它领域相结合,往往不会有好的效果.只有融合其它的技术和方法,深度学习技术的发展才会有更重大的突破,才会有更好的效果.
参 考 文 献
[1] 侯宇青阳, 全吉成, 王宏伟. 深度学习发展综述[J]. 舰船电子工程, 2017, 37(4):5-9.
[2] 尹宝才, 王文通, 王立春. 深度学习研究综述[J]. 北京工业大学学报, 2015(1):48-59.
[3] 刘钰鹏. 深度学习研究概述[J]. 信息与电脑( 理论版), 2016(3):52-53.
[4] Karpathy A, Toderici G, Shetty S, et al. Large-Scale Video Classification with Convolutional Neural Networks[C]// IEEEConference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2014:1725-1732.
[5] Ji S, Xu W, Yang M, et al. 3D Convolutional Neural Networks for Human Action Recognition[J]. IEEE Transactions on PatternAnalysis & Machine Intelligence, 2013, 35(1):221-231.
本文结束语，本文论述了关于学习方面的大学硕士和本科毕业论文以及深度和概述和学习相关学习论文开题报告范文和职称论文写作参考文献资料.
参考文献：
1、 自适应学习技术支持下的深度学习互联网＋教育的重要趋势 北京教育技术设备中心主任丁书林以李克强总理2015年3月首次在政府工作报告中提出“互联网”行动计划为标志,中国社会进入了一个以信息通信技术与互联网为平台,各行各业与互联网深度融.
2、 基于深度学习的初中语文阅读教学策略 摘 要本文在对目前初中语文阅读教学存在的如教师对深度阅读认知不到位、教师缺乏对学生学情的掌握以及缺乏师生互动……问题进行分析的基础上,提出了要强调明确阅读目标、注重课堂活动以及充分发挥读书魅力的方.
3、 引导学生在信息技术课堂中进行深度学习 【关键词】深度学习；信息技术；学习样态【中图分类号】G623 28 【文献标志码】A 【文章编号】10056009（2018）73007902深度学习是一种有意义的学习方式,也是一种回归人本性的学.
4、 动手操作数学深度学习的开始 江苏南通市新桥小学 （226000） 徐玲玲摘 要 要实现 深度学习, 既要学生手里有操作, 又要学生脑里有方法 而动手操作能满足学生的学习需要 设置操作活动时, 教师要用开放的观念把学习的主动权交给.
5、 让学讲成为推动历史深度学习的有力抓手 摘要历史课堂教学必须扎实推进“学讲”,以推动历史学科的深度学习 深度学习已经成为推动未来教育发展、适应学生个性化需求的有力抓手 在历史课堂教学中,教师可以根据历史学科的特质,将.
6、 专题任务驱动：深度学习视角下的名著阅读教学 【摘要】统编教材“名著导读”的编写有了重大变化,体现了先进理念,突出了“阅读方法指导”与“专题探究” “专题探究&r.