当前位置:首页>> >>


深度学习算法实验平台.rar

收藏

资源目录
    文档预览:
    编号:20180825164859623    类型:共享资源    大小:5.95MB    格式:RAR    上传时间:2018-08-25
      
    60
    金币
    关 键 词:
    深度 学习 算法 实验 平台
    资源描述:
    毕 业 设 计题目:深度学习算法实验平台的设计与实现2017 年 6 月 18 日深度学习算法实验平台的设计与实现 I深度学习算法实验平台的设计与实现摘 要本文课题构建一个深度学习算法实验平台,是为颈动脉医疗图像深度学习识别斑块提供服务的。制作一个集成的深度学习工具包,颈动脉医疗图像的深度学习代码都可以在本平台上运行,平台基于 TensorFlow、Caffe 、CNTK、Keras、Theano 等多种深度学习框架并可以部署在同一硬件环境,因此可以测试颈动脉医疗图像深度学习在不同深度学习框架上的准确率和效率。深度学习在语音、图像识别,自然语言处理等多个领域都取得了可观的成果,无论是大众和媒体的目光,或是产业界和资本,都在疯狂地追逐着“深度学习”这一概念。深度学习框架的不断涌现,深度学习的热潮正在掀起。对于上述问题,该文尝试构建一个深度学习算法实验平台,旨在为深度学习用户提供一站式服务,为其在深度学习领域的探索降低门槛并提供流畅的体验。在现今软件配置和管理部署复杂的背景下,以简化应用部署,方便扩展,平台基于 Docker 容器技术,设计实现一种轻量级的应用平台。关键词:Docker ,深度学习,实验平台陕西科技大学毕业设计说明书 IIDesign and Implementation of Experimental Platform for Deep Learning AlgorithmABSTRACTThis paper constructs a deep learning algorithm experimental platform, which is a service for the deep learning of plaques for carotid artery medical images. The deep learning kit for carotid medical image can be run on this platform. The platform is based on TensorFlow, Caffe, CNTK, Keras, Theano and other depth learning frameworks and can be deployed in the same hardware environment, so you can test the accuracy and efficiency of carotid medical image depth learning in different depth learning frameworks. Deep learning in voice, image recognition, natural language processing and other fields have made considerable achievements, both the public and the media's eyes, or industry and capital, are crazy to chase the “deep learning“ concept The Deep learning framework of the emerging, deep learning boom is set off.For the above problem, the paper attempts to build a deep learning algorithm experimental platform designed to provide one-stop service for the deep learning users, to reduce the threshold and provide a smooth experience for its exploration in the deep learning. In the context of today's software configuration and management deployment, to simplify application deployment, easy to expand, the platform based on Docker container technology, design and implementation of a lightweight application platform.Key words:Docker, deep learning , experiment platform深度学习算法实验平台的设计与实现 III目 录摘 要 ...................................................................................................................................IABSTRACT .......................................................................................................................II1 绪论 .................................................................................................................................11.1 研究背景 ...............................................................................................................11.2 研究现状 ...............................................................................................................21.3 论文内容安排 .......................................................................................................32 深度学习算法实验平台底层技术介绍 .........................................................................42.1 Docker....................................................................................................................42.1.1 Docker 技术概述 .........................................................................................42.1.2 联合文件系统(AUFS) ................................................................................62.1.3 数据卷(Data Volume) .................................................................................62.1.4 Docker Hub 与 Docker Registry..................................................................62.2 Node.js 语言和 Express 框架 ................................................................................72.2.1 Node.js 介绍 ................................................................................................72.2.2 Express.js .....................................................................................................82.3 小结 .......................................................................................................................83 深度学习算法实验平台辅助模块介绍 .........................................................................93.1 Jupyter 交互式笔记本 ...........................................................................................93.1.1 Jupyter 简介 .................................................................................................93.1.2 Jupyter 的安装和使用 ...............................................................................103.2 Fabrik 深度学习模型建立平台 ..........................................................................103.2.1 Fabrik 简介 ................................................................................................103.2.2 Fabrik 的安装和使用 ................................................................................113.3 HyperBoard 深度学习 Web 仪表板 ...................................................................113.3.1 HyperBoard 简介 .......................................................................................113.3.2 HyperBoard 的安装和使用 .......................................................................113.4 小结 .....................................................................................................................124 深度学习算法实验平台的设计与实现 .......................................................................134.1 深度学习平台总体设计思想 .............................................................................134.2 深度学习 Docker 镜像的设计与实现 ...............................................................144.2.1 Docker 镜像设计前期准备 .......................................................................144.2.2 深度学习框架的选择 ...............................................................................15陕西科技大学毕业设计说明书 IV4.2.3 深度学习 Docker 镜像的实现 .................................................................164.3 算法实验平台的设计与实现 .............................................................................194.3.1 算法平台的设计 .......................................................................................194.3.2 算法平台的实现 .......................................................................................194.4 小结 .....................................................................................................................275 深度学习算法实验平台的部署与测试 .......................................................................285.1 部署 .....................................................................................................................285.2 系统测试 .............................................................................................................285.3 小结 .....................................................................................................................316 总结与展望 ...................................................................................................................32致 谢 .................................................................................................................................33参 考 文 献 .....................................................................................................................34深度学习算法实验平台的设计与实现 11 绪论本文基于 Docker 容器技术,搭建一个支持 TensorFlow、Caffe、CNTK 等多种深度学习框架,集成优秀的深度学习辅助工具,用以降低深度学习领域探索门槛的深度学习实验平台。1.1 研究背景人工智能(Artificial Intelligence)就像长生不老和星际漫游一样,是人类最美好的梦想之一。计算机能够具有人的意识起源于图灵测试(Turing Testing)问题的产生,由英国数学家阿兰·图灵在 1950 年的一篇著名论文《机器会思考吗?》里提出图灵测试的设想。1956 年,由约翰麦卡锡等人组织的达特矛斯会议,正式发明了“人工智能”这一词。人工智能的研究一直致力于让计算机具备像人类一样的认知能力,最终的目标是使计算机拥有“自我”意识。半个世纪过去了,人工智能的进展缓慢,直到深度学习的出现。1981 年诺贝尔医学奖获得者 David Hubel (出生于加拿大的美国神经生物学家) 和 Torsten Wiesel 发现了视觉系统的信息处理,可视皮层是分级的。这一发现激发了人们对与神经系统的思考,人类的思维经常使用高度抽象的概念,原始信号输入后,先做低层抽象,然后逐渐向更高级别迭代。效仿人类思维逻辑方式,2006 年多伦多大学 Geoff Hinton 及其弟子提出了一种具有优异特征学习能力的多隐层神经网络,这种深层的神经网络采用“逐层预训练”的方式来有效的克服训练模型上的难度,通过特征学习得到的数据信息能对原始信息有更接近本质的刻画,进而可以利用于可视化或分类问题中。深度学习本质上其实就是多层神经网络,而神经网络在几十年前大家就开始研究了。神经网络的一层,其实就是一个线性变换加上一个简单的非线性操作,而多层神经网络其实就是多个简单的非线性函数的复合。一层、两层的网络用途比较有限,往往很难刻画输入与输出之间的复杂关系。但是深层的网络,历史上又一直无法进行有效训练。大概是因为优化策略、数据过拟合、计算能力等难点未能突破,导致神经网络一度非常低调。直到 2006 年,著名的学者 Geoffrey Hinton 在 Science 上发表了一篇论文,给出了训练深层网络的新思路。大概想法是先分层进行预训练,然后把预训练的结果当成模型参数的初始值,再从头进行正常的训练过程。这个想法现在看起来很简单,但对于全连型的深层网络来说却是非常有效的。 深度学习(Deep Learning)从 2006 年 Hinton 在 Science 上的论文算起,深度学习发展至今才十年。在这短短的时间里,深度学习颠覆了语音识别、图像分类、文本处理等众多领域的算法设计思路,渐渐形成了一种从训练数据出发,经过一个端到端(end-to-end)的模型,然后直接输出得到最终结果的一种新模式。这不仅让一切变得陕西科技大学毕业设计说明书 2更加简单,而且由于深度学习中的每一层都可以为了最终的任务来调整自己,最终实现各层之间的通力合作,因而可以大大提高任务的准确度。随着大数据时代的到来以及 GPU 等各种更加强大的计算设备的发展,深度学习如虎添翼,可以充分利用各种海量数据(标注数据、弱标注数据或者仅仅数据本身) ,完全自动地学习到抽象的知识表达,即把原始数据浓缩成某种知识。当然,深度学习不见得是最完美的框架,离最终所谓的智能也还差得很远,而且目前还基本没有理论上的有效性解释。但是无论如何,深度学习之风已经势不可挡。1.2 研究现状深度学习在很多学术领域,比非深度学习算法往往有 20-30%成绩的提高。很多大公司也逐渐开始出手投资这种算法,并成立自己的深度学习团队,其中投入最大的就是谷歌,2008 年 6 月披露了谷歌脑项目。2014 年 1 月谷歌收购 DeepMind,然后 2016年 3 月其开发的 Alphago 算法在围棋挑战赛中战胜了韩国九段棋手李世石,2017 年中国棋手柯洁代表人类和 Alphago 一战,然而人类再一次输了,证明深度学习设计出的算法可以战胜这个世界上最强的选手。关于语音识别,在深度学习框架下,人们还在不断利用更好的模型和更多的训练数据进一步改进结果。现在语音识别已经真正变得比较成熟,并且被广泛商用,且目前所有的商用语音识别算法没有一个不是基于深度学习的。关于视觉问题,截至目前,ImageNet 数据集的精度已经达到了 95%以上,某种程度上跟人的分辨能力相当了。不仅仅是图像分类,在更广泛的视觉问题上,深度学习都产生了重大影响。人脸识别LFW 数据库上的结果,从最早的 90%左右的正确率,一路被研究人员刷到了 99.5%以上。现在深度学习已经可以做到输入是一张图片,输出就是逐个像素分割后的结果,中间也不需要任何预处理,并且精度远超非深度学习的结果。关于文本处理,机器翻译任务依靠深度学习技术取得了重大突破,但深度学习在自然语言处理上取得的成果和在图像语音识别方面相差甚远,仍有待深入研究。深度学习的热潮正在掀起,各类深度学习框架也不断涌现。随着人工智能的热潮袭来,Google 、Facebook、Microsoft、IBM 等国际巨头,以及国内百度、阿里巴巴等互联网巨头争相布局深度学习。例谷歌 2015 年开源的 TensorFlow,广为人知、广泛应用的机器视觉库 Caffe、微软的开源深度学习框架 CNTK、Facebook 和 Twitter 主推的知名的深度学习框架 Torch、由百度开发支持的深度学习框架 Paddle 等等。但框架不是完美的,每个框架都有其适用场景和优缺点,需要使用者评估自己的团队技能和业务需求。实际无论是 TensorFlow、CNTK、Caffe 还是 Torch,这些都只是深度学习的库(library) ,而在谷歌、腾讯、阿里等互联网巨头都拥有着自己的深度学习平台,深度学习也要经历从小数据、大数据到云计算的历史潮流。Google 率先基于 TensorFlow 推深度学习算法实验平台的设计与实现 3出了 Cloud Machine Learning 服务,这是一个按需计费、弹性拓展的云服务,开发者可以真正做到只关心业务逻辑和编写代码,由 Google Cloud 负责调度计算资源的服务。2017 年 3 月 28 日,腾讯云宣布推出深度学习平台 DI-X(Data Intelligence X) ,为机器学习、深度学习用户提供一站式服务,为其在 AI 领域的探索降低门槛并提供最流畅的体验。DI-X 平台基于腾讯云的大数据存储与处理能力,集成Caffe、 TensorFlow、Torch 主流深度学习框架,主打行云流水的拖拽式操作,具备强大的业内开源及腾讯自研算法库和模型库。1.3 论文内容安排本文基于 Docker 容器技术,搭建一个支持 TensorFlow、Caffe、CNTK 等多种深度学习框架,集成优秀的深度学习辅助工具,用以降低深度学习领域探索门槛的深度学习实验平台。第一章介绍了深度学习的发展历史和研究现状,引出各种流行的深度学习框架和深度学习平台,最后给出本论文的主要研究内容和各章节具体内容及工作。第二章为深度学习算法实验平台底层技术简介,项目采用 Docker 容器技术、Node.js 语言和 Express 框架作为底层的技术,为了快速便捷的搭建平台。第三章为深度学习算法实验平台中辅助模块介绍,平台集成了Jupyter、Fabrik、HyperBoard 等开源工具,提高了实验平台使用的便利性,扩展增强实验平台平台的功能,为深度学习提供流畅的体验。第四章为深度学习算法实验平台的具体设计与实现,主要分为两个部分。先介绍算法实验平台的总体设计思想,然后分别介绍了深度学习镜像和算法实验平台的设计与实现。第五章为深度学习算法实验平台的部署与测试,介绍了平台的部署方法,并用Keras 框架学习训练了经典的 MNIST 实验。第六章对项目进行了总结,列出了深度学习算法实验平台的一些优点和有待改进的地方。陕西科技大学毕业设计说明书 42 深度学习算法实验平台底层技术介绍深度学习算法实验平台建立在众多开源的深度学习框架的基础上,而开源软件因为有难以重现、复杂的依赖网络:不同版本的编译器、丢失头文件、错误的库路径等,所有这些导致在软件的安装配置阶段浪费你大量的时间。Docker 容器技术可以完美的解决这一问题,理论上你只要让 Docker 正确工作,然后你所有的代码就可以正常的运行。同时为了快速的搭建好实验平台,基于 Node.js 技术小巧、快速、易上手等特点,使用 Node.js+Expres 技术栈。2.1 Docker2.1.1 Docker 技术概述Docker 技术于 2013 年横空出世,一出现就受到业界追捧程,关注度趋白热化。业内各大巨头,谷歌、IBM、阿里、百度等都相继加入了 Docker 阵营。Docker 技术一般被应用于简化配置、代码流水线管理、提高开发效率、隔离应用、整合服务器、调试能力、多租户环境、快速部署等应用场景,如图 2-1 所示。图 2-1 Docker 应用场景图Docker 是基于 LXC 技术的开源软件,代码托管在 GitHub 上,开发者可以很方便地获取到最新的 Docker 源代码。Docker 基于 Go 语言开发,并遵从 Apache2.0 协议,目的是实现“一次构建封装,随处运行” 。 [2]Docker 与传统虚拟机之间存在差别,其容器的资源隔离措施及资源分配与 VM 非常相似,但是不同的层次结构方法让容器有更好的可移植性和更高的运行效率,提供
    展开阅读全文
    1
      金牌文库所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:深度学习算法实验平台.rar
    链接地址:http://www.gold-doc.com/p-97665.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们
    copyright@ 2014-2018 金牌文库网站版权所有
    经营许可证编号:浙ICP备15046084号-3
    收起
    展开