体感控制两轮自平衡小车.rar

摘要近年来，人机交互技术是计算机科学领域研究的重点领域。作为人类与计算机系统之间信息交流的接口，人机交互技术对人类社会产生了巨大的影响。通过人体学输入设备，人类向计算机输入指令信息，而计算机系统则通过输出系统显示其执行的结果，这是最基本的人机交互形式。人机交互技术，对人类利用计算机系统处理信息的效率和方式有着很直接的影响。近年来，计算机科学的快速发展极大的提高了计算机系统的性能，各类传输设备层出不穷。人机交互技术的研究向着使人和计算机系统以更加舒服、更加自然、更加有效率的方式交互信息的方向发展。对于计算机而言，则要求更加智能，能够明白人类所表达的含义。通过这些努力，最终实现人机之间的无缝对接，即完成人性化和智能化的人机交互。本文首先以传统 PC 机为例研究了人机交互方式的发展，然后介绍了各种新型的人机交互方式，最终确定了体感识别作为本文研究的出发点。然后介绍了基于 PrimeSense 公司的新型景深成像原理以及通过深度图像区域特征值和随机森林算法获得骨骼坐标信息方法。最后通过微软 Kinect 摄像头实现了景深图像的采集和骨骼跟踪算法的实现，并完成了一套控制系统，以体感识别的方式控制下位机——两轮自平衡小车。关键词：人机交互、体感识别、景深图像、Kinect、两轮自平衡小车IAbstractIn recent years, human-computer interaction technology is the field of computer science and the key research fields. As the interface of information exchange between human and the computer system. human-computer interaction technology have a great impact on human society. Through a human input device,human can input instruction information to computer, and the computer system display the results of its implementation through the output system, this is the most basic form of human-computer interaction. Human-computer interaction technology,make a direct difference on information processing efficiency of the way that human using computer system.In recent years, the rapid development of computer science has greatly improved the performance of a computer system, various types of transmission equipment emerge in an endless stream.The human-computer interaction technology research is to make human and computer system with more comfortable,more natural, more efficient way to interactive information development.For the computer, it requires more intelligent and can understand the meaning of what human express. Through these efforts, finally realize the human-machine interaction seamless docking, namely the completion of humanized and intelligent human-computer interaction.Based on traditional PC machine as an example to study the interactive development, and then introduced a variety of new way of human-computer interaction, and ultimately determine the sense of identification as the starting point of this study. Then based on PrimeSense company's new depth-of-field imaging principle and through the depth image area the characteristic value and the random forest algorithm to obtain the skeleton coordinate information method. Finally,through Microsoft Kinect camera to realize the depth image acquisition and skeletal tracking IIalgorithm, and completed a set of control system, in order to somatosensory identifying ways to control the next-bit machine -- the self-balanced two-wheel vehicle.Key words: human-computer interaction, somatosensory recognition, depth image, Kinect, the self-balanced two-wheel vehicleIII目录1 绪论 ....................................................................................................................11.1 引言 ..........................................................................................................11.2 各种主流体感识别方案介绍 ..................................................................31.2.1 触摸技术 .......................................................................................31.2.2 体感外设 .......................................................................................41.2.3 计算机视觉 ...................................................................................52 景深成像基本原理 ............................................................................................82.1 红外景深成像原理 ..................................................................................82.2 景深图像的性质 ....................................................................................102.2.1 景深图像的概念和优点 .............................................................102.2.2 深度图像与可见光图像比较 .....................................................113 基于景深的骨骼跟踪原理 ...............................................................................133.1 景深图像局域梯度特征 ........................................................................133.2 分类器概述 ............................................................................................163.3 决策树 ...................................................................................................173.3.1 决策树的训练 .............................................................................173.3.2 决策树的分类 .............................................................................193.4 随机森林 ................................................................................................194 系统方案选择 ...................................................................................................224.1 设计要求分析 ........................................................................................224.2 硬件平台介绍 ........................................................................................224.2.1 摄像头简介 .................................................................................224.2.1 驱动平台介绍 .............................................................................234.3 通信方案选择 ........................................................................................244.4 两轮自平衡小车简介 ............................................................................25IV4.5 整体方案设计 ........................................................................................265 软件设计 ...........................................................................................................275.1 骨骼跟踪算法 ........................................................................................275.2 骨骼信息识别方法 ................................................................................285.2.1 通过关节点交叉判定姿势 .........................................................295.2.2 使用关节点间的角度判定姿势 .................................................305.3 规定识别动作及识别实现 ....................................................................315.4PC 机与下位机通信 ................................................................................315.5 源代码解析 ............................................................................................325.5.1 软件界面 .....................................................................................325.5.2 软件所用资源 .............................................................................335.5.3 程序执行流程 .............................................................................346 系统测试 ...........................................................................................................366.1 测试平台 ................................................................................................366.2 测试对象和方法 ....................................................................................367 总结与展望 .......................................................................................................39致谢 ......................................................................................................................41参考文献 ..............................................................................................................42附录 ......................................................................................................................4511 绪论1.1 引言人机交互技术 是研究人与计算机系统之间互动的一门学问，是指人通过]1[计算机系统的输入、输出设备，以相应方式实现和系统信息交互的技术。从狭义上来看，就是指人和机器之间信息互动交流。例如，机器通过显示设备提供给人有关信息及或者提示请求等，人通过输入设备给机器输入相关信息等。人机交互技术涉及多个学科领域和多种技术，是一种典型的交叉性质的研究领域。它与认知学、工程学以及心理学和其他学科有着密切的联系。总体而言，人机交互技术研究是为了实现人和计算机之间的无缝连接，尽最大限度缩小人类和计算机系统对任务的认知模式的理解方式之间的差异。随着电脑在人们日常生活中的应用日益越普及和深入，传统的键盘和鼠标的人机互动己经不能满足人们的需求，人们需要更友好，更智能化和更人性化的人机互动。新型的人机交互在一些科幻电影中屡见不鲜，人们期待着科幻电影可以成为现实。计算机科学的发展带动人机交互技术日新月异。从用户界面来看，最初是以纯文本为主的字符命令行接口(CUI) ，然后发展到图形界面 (GUI)，现在更是有了虚拟现实系统，是沿着更加人性化和智能化地方向的发展。从计算机输出信息方式看，从最初基于字符为主，后来发展成为以视觉感知为主加入听觉感知为辅的多媒体综合信息，现在更先进的是综合运用多种方式(包括触觉、肢体等)的虚拟现实系统。在基于字符为主的符号阶段，用户只能面对文本符号，本质只有符号表达的概念。在视觉图形阶段，人的形象感知和形象思维可被计算机系统可以理解，从而提高了信息交互的效率。从人机交互的信息维度看，最初为一维信息，交互信息主要是文本流，后来发展成为二维信息，交互信息主要是二维图形，现如今的虚拟现实系统已经发展到了三维信息，交互信息的内容包括三维图形，深度信息。总的来说，人机交互技术的发展趋势体现了对于人性的重视，这使人们得以从各种机械式的人机交互工具中解放，让人机交互更加自然，改善了2人机交互的效率 。]2[从个人电脑的发展变化也可以反应出人机交互的这种发展趋势。早期个人电脑没有鼠标，只有键盘，显示使用的是老式的 CRT 显示器，显示模式支持很少，一般用只能显示文本字符以及简单的图形。早期的个人电脑以 HP Hewlett-Packard 9100A 为例，可以看到，该电脑只能支持键盘输入，显示屏为 CRT 阴极射线管显示器，显卡所能支持的显示模式也非常少，一般只显示文本字符和简单几何图形，这是早期的人机交互方式。然而，在摩尔定律的驱动下，个人电脑发生了翻天覆地的变化，人机交互方式也随之产生了很大的变化。ACER 4640G 是现代个人笔记本电脑的代表，该电脑不但可以支持鼠标，键盘等输入设备，还能够支持触摸板、手写笔等更加自由化的输入设备。现代PC 机的显卡性能也得到了很大的提升，能够支持很多种显示模式，人机交互效率得到了提高，并且更加友善。而且，由于笔记本电脑的体积小、重量轻、携带方便，人机交互变得很方便。还有的新型的个人电脑支持触摸屏和语音识别，能够给予用户全新的人机交互体验。近几年来人机交互新技术的研究非常活跃，该领域目前主要有语言识别和肢体识别两个方向。语音识别的研究意义在于能够让计算机“听懂”人说话，也就是让计算机能够正确识别人的声音，并按预订规则解析成相应命令。通过语音识别技术，可以直接用人的语音命令来控制计算机，从而摆脱鼠标和键盘的束缚。现如今语音识别的研究成果非常丰富，并且已经广泛应用在消费类电子产品、交通、医疗、教育、以及军事等诸多领域，在我们生活的周围就可以看到很多语音识别的应用 。]2[和语音识别相比，肢体识别的研究意义则在于能够使计算机“看懂”人做的各种动作，也就是可以识别出人的肢体动作语言，并按预定规则解释成相应的含义，转换成控制指令，从而控制计算机。人的肢体语言很丰富，包含人脸的信息以及身体各部分以及整体的信息。由于肢体语言的识别涉及的理论内容很多，包括图像处理、计算机视觉、模式识别等，所以相比于语音识别，该研3究领域更加具有挑战性。1.2 各种主流体感识别方案介绍1.2.1 触摸技术触摸屏技术目前己经广泛应用在掌上游戏机、手机、平板电脑、家电设备等各种仪器工具上。使用触摸屏技术，用户可以通过手指在屏幕上的划动、点击向设备发送相应的指令，这种技术受到了用户的广泛欢迎。触摸技术在近几年得到了长足的发展，从原来的电阻屏，只能支持单点触摸；发展到最近的使用电容屏，可以支持多点触控。触摸技术的特点：（1）多重触控是在同一个显示界面上的多点或多用户的交互操作模式，摒弃了键盘、鼠标的单点操作方式。（2）用户可通过双手进行单点触控，也可以以单击、双击、平移、按压、滚动以及旋转等不同手势触摸屏幕，实现随心所欲的控制，从而更好全面的了解对象的相关特征（文字、录像、卫片、三维模拟等信息）（3）可根据客户需求，定制相应的控制板，触摸软件以及多媒体系统；可以与专业图形软件相配合使用。4图 1.4 触摸屏技术示意图1.2.2 体感外设体感外设一般采用嵌入式技术，通过采样遥控器中的各种传感器数据，可以判断上下左右的动作、感应手腕的角度变化。比如，在 2006 年 9 月，日本任天堂公司推出了新一代游戏系统 Wii，该系统包括主机和一套游戏控制手柄。用户在玩游戏时，只需要手持一个游戏控制手柄，完成各种肢体动作，就可以控制游戏中的人物行为。用户不再使用鼠标或键盘亦或者其他传统形式的游戏手柄。这种全新人机交互方式，给游戏用户带来了前所未有的游戏体验——互动性更强、更加逼真、现实世界与游戏中的虚拟世界融合得更加好。图 1.4 任天堂 Wii 游戏系统组成图 1.4 展示了 Wii 游戏系统组成，图中左侧为游戏控制手柄，这只是多种游戏手柄中的一支，用户依靠类似这种手柄来向系统传达控制信息。5图 1.6 使用 Wii 玩游戏示意图图 1.6 为用户使用 Wii 玩棒球游戏的场景。从图中可以看到，用户通过身体动作摇动手柄，以控制游戏中的人物，这对于用户而言无疑可以极大的增强游戏真实体验。1.2.3 计算机视觉基于计算机视觉方案就是利用各种成象系统将图像信息输入计算机，由计算机来完成处理和解释。此种方案将摄像头作为主要传感器，计算机通过分析图像本身，判断里面所包含的信息，由此获取人体的体感信息 。]3[传统的体感识别方法，有基于嵌入式传感器和基于计算机视觉两种方法。基于嵌入式的方法优点是响应精度高，速度快。缺点是需要用户佩戴特定装置，行动受限制。而基于计算机视觉的方法，可以完全避免这种问题，用户不需要佩戴任何东西。在计算机视觉方法中根据所使用摄像头的不同，可以分为二维识别和三维识别。如果只使用单个摄像，无法获取到体感的深度信息，只能获得人体姿态在二维平面上的投影信息，如果要获取到体感的深度信息的话，可以采用多个摄像头，或者使用深度摄像头。如果使用二维平面投影，为了减少干扰，往往需要用户站在某个背景简单且固定的地方，在图像处理时减去背景图面，以提取人的姿态信息，但是使用