基于Kinect的民族弓弦乐器虚拟演奏系统

来源：软件学报杂志2015年第S2期北京时间：

作者：张世程,陈根方,张明敏,赵培涛,潘志庚

单位：张世程，杭州师范大学数字媒体与人机交互研究中心, 浙江杭州 31112111,陈根方，杭州师范大学数字媒体与人机交互研究中心, 浙江杭州 31112102,张明敏，CAD & CG国家重点实验室(浙江大学), 浙江杭州 31005803,赵培涛，CAD & CG国家重点实验室(浙江大学), 浙江杭州 31005804,潘志庚，杭州师范大学数字媒体与人机交互研究中心, 浙江杭州 31112105

摘要：利用Kinect相机结合增强现实技术和手势识别方法设计并实现了一个弓弦乐器虚拟演奏系统——以二胡为例.将Kinect获取的现实场景和虚拟乐器融合在一起绘制成增强现实场景.通过Kinect得到的深度数据和贝叶斯肤色模型将用户的左手分割出来,并再次绘制在增强图像上形成新的图像,从而解决虚拟演奏场景中的虚实遮挡问题.利用基于反向动力学和马尔可夫模型的三维虚拟手势拟合方法,对演奏过程中的左手手势进行识别,并结合右手的运动状态完成乐器的虚拟演奏.

关键词：虚拟演奏;Kinect;增强现实;手势识别

基金资助：国家社会科学基金(12AZD120);国家自然科学基金(61332017, 61173124);浙江省自然科学基金(LY14F020037);国家科技支撑计划(2015BAK04B00)