从人们的行走方式中识别出感知的情绪

释放双眼,带上耳机,听听看~!

北卡罗来纳大学教堂山分校和马里兰大学帕克分校的研究小组最近开发了一种新的深度学习模型,可以根据行走方式识别人们的情绪。他们的方法在arXiv预先发表的论文中概述,通过从他/她行走的RGB视频中提取个人的步态,然后分析它并将其分类为四种情绪之一:快乐,悲伤,愤怒或中立。

“情绪在我们的生活中发挥着重要作用,定义了我们的经历,塑造了我们如何看待世界并与其他人进行互动,”主要研究人员之一和北卡罗来纳大学研究生Tanmay Randhavane告诉TechXplore。“感知他人的情绪有助于我们理解他们的行为,并决定我们对他们采取的行动。例如,人们与他们认为生气和敌意的人沟通的方式与他们认为冷静和满足的人的沟通方式截然不同。”

大多数现有的情绪识别和识别工具通过分析面部表情或录音来工作。然而,过去的研究表明,肢体语言(例如,姿势,动作等)也可以说出很多人的感受。受这些观察的启发,研究人员着手开发一种工具,可以根据他们的行走方式自动识别个体的感知情绪。

“我们感知情绪识别方法的主要优点是它结合了两种不同的技术,”Randhavane说。“除了使用深度学习之外,我们的方法还利用了心理学研究的结果。这两种技术的结合使我们比其他方法更具优势。”

该方法首先从他们行走的RGB视频中提取人的步行步态,将其表示为一系列3-D姿势。随后,研究人员使用长期短时记忆(LSTM)递归神经网络和随机森林(RF)分类器来分析这些姿势,并识别视频中人物所感受到的最突出的情绪,在快乐,悲伤,愤怒之间做出选择。或者中立。

LSTM最初是根据一系列深度特征进行训练的,但这些特征后来与使用姿势和运动提示从步态计算的情感特征相结合。所有这些特征最终都使用RF分类器进行分类。

Randhavane和他的同事对包含人行走视频的数据集进行了一系列初步测试,发现他们的模型能够准确地识别出个人的感知情绪。此外,他们的方法比其他关注人们行走方式的感知情绪识别方法提高了大约14%。

“虽然我们没有对一个人正在经历的实际情绪做出任何声明,但我们的方法可以提供对该步行风格的感知情绪的估计,”计算机科学部门的研究教授Aniket Bera负责监督该研究。 TechXplore。“这项研究有很多应用,包括对机器人和自动驾驶汽车的更好的人类感知,改进的监控,以及在增强和虚拟现实中创造更具吸引力的体验。”

与Tanmay Randhavane和Aniket Bera一起,这项研究背后的研究团队包括马里兰大学帕克分校的Dinesh Manocha和Uttaran Bhattacharya,以及北卡罗来纳大学教堂山心理学系的Kurt Gray和Kyra Kapsaskis。 。

为了训练他们的深度学习模型,研究人员还编制了一个名为Emotion Walk(EWalk)的新数据集,其中包含在室内和室外环境中行走的个人视频,这些视频标记有感知情绪。将来,该数据集可供其他团队用于开发和训练旨在分析运动,姿势和/或步态的新情绪识别工具。

“我们的研究处于一个非常原始的阶段,”贝拉说。“我们想探索肢体语言的不同方面,并观察更多线索,如面部表情,语音,声音模式等,并使用多模式方法将所有这些线索与步态结合起来。目前,我们假设行走动作是自然的,不涉及任何配件(例如,手提箱,手机等)。作为未来工作的一部分,我们希望收集更多数据并更好地训练我们的深度学习模型。我们还将尝试扩展我们考虑更多活动的方法,例如跑步,打手势等。“

根据Bera的说法,感知情绪识别工具可以很快帮助开发具有更高级导航,规划和交互技能的机器人。此外,他们的模型可用于检测视频或闭路电视录像带中的异常行为或步行模式,例如识别有自杀风险的个人并提醒当局或医疗服务提供者。他们的模型也可以应用于视觉特效和动画行业,它可以帮助设计师和动画师创建有效表达特定情感的虚拟角色。

人已赞赏
安全新闻

推进小型卫星的新型更安全 更便宜的方式

2019-11-15 1:10:04

安全新闻

如何解决现代量子计算机的实际问题

2019-11-15 1:10:09

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索