“虚拟现实与人机交互”学科方向带头人冯志全教授及其团队成员在CCF A类国际期刊International Journal of Human - Computer Studies录用一篇题为“HMMCF:A Human-Computer Collaboration Algorithm Based on Multimodal Intention of Reverse Active Fusion”的学术论文，是济南大学以第一单位发表在本期刊上的首篇论文，是近年来“虚拟现实与人机交互”方向取得的又一突破。研究生郎需婕同学为第一作者，冯志全教授为通讯作者。
随着机器人走进社区或千家万户，其缺陷或挑战性问题日渐凸显。现阶段机器人人机交互系统进行研究存在的主要问题是：（1）单模态输入为主的交互体系使得机器人不能保证意图理解的准确性，尤其是对于表达能力退化的老年人来说，使用单一模态作为输入的意图理解算法的局限性被放大；（2）机器人人机交互系统缺乏独立思考能力，对于错意图、重复意图等无效意图不能很好地做出判断，尤其是对于记忆力下降的老年人来说，重复执行同一意图可能会降低陪护质量；（3）机器人人机交互系统未能真正做到真正意义上的协同，固定化的协同决策可能使得用户协同负荷加大，尤其是对于行动不便的老年人，固化协同不仅不能为老人带来便利，反而会使老年人有更大压力。
针对上述机器人人机交互关键问题，冯志全教授团队团队构建了面向老年陪护的多模态意图逆向主动融合的人机交互系统：（1）采用多模态输入交互，综合考虑多方面信息进行用户意图的理解，多模态信息相互补充、相互制约，使得机器人有较强的意图理解能力，一定程度上改善了因老年人表达不清引起的机器人无法理解老人意图的问题；（2）通过加入信任度评价算法是的机器人有一定思维能力，对机器人意图理解阶段提取出的意图进行二次判断，还可以有效识别出用户表达的错误意图、重复意图等无效意图，为解决老年人记忆力衰退是的陪护质量下降问题提出了一种可行方法；（3）不再使用固化人机协同方法，采用动态的、用户利益优先的人机协同方法，降低人机协同符合，一定程度上缓解了老年人行动不便带来的困扰。对于所提出的人机交互系统进行了应用验证，进一步印证了该系统在实际应用中的功能和性能优势，同时，为助老陪护机器人领域提供了一种研究思路。
《International Journal of Human Computer Studies》期刊是中国计算机学会推荐的“人机交互与普适计算”方向A类顶级期刊，覆盖人工智能、高性能计算、心理学、语言学、传播学等交叉下人机交互系统理论与实践相关研究。
