资源限制下优化动作识别精度的多模型选择及融合方法

摘要

本发明公开了一种资源限制下优化动作识别精度的多模型选择及融合方法，属于智能感知和多模态融合领域，包括：步骤1，资源限制参数和单个动作识别模型资源参数的建模；步骤2，训练actor‑critic强化学习模型得出作为在线选择模型的actor网络和作为价值打分模型的critic网络；步骤3，根据模型组合，运行相应的各模型，并融合各模型的识别结果作为最终的识别结果。该方法的优势在于可以处理严格正交的资源约束，且能融合利用多种模态的数据和多种模型，相比直接的端到端融合方式，可以在更低的资源占用下达到更高的精度。本方法可以应用于资源有限时，多模态环境下的动作识别，例如智能家居、病患看护、无人驾驶等场景。