视觉问答的实现方法和基于视觉问答检验模型的方法

摘要

提供一种视觉问答的实现方法。该实现方法包括：采用混合专家模型接收目标问题以及与目标问题对应的富文本图片并输出目标问题的答案，其中，所述混合专家模型包括门控网络和多个专家模型，其中，所述门控网络用于确定目标问题的问题类型，基于问题类型确认所述目标问题为多个问题类型中的第一问题类型，以及将目标问题提供给多个专家模型中的第一专家模型；所述第一专家模型用于提供目标问题的答案。本公开不再采用一个通用专家处理所有问题，而是有针对性地针对不同问题采用不同专家模型处理，这种设计能有效地协同多个专家模型拓宽模型性能边界，并提高答案的准确度。