大用户量在线人像比对系统的比对调度研究及实现

摘要

本文探讨的是银晨人像比对系统(ISMUST)的任务调度问题,通过以下讲解的算法和方案解决人像比对系统任务分配问题,从而最大限度的利用系统中用于执行任务处理的比对服务器资源,同时使整个系统保持运行的稳定性和回复的及时性.银晨人像比对系统将网络用户提交的任务分为比对任务、建模任务、添加新数据任务与身份认证任务;由于任务的不同,消耗的服务器资源具有很大的差异,如果使用传统的轮循等调度算法会给系统带来很大的资源浪费,如果处理不当更会带来死机等不良后果.本文针对比对任务的特性,从考虑任务的资源消耗量和比对服务器处理能力两方面出发,设计出一套加权动态算法.该算法的主要思想是先通过经验数据分析任务可能使用到的比对服务器资源,再通过监控比对服务器当前的资源空闲状态,把该任务分配给能执行该任务并最为空闲的比对服务器来执行.本系统在设计中为了避免单点失效和关键点失效还特别设计了主备互换功能和单节点失效检测及处理功能,增加了整个人像比对系统的健壮性;为避免一些无效比对任务占用过多的系统资源,提高系统的处理效率还设计了独特的预处理机制.

目录

文摘

英文文摘

1.引言

2.背景

3.技术背景介绍

3.1人像识别技术方法

3.2负载均衡发展背景介绍

3.2.1负载均衡定义

3.2.2负载均衡技术实现结构

3.2.3负载均衡的分类

4.银晨人像比对系统简介

4.1系统功能介绍

4.2系统各模块介绍

4.3系统处理过程数据流向

5.ISMUST任务调度算法探讨

5.1 ISMUST系统任务调度特点

5.2几种常用调度算法介绍及讨论

5.2.1轮循均衡算法

5.2.2最小处理数算法

5.2.3动态均衡算法

5.3 ISMUST系统的调度算法

6.ISMUST系统任务调度设计及实现

6.1 ISMUST系统任务调度设计方案

6.1.1.ISMUST系统任务调度功能需求

6.1.2.ISMUST系统任务调度处理流程

6.1.3.ISMUST系统任务调度设计细节

6.2任务调度程序关键技术实现细节

6.2.1对各比对服务器状态的监控

6.2.2用于比对服务器和调度管理程序通讯的数据包协议

6.2.3调度管理端任务队列任务标示

7主备互换设计及实现

7.1主备互换的设计理由

7.2主备互换的实现

8预处理模块设计及实现

8.1预处理模块设计理由

8.2预处理模块的实现

9测试设计、结果及分析

9.1测试设计的目的

9.2测试环境

9.3测试用例

9.4测试结果

9.5测试结果分析

10 结论

11 参考文献

声明

致谢