基于核方法的纠错输出编码多类分类算法改进

摘要

本文对基于核方法的纠错输出编码多类分类算法改进进行了研究。主要内容包括： (1)基于结构风险和正则化，修改ECOC的损失函数，把局部独立损失修改为全局损失，提出了基于一致训练的ECOC算法。 (2)对各个分类器基的在解码输出过程中进行加权，基于结构风险和正则化定义给权值向量的损失，通过优化这个损失函数获得一个最优的权值系数，而获得一个性能更好的分类器。本算法能进一步推广到希尔伯特空间，使得分类器的输出和权值系数在核空间进行内积操做，从而实现非线性解码。 (3)对两种改进对应的对偶问题提出了改进的优化方法。

目录

文摘

英文文摘

声明

第一章绪论

§1.1人工智能与机器学习

§1.2人工智能的NP完全难问题?

§1.3分类算法的国内外研究现状

§1.3.1多类分类各种算法简介

§1.3.2分类算法的各种应用

§1.4 纠错输出编码及其缺陷

§1.5本文的主要贡献

§1.6问题的数学定义和符号约定

§1.6.1问题的数学描述

§1.6.2符号和术语的约定

§1.7本文组织

§1.8本章小结

第二章机器学习理论和支持向量机

§2.1统计机器学习理论的一些渊源

§2.1.1学习机器的产生

§2.1.2学习理论基础的创立

§2.1.3神经网络的创立

§2.1.4统计学习理论

§2.2学习问题的表述

§2.2.1分类问题

§2.2.2回归

§2.2.3密度估计

§2.3经验风险最小化原则

§2.4统计机器学习的主要理论

§2.4.1推广能力的界

§2.4.2结构风险最小化原则

§2.5支持向量机

§2.5.1最优分类超平面

§2.5.2支持向量机的原问题及其对偶问题

§2.5.3二次规划的优化策略

§2.6核函数技巧

§2.6.1核学习方法简介

§2.6.2核方法在SVM中的应用

§2.7支持向量机的改进版本

§2.7.1 Weston等的多类支持向量机

§2.7.2 Crammer等的多类支持向量机

§2.7.3 Guermeur等的多类支持向量机

§2.8本章小结

第三章纠错输出编码及其间隔定义

§3.1 ECOC框架算法

§3.2编码(encoding)过程

§3.3训练(learning)过程

§3.4解码(decoding)过程

§3.5 ECOC框架的特点

§3.6 ECOC下的间隔定义

§3.6.1区分函数

§3.6.2 ECOC分类器的间隔

§3.7本章小结

第四章ECO输出空间的距离函数学习改进

§4.1 ECOC输出空间距离函数学习

§4.1.1损失函数的原问题定义

§4.1.2对偶问题

§4.1.3核技巧

§4.2优化策略

§4.3本章小结

第五章ECOC算法的一致学习改进

§5.1 ECOC的一致学习

§5.1.1损失函数原问题定义

§5.1.2对偶问题

§5.1.3核技巧

§5.2优化策略

§5.3与Guermeur的SVM的关系

§5.4与Weston等的SVM的关系

§5.5与Cai和Hofmann等的分层SVM的关系

§5.6本章小结

第六章改进方法的性能验证

§6.1在UCI标准数据库上的预测性能比较

§6.1.1一致学习的ECOC性能验证

§6.1.2基于输出空间距离函数学习的ECOC性能验证

§6.2改进算法在多智能体系统中的应用

§6.2.1 RoboCup下的协作对抗中对手建模和识别

§6.2.2数据来源和实验设置

§6.2.3特征定义

§6.2.4实验参数设置

§6.2.5实验结果

§6.3基于颜色的目标识别

§6.3.1数据来源

§6.3.2实验设置

§6.3.3算法流程

§6.3.4实验结果

§6.4本章小结

笫七章总结与展望

§7.1本文算法总结

§7.2未来研究展望

§7.3本章小结

参考文献

致谢

个人简历、在学期间的研究成果及发表的论文

在学期间的发表的论文及科研项目