基于深度学习的英文文本可读性度量研究

摘要

阅读能力是语言习得的重要组成部分，而人们的阅读水平和理解能力不尽相同，因此，对于不同的语言学习者和从事语言教学工作的教师来说，要找到适用自己阅读学习的文本材料和收集适合相应学生阅读能力的教学材料是件费时费力的事情，所以也就有了大量度量文本可读性的需求。本文通过综述文本可读性的研究现状，分析总结文本可读性的度量研究成果，针对现有的文本可读性度量方法的局限性，引入基于深度学习的英文文本可读性的度量方法，旨在通过学习表示训练一个能够分析跨领域文本，通用性强，自动化好，性能高的可读性度量模型。　　现将本文的主要研究贡献概括如下：　　①提出了基于混合网络模型的英文文本可读性度量法。针对文本可读性度量的传统公式法和基于机器学习的度量法都过于依赖人工专家的经验来提取特征，限制了其实用性的痛点以及随着被提取使用的文本可读性度量特征种类越来越多，数量越来越大，人工提取深层特征的难度也越来越难，而且容易引入无关特征或冗余特征，造成模型性能下降的问题。本文引入了深度学习中混合网络模型的概念，通过组合卷积神经网络和双向长短时记忆网络和注意机制网络构建适合文本可读性度量的混合网络模型，通过表示学习代替人工自动提取特征，大大的提高了文本可读性的度量效率和性能。　　②提出了基于分层混合网络模型的英文文本可读性度量法。针对先前的研究和本文中所使用的混合网络模型都将整篇文档当作一个由词序列构成的长序列来处理，这样的处理方式会使得篇章的特征表示像行文逻辑关系，句子的上下文信息等相关特征丢失。也与人类将文档看作是由句子序列组成，而句子序列才由词序列构成的认知不符等这些不足，本文引入了分层混合网络模型的概念，构建了基于分层卷积循环注意机制网络的混合网络模型来度量英文文本的可读性，并通过实验证明了其模型有良好的性能。　　③设计了一个适合度量文本可读性的损失函数。一般基于深度学习的文本可读性度量法都是将文本可读性度量看作一个文本分类任务来完成，而分类任务中交叉熵损失函数的优越性能是其他损失函数很难逾越的。但文本可读性度量又因为其文本阅读难度等级标签之间有渐进关系，所以与一般的分类任务标签之间是相互独立的关系相比较有本质上的差别，基于此考虑，本文以交叉熵损失函数为主，以均方误差损失函数为辅的构造了一个主辅双损失的形式来联合训练我们的网络模型，通过实验证明其对整个模型的性能有一定的提升。

目录

1 绪 论

1.1.1 研究背景

1.1.2 研究意义

1.2 研究概述

1.2.1 文本可读性度量研究概述

1.2.2 文本可读性的发展历史

1.3研究难点

1.4.1 研究内容

1.4.2 论文组织结构

2 文本可读性度量研究综述

2.1现有的文本可读性度量法

2.1.1基于传统特征的可读性公式法

2.1.2基于人工智能的可读性度量法

2.1.3基于深度学习的文本可读性度量法

2.2.1文本表示方法

2.2.2卷积神经网络

2.2.3长短时记忆网络

2.2.4注意机制网络

2.3本章小结

3 基于混合网络模型的文本可读性度量

3.1 引言

3.2 模型介绍

3.2.1查询层

3.2.2卷积层

3.2.3循环层

3.2.4 Att/MoT Pooling层

3.2.5 softmax层

3.3.1数据集

3.3.2评价指标

3.3.3实验环境和超参数设置

3.3.4实验结果分析

3.4 本章小结

4 基于分层混合网络模型的文本可读性度量

4.1引言

4.1.1混合网络模型的不足

4.1.2分层网络模型的概念

4.2 模型介绍

4.2.1句子表示

4.2.2篇章表示

4.2.3篇章分类

4.3.1数据集

4.3.2损失函数设置

4.3.3评价指标

4.3.4实验环境和超参数设置

4.3.5实验结果分析

4.4 本章小结

5 总结与展望

5.1 工作总结

5.2 工作展望

参考文献

附录 A. 学位论文数据集

致谢