随机事件的不确定性或信息量的度量——信息熵

摘要

信息论是研究信息的基本性质和度量方法以及信息的接收、处理、存贮、发送、传输和交换等一般规律的科学。信息量是信息论的中心概念,把信息熵作为一个随机事件的不确定性或信息量的度量,它奠定了现代信息论的科学理论基础,大大地促进了信息论的发展。