前言

课程来自上交计算机学院信息论课程。

背景

信息论在概率论，计算机科学，人工智能中有大量应用，诸如：决策树中基于最大信息增益进行决策，最常用的交叉熵损失函数，编码器-解码器的概念，Viterbi Algorithm算法。同时信息论与密码学，控制论，通信原理等均密切相连，可以称其为工科里基础中的基础学科，因此系统学习这门课是有必要的。

通信要解决的根本问题是信道噪声问题，即通信的基本问题是在一点上精确地或近似地再现在另一点上选择的消息。

The foudamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point.

信息熵

熵：描述随机变量的不确定性

概率论复习，样本空间$\mathbf{X}$为实验所有可能结果的集合，随机变量$X$是定义在样本空间上的一个函数，在一个样本空间内，允许定义多个随机变量。

其中，$x$为样本空间的所有可能取值，$X$为随机变量，$p(x)$为概率密度函数