1948年，香农将统计物理中熵的概念，引申到信道通信的过程中，从而开创了”信息论“这门学科。香农定义的“熵”又被称为“香农熵”或“信息熵”，即 其中
变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。
