熵指的是体系的混乱的程度，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。熵的概念由克劳修斯于1850年提出，并应用在热力学中。1948年，香农第一次将熵的概念引入信息论中。

1877年他又提出了著名的玻尔兹曼熵公式。从而玻尔兹曼定义了“熵”的定义式。