直到1948年，香農提出了“信息熵”的概念，才解決了對信息的量化度量問題。
信息論之父克勞德·艾爾伍德·香農第一次用數學語言闡明了概率與信息冗余度的關系。
理論提出
信息論之父 C. E. Shannon 在 1948 年發表的論文“通信的數學理論（ A Mathematical Theory of Communication ）”中， Shannon 指出，任何信息都存在冗余，冗余大小與信息中每個符號（數字、字母或單詞）的出現概率或者說不確定性有關。
Shannon 借鑒了熱力學的概念，把信息中排除了冗余后的平均信息量稱為“信息熵”，并給出了計算信息熵的數學表達式。
信息含義
現代定義
信息是物質、能量、信息及其屬性的標示。【逆維納信息定義】
信息是確定性的增加。【逆香農信息定義】
信息是事物現象及其屬性標識的集合。【2002年】
最初定義
信息理論的鼻祖之一Claude E. Shannon把信息（熵）定義為離散隨機事件的出現概率。
所謂信息熵，是一個數學上頗為抽象的概念，在這里不妨把信息熵理解成某種特定信息的出現概率。而信息熵和熱力學熵是緊密相關的。根據Charles H. Bennett對Maxwell’s Demon的重新解釋，對信息的銷毀是一個不可逆過程，所以銷毀信息是符合熱力學第二定律的。而產生信息，則是為系統引入負（熱力學）熵的過程。所以信息熵的符號與熱力學熵應該是相反的。
一般而言，當一種信息出現概率更高的時候，表明它被傳播得更廣泛，或者說，被引用的程度更高。我們可以認為，從信息傳播的角度來看，信息熵可以表示信息的價值。這樣子我們就有一個衡量信息價值高低的標準，可以做出關于知識流通問題的更多推論。
計算公式
H(x) = E[I(xi)] = E[ log(2,1/p(xi)) ] = -∑p(xi)log(2,p(xi)) (i=1,2,..n)
公式
公理1：信息量是事件發生概率的連續函數；
公理2：信息量是有限值；
公理3：如果事件A和事件B的發生是相互獨立的，則獲知事件A和事件B將同時發生的信息量是單獨獲知兩事件發生的信息量之和。
設事件發生的概率為P，
則滿足上述公理的信息量函數為
信息量函數 I= -lnp 如何體現不確定性的消除？
熵的概念
18世紀中葉，物理學家在認識到運動物體有動能，地面上空的物體又有勢能（兩者即機械能）之后，又進一步認識到物體的內部也具有能量（即內能），這是人類對能量的認識和利用歷史上的一次大飛躍。為了利用蘊藏在物體內部的能量，使它們轉化為機械能，開動各式各樣的機器，就需將研究熱量和內能的熱學與研究做功和機械能的力學相結合，形成熱力學，以便探究內能和機械能之間的轉化規律。
熱力學最基本的規律是熱力學第一定律和熱力學第二定律（或熵增加原理），內能和熵就是與這兩個基本定律相聯系的兩個重要的物理量。人們利用這些物理概念和物理規律，可更加合理、有效地開發和利用內能。此外，由于熱運動的普遍性，一切過程，包括物理、化學、生命和宇宙等領域中的一切運動變化過程都必然遵循熱力學基本規律。
“熵”這一概念的重要性不亞于“能”，它不僅應用于“熱效率”這類對社會發展起到關鍵作用的科技領域，而且還廣泛地應用于物質結構、凝聚態物理、低溫物理、化學動力學、生命科學和宇宙學以及諸如經濟、社會和信息技術等領域。
熵是描述自然界一切過程具有單向性特征的物理量
熱傳導、功變熱和氣體自由膨脹等物理過程具有單向性（或不可逆性）特征，熱量能自發地從高溫物體傳到低溫物體，但熱量從低溫物體傳到高溫物體的過程則不能自發發生；機械功可通過摩擦全部轉化為熱，但熱不可能全部轉化為機械功；氣體能向真空室自由膨脹，使本身體積擴大而充滿整個容器，但決不會自動地收縮到容器中的一部分。德國物理學家克勞修斯首先注意到自然界中實際過程的方向性或不可逆性的特性，從而引進了一個與“能”有親緣關系的物理量——“熵” 。熵常用S表示，它定義為：一個系統的熵的變化ΔS是該系統吸收（或放出）的熱量與絕對溫度T的“商”，即
ΔS＝ΔQ/T （1）
當系統吸收熱量時，取為正；當系統放出熱量時，ΔQ取為負。這里我們定義的是熵的變化，而不是熵本身的值。這種情況與討論內能或電勢能和電勢時一樣，在這些問題中重要的是有關物理量的變化量。
這樣定義的熵是如何描述實際過程單向性特征的呢？以熱傳導過程為例，熱量只能自發地從高溫物體傳向低溫物體，而不能自發地從低溫物體傳向高溫物體。設高溫物體的溫度為T1，低溫物體的溫度為T2，在熱量ΔQ從高溫物體轉移到低溫物體的過程中，高溫物體熵變為ΔS1＝－ΔQ/T1 ，低溫物體熵變為ΔS2＝＋ΔQ/T2 ，總系統熵變為ΔS＝ΔS2＋ΔS1＝ΔQ/T2 －ΔQ/T1 ，因為T1＞T2，所以總熵變ΔS＞0，這表明，在熱傳導過程中系統的熵增加了！反之，如果熱量從低溫物體自發地轉移到高溫物體而不存在其他任何變化，則因為ΔS2＝－ΔQ/T2 ；ΔS1＝＋ΔQ/T1 ，所以ΔS＝ΔS1＋ΔS2＝ΔQ/T1 －ΔQ/T2 ，且因T1＞T2，所以在這樣的過程中總系統的熵變ΔS＜0，即系統的熵減少了！
自然界實際過程具有方向性特征這個客觀事實表明，只有熵增加的過程才能自發發生。熱量從高溫物體傳向低溫物體時系統的熵增加，所以這樣的過程能自發發生；反之，熱量從低溫物體傳向高溫物體時系統的熵減少，所以這樣的過程不能自發發生。所謂自發發生的過程，就是指不受外界影響或控制而發生的過程。當一個系統與外界不發生相互作用時，這種系統稱為“孤立系”，于是上述結論也可簡單地表述為：在一個孤立系統中使熵增加的過程才是能夠發生的過程。人們于是可通過熵變來判斷某個過程（包括物理過程、化學過程、生命過程、宇宙演化過程等）能否發生。
熱力學第一定律或能量守恒定律是關于能的法則——只有總能量不變的過程才是可能發生的過程；熱力學第二定律（或熵增加原理）是關于熵的法則——總能量不變的過程不一定能夠發生，只有當總能量保持不變，同時總熵增加的過程才可能發生。自然界中的一切過程都嚴格遵循這兩條法則，人們利用這些法則，就能更自覺地理解和把握能量轉化的規律，更加合理而有效地開發、利用蘊藏在物體內部的能量。
這里應當指出，熱力學第二定律（或熵增加原理）并沒有說，熵減少的過程（例如電冰箱或制冷空調機）不可能發生，而是說這樣的過程不可能自發發生。為了使某個熵減少的過程A發生，必須另外附加一個同時發生的熵增加的過程B，且在過程B中熵的增加量大于過程A中熵的減少量，在這種情況下，包括過程A與過程B的總系統（這個系統對于我們所討論的問題而言，就是孤立系）內總熵仍然是增加的。