信息論

在二十世紀，香四十年代引入的理論的基本概念。 信息論 - 傳輸，存儲和檢索的自然，技術和社會系統中的數據的過程的科學。 在科學領域，如計算機科學，語言學，密碼學，控制理論，圖像處理，遺傳學，心理學，經濟學，生產方式組織的許多應用中使用這門科學。

在具有信息論現代條件非常緊密地連接至編碼理論，討論了一種信號和信息，以及信號處理的理論之間的一致性的最常見的問題，其中，所述量化研究和恢復信號和光譜和 相關性分析 物。

信息理論認為的“信息”定量大部分，基本概念沒有考慮到它的價值，有時毫無意義。 在這種方法中，文本的頁面將包含大約一個數字符號和符號的確定相同的數據量，不依賴於一個事實，即，嚴格來說，有印刷，即使是窮極無聊和混沌集的一些符號。

這種方法是合理的，但只針對通信系統的仿真，因為它們具有精確地發送信息 的通信信道， 其可為任何組的字符和符號的。 然後，當有必要考慮到值和數據的含義，定量的方法是不可接受的。 這些情況對這一理論的可能的應用領域施加實質性的限制。

信息理論基礎包括考慮各方面的問題，包括直接關係到數據的發送和接收。 主通信方案，這是在教學考慮如下。 信息論與編碼 他認為，這些消息的來源，這是一個詞或一組書面字母表中的某些字母的單詞。 該消息的來源可以是文本到任何天然或人工語言，人類的語言，數據庫和一些 數學模型， 創造的字母序列。 發射機中的消息轉換成對應於通信信道的物理性質的信號 - 介質進行信號傳輸。 期間的這樣的通道是受到干擾，這在信息參數的值引入失真。 接收器恢復從接收的失真信號的原始消息。 消息中的還原形式涉及到目的地 - 某個人或一個技術設備。

消息源在本質上是統計的，即，每個消息的外觀由一定的概率來確定。 香農信息論認為，如果該消息的概率等於統一，那就是，他的出現顯著和不確定性，不認為它不攜帶任何信息。

一個的信息理論的重要問題考慮消息源的通信信道和信息的屬性的協調。 帶寬 是每秒1比特為單位來確定。

隨著通信系統的一個問題是所希望的信號路徑干擾。 香農，遺憾的是，並沒有給我們具體的方法來處理這些。 因為它需要更多的時間成本是重複多次的消息，最簡單的去除方法不是非常有效的信息傳遞。 效率高得多允許使用代碼，使您能夠檢測和數據傳輸的糾正錯誤的。