1948年，香農(nóng)發(fā)表的《通信的數(shù)學理論》為現(xiàn)代數(shù)字通信奠定了基礎，推動了信息時代的到來。該研究的核心目標是通過數(shù)學方法解決數(shù)字通信系統(tǒng)中噪聲環(huán)境下的可靠傳輸問題，并由此構(gòu)建了信息論的完整框架。這一理論體系不僅解決了通信技術中的關鍵問題，也為后續(xù)研究提供了重要方向。

通信問題被劃分為三個層級：技術層級關注符號傳輸?shù)臏蚀_性，語義層級聚焦符號含義的精確傳達，效用層級則強調(diào)接收信息對行為的影響。香農(nóng)明確表示其理論僅涉及技術層級，即符號的可靠傳輸，而不涉及符號的語義或內(nèi)容。這一觀點為信息論的發(fā)展劃定了初始邊界。

受到香農(nóng)方法論的啟發(fā)，研究人員嘗試將信息論框架應用于大型語言模型（LLM）的解釋。通過將理論核心從比特轉(zhuǎn)向標記，研究者提出語義信息論，試圖從信息論角度揭示大模型的工作原理。這一轉(zhuǎn)換不僅擴展了信息論的應用范圍，也為理解大模型提供了新的視角。

在傳統(tǒng)通信系統(tǒng)中，信源編碼器通過將符號映射為二進制碼字實現(xiàn)信息壓縮，以節(jié)省信道資源。香農(nóng)證明了信源熵是信息無損壓縮的理論下限，這一結(jié)論被稱為信源編碼定理。同時，他通過轉(zhuǎn)移概率模型描述信道噪聲的影響，并提出了實現(xiàn)可靠通信的數(shù)學路徑。這些工作共同構(gòu)成了信息論的基礎。

香農(nóng)的另一重要貢獻是信源-信道分離定理，該定理將通信系統(tǒng)分解為獨立的信源編碼和信道編碼兩部分。這種分離設計簡化了工程實現(xiàn)，并催生了兩個獨立的研究領域。研究者指出，這種模塊化設計不僅降低了技術復雜度，也為不同領域的協(xié)同發(fā)展提供了可能。

香農(nóng)在解決可靠通信問題時采用了自頂向下的方法論，即通過定義理想系統(tǒng)的功能特性來推導數(shù)學條件。他回答了三個關鍵問題：可靠通信的數(shù)學定義是漸進無差錯傳輸，其模型通過轉(zhuǎn)移概率描述信道不確定性，性能指標則由互信息和信道容量衡量。這些概念為通信系統(tǒng)設計提供了理論依據(jù)。

研究者將信息論視角應用于大模型分析，提出類似問題：大模型的語義如何定義？其數(shù)學模型是什么？性能如何衡量？其中，語義的定義已在前期研究中涉及，而數(shù)學模型和性能指標成為當前研究重點。這一思路延續(xù)了香農(nóng)從功能定義出發(fā)的方法論。

為分析大模型，研究者引入了速率-失真函數(shù)、定向信息和定向信息密度等概念。定向信息由信息論專家提出，旨在突破互信息在描述反饋系統(tǒng)時的局限性。盡管這一概念在學術界未獲廣泛關注，但其為分析時序數(shù)據(jù)中的統(tǒng)計依賴關系提供了新工具。

定向信息的計算面臨挑戰(zhàn)。研究者通過改進經(jīng)典算法和神經(jīng)網(wǎng)絡模型，提出了基于動態(tài)規(guī)劃和Transformer架構(gòu)的估計方法。這些方法將傳遞熵估計轉(zhuǎn)化為序列預測問題，利用Transformer的上下文學習能力提高計算精度。這一進展為定向信息的應用奠定了基礎。

大模型的推理能力與因果推斷密切相關。研究者指出，大模型通過預測下一個標記實現(xiàn)類Granger因果推斷，但這種推斷僅基于數(shù)據(jù)關聯(lián)，而非真正的因果關系。與之相對，Pearl的因果理論強調(diào)模型假設和干預實驗的必要性。當前大模型在結(jié)合強化學習后，雖能模擬干預和反事實問題，但仍未突破數(shù)據(jù)驅(qū)動的預測框架。

信息論的發(fā)展與計算理論存在深層聯(lián)系。研究者認為，信息論不應僅基于概率論，而應與圖靈的計算理論一樣，建立在邏輯基礎之上。這一觀點得到了Kolmogorov復雜度的支持，該理論將香農(nóng)熵解釋為復雜度的數(shù)學期望。同時，直覺主義邏輯為計算機科學中的命題-類型對應關系提供了理論基礎。

隨著AI技術的發(fā)展，標記被視為連接經(jīng)驗與理性的核心概念。研究者提出，比特定義了信息時代，而標記將定義AI時代。這一觀點暗示，大模型雖未實現(xiàn)真正的思考，但其自動化處理信息的能力已帶來革命性變化。正如圖靈所言，不同思考方式的存在不應否定其思考的本質(zhì)。