工業革命 (第66集）美國-香農與信息論

1948年的夏天,貝爾實驗室的走廊裏瀰漫着一種獨特的工業氣息。 在這本看似枯燥的技術期刊上,一位32歲的數學家發表了一篇論文。 他沒有發明電話,也沒有鋪設電纜,但他提出的理論卻像一根無形的絲線,即將縫合起整個信息時代。 今天,我們就將時間撥回那個節點,從信息科學的角度,深入解讀這篇被稱爲信息論大憲章的論文, 以及他背後那個騎着獨輪車,在走廊裏思考世界的天才克勞德·香農。 香農的傳奇始於他對開關的執念,1916年生於密歇根的他,從小就展現出對機械的癡迷。 1937年,當他在麻省理工學院攻讀碩士時,注意到一個驚人的事實,電話交換電路中的繼電器開關,其開與關的狀態竟然與邏輯學家喬治, 布爾的那個抽象代數學,布爾代數中的真與假完美對應。於是,他在碩士論文中做出了一個劃時代的轉換, 他用數字1表示電路閉合,用數字0表示電路斷開,從此複雜的電路邏輯被簡化爲純粹的數學運算。 哈佛大學的教授後來評價說,這可能是本世紀最重要、最著名的一篇碩士論文,這篇論文正是今天我們所有數字電路的基礎。 1941年,湘農加入了貝爾實驗室,當時正值二戰,他的主要任務不再是電話,而是密碼破譯。 他負責追蹤德國飛機和火箭的通信,並研究如何保護盟軍的通信不被竊聽,這段經歷深刻地影響了他的思維方式。 在破譯密碼的過程中,湘農意識到無論是英語文本、電話信號還是敵方密電,本質上都是一種統計現象,信息不再是模糊的語義,而是一種可以被數學概率嚴格描述的量。 他後來在1949年發表的《保密系統的通信理論》中寫道,通信與密碼學本質上是同一枚硬幣的兩面,都是在有噪音或敵人干擾的情況下,如何準確地傳遞信息。 1948年,積攢了近十年的思考,終於結出碩果,湘農在這篇論文中首先提出了一個至今仍在使用的通用通信系統模型——信源、發射機、信道、接收機、信速。 他告訴我們,無論你是在打電話、發郵件還是看電視,都逃不出這個模型,但真正革命性的是它對信息的量化。湘農說,信息不是內容,而是不確定性的消除。 他借用了熱力學中商的概念,提出了信息商公式,這個公式可以計算出在一條消息中,平均每個符號包含多少信息量。他還將信息的基本單位命名爲bitbit,即binary digit的縮寫,這個由他的同事突擊建議的術語,從此成爲了衡量信息的標識。 量化了信息之後,湘農問出了那個終極問題,在一條充滿噪音的電話線裏,我們到底能傳多快?他的回答是,信道容量,任何信道都有一個物理極限,這個極限被稱爲湘農極限。 如果你的信息傳輸速率低於這個極限,理論上就可以找到一種編碼方式,實現無差錯傳輸,如果高於這個極限,無論你用什麼技術,錯誤都將不可避免,這是一個存在性證明。 但他告訴工程師們,極限就在那裏,這就像在萊特兄弟造飛機之前,有人先證明了空氣動力學方程,幾十年後,人類發明的turbo碼,LDPC碼才終於在3G,4G網絡中逼近了湘農當年畫下的那條紅線。 論文發表後,信息論像野火一樣蔓延到了生物學、語言學甚至經濟學領域,但有趣的是,作爲創始人的湘農並沒有沉溺於榮譽,他關起門來工作,晚上則在貝爾實驗室的走廊裏騎獨輪車,或者搗鼓他的機械老鼠和噴火小號。 他被譽爲信息論之父,但他更像是一位純粹的玩家,正如他的同事所說,他能立刻抓住問題的本質,他是真正的天才。 2001年,湘農去世,但他留下的遺產支撐着我們今天所有的通信方式,從你手機裏的高清視頻到星際探測器傳回的微弱信號,背後都回響着1948年那篇論文的旋律。 湘農的偉大不在於他發明了某樣具體的設備,而在於他讓信息第一次變得可測量、可計算。他告訴我們,在這個充滿噪音的世界裏,我們依然可以找到一種方式,準確無誤地傳遞思想,這就是信息革命真正的起點。