Cải tiến một số giải thuật phân tích cú pháp trong xử lý ngôn ngữ tự nhiên. Nó gần giống nhưng không đồng nhất với khái niệm entropi nhiệt động của một hệ vật lý để đo khoảng cách tới trạng thái cân bằng (equilibrium) Định luật 2 của nhiệt động học được Shanon phát biểu mở rộng thành định luật 10 của Shannon trong ngữ cảnh phi nhiệt động như sinh học, sinh thái học, kinh tế học, xã hội học và kinh tế học