信息熵 60 秒讲清楚
为什么要学看 AI / 数据文章遍地'熵'。不懂这个词等于直接被劝退。
打个比方猜数字游戏:1-10 比 1-100 容易猜,因为前者'信息量'小。
VibeCoder 场景Claude Code 解释模型输出'熵高',你想知道这句话是夸还是骂。
信息论不需要会算,只要找科普聊聊就行。
- 01让 AI 输出。
- 02自己看一遍能不能懂。
- 03不懂的地方追问。
- 04闭上眼复述给自己听一遍。
粘贴到 Claude Code(或任何 LLM 终端)
我是一个 80 岁好学的人,请你用 60 秒内能讲完的中文讲一下:1. 什么是信息熵。2. 公式 H(X) = -Σ p(x) log p(x) 里每个符号代表啥(不要用'数学家语言')。3. 抛硬币(公平 vs 一面 99% 概率)两种场景哪种熵大、为什么。4. 现实里'信息熵高'对应到日常体验是什么感受(举一个例子,比如猜中数字)。回答不超过 200 字。✓ 完成判据你能脱稿用 30 秒向朋友讲清'信息熵'大致是什么。
坑别让 AI 一上来就推导公式,先靠抛硬币的例子建立直觉。