**信息不一定要呈现既有的事实而是要将不同的事物联系在一起来作用于客观实际而产生新的事实。所以关键在于链接** <!-- more --> 👨🏻‍💻 @梦觉教游泳 👨🏻‍💻 英语兔 👨🏻‍💻 零天赋射手 👨🏻‍💻 立党 👨🏻‍💻 勃勃 2. 👨🏻‍💻 李沐（《动手学深度学习》作者） 3. 👨🏻‍💻 Andrej Karpathy（OpenAI研究员，技术解读深入） 4. 👨🏻‍💻 Hugging Face团队（开源模型库与教程 信息包括 [文字](2%20第二大脑/1%20概念/4%20信息与模式/语言/文字.md) 和 [数字 1](数字%201.md)，[阿拉伯数字](2%20第二大脑/1%20概念/1%20社会与文明/文明/地理/阿拉伯数字.md) 标志着 [数字 1](数字%201.md) 和 [文字](2%20第二大脑/1%20概念/4%20信息与模式/语言/文字.md) 的分离，香农的信息论使得…… [推荐算法调教](推荐算法调教.md) 原理：[DIKW](DIKW.md) 大神们是从哪获取优质信息，比如哪些微信公众号，知乎? - 阿尐的回答 - 知乎 https://www.zhihu.com/question/36809525/answer/1965470820 香农在《通信的数学理论》中开宗明义：" 1. 通信的基本问题是在一点精确地或近似地复现在另一点所选取的消息。 2. 消息通常有意义，即根据某种体系，消息本身指向或关联着物理上或概念上的特定实体。 3. 但消息的语义含义与工程问题无关，重要的问题是一条消息来自于一个所有可能的消息的集合。" [[信息论]]使用"信息熵"的概念，对单个信源的信息量和通信中传递信息的数量与效率等问题做出了解释，并在世界的不确定性和信息的可测量性之间搭建起一座桥梁。 一些例子 - [[信息熵]]: 想象你有一个装满不同颜色小球的罐子。如果所有球都是一个颜色,那么闭着眼睛拿球时你很容易猜对颜色,这种情况的"信息熵"很低。但如果每种颜色的球数量相等,你就很难猜对,这种情况的"信息熵"就高。 - 信息增益: 继续用猜动物的例子。问"这个动物会飞吗?"比问"这个动物喜欢吃胡萝卜吗?"可能更有助于你猜对。前一个问题带来的信息增益更大。 - 条件熵: 假设你在玩猜动物游戏。如果有人告诉你"这个动物有四条腿",这会让你更容易猜对。知道这个条件后,你的不确定性减少了,这就是"条件熵"的概念。 - KL散度: 想象你和朋友都在猜一个秘密数字。你猜它可能在1到10之间,而你朋友猜在1到100之间。你们的猜测之间的差异就像是KL散度。 - 最大熵原理: 如果你要分糖果给朋友,但不知道谁喜欢吃糖,最公平的方法就是每个人分到一样多的糖。这就是最大熵原理的思想。 - 在AI中的应用: 当你的手机能识别出照片里的猫时,它其实是在使用这些概念。它通过学习很多猫的图片,知道了猫的特征(耳朵、胡须等),这样就能更准确地识别新的猫咪照片。