生活 ·

宇宙会摇出 iPhone 吗?

本站为文字版;原文中的图片、投票及嵌入内容尚未迁入,见文末原始出处。

雨中自谈

宇宙会摇出 iPhone 吗?

上帝赐予我们SwiGLU

今天看到一段峰哥的话,感觉还挺有意思的,分享给大家。

引用|峰哥亡命天涯

峰哥,你说摇杯子理论是错的,把无限的 iPhone 零件放在一个杯子里,时间无限、零件无限,能摇出一个完整的 iPhone 吗?你给猴子个键盘,时间无限打不出莎士比亚,你说对了,时间无限的话,猴子就能打出莎士比亚的作品。庞加莱回归就是这么定义的。

我跟你说一个很简单的道理:你说把 iPhone 零件放在一起摇不出来。你认为摇的话就是 iPhone 自己组装的吗?iPhone 不是人组装的吗?

地球存在了五十亿年,人类演化到现在十万年,十万年就把 iPhone 摇出来了,那不就是宇宙当中自然摇出来 iPhone 吗?

因为摇的过程不是 iPhone 自己咣咣咣组装,而是先摇出了人,然后人发明了计算机,发明了互联网,发明出芯片,发明出内存,发明出摄像头,最终一顿摇,摇出了 iPhone。

人类从变成直立动物到今天,只用了十万年就把 iPhone 给摇出来了,飞机也是宇宙自己摇出来的。

人类走出东非大裂谷十万年之后,摇出了莱特兄弟,摇出了飞机。莎士比亚不也宇宙摇出来的吗?莎士比亚哪来的?莎士比亚写出了莎士比亚的作品,就是宇宙自然产生的,没有什么特殊的。

你把宇宙想象成一个缸子,不对,这就是银河系,银河系哐哐哐一顿摇,各个星系在转转转的过程当中,地球上产生了生命,产生了生命就产生了人类,产生了莎士比亚之后就产生了莎士比亚的作品。

地球五十亿年,生命产生了几亿年,人类产生十万年,莎士比亚出来了,iPhone 也出来了,飞机也出来了。是不是都出来了?都是这么摇出来的。

所谓“摇出 iPhone”的路径 地球 生命 人类 工业 iPhone 不是零件自己拼装,而是复杂系统层层涌现

不是说宇宙毫无规律地乱摇。

而是说在巨大复杂系统中,局部可以有规律,整体却仍然充满偶然。

1

这让我想到了《上帝掷骰子吗》

我看到这段话的时候,第一反应是想到了《上帝掷骰子吗》这本书。

但我并没有看过这本书。我去简单查了一下,发现它和峰哥这段话其实不是一个方向。它讲的是量子理论发展中关于随机性和确定性的争论;峰哥这段话讲的,则更像是宇宙演化意义上的“随机生成”。

两种“随机性”的不同问题 量子争论 随机性 vs 确定性 世界底层是否掷骰子 宇宙演化 偶然 + 必然 复杂系统如何涌现结果

不是说把一堆 iPhone 零件放在杯子里摇一摇,它们会自己咣咣咣拼成一台手机;而是说宇宙先摇出了地球,地球摇出了生命,生命摇出了人类,人类又摇出了科学、工业、芯片、互联网,最后才摇出了 iPhone。

我觉得挺有意思。

2

努力不是决定结果,而是改变分布

很多事情都是这样。往后看的时候,总会觉得结果有一条清晰的因果链;但站在未来往过去看,其实随机性很大。

高考成绩、期末成绩、遇到的人、演唱会能不能抢到票,其实都是随机的。努力当然有用,但很多具体的结果,还是随机,或者说是运气。

比如高考差那么关键的一两分,有时就是判卷老师某一瞬间的判断。努力更像是在改变概率分布,改变正态分布的中点,而不是直接决定最后的结果。

努力改变的不是“单点”,而是“分布” 原来的中心 努力后的中心 但落点仍会波动

这并不是说一切都靠运气。恰恰相反,越是意识到随机性的存在,越应该知道努力的意义在哪里。

努力是为了让随机发生的时候,自己更可能落在一个好的区间里。

我们控制不了骰子的落点,但至少可以想办法改变骰子的分布。

3

激活函数:伟大结果也常来自试出来

我想到一个很好玩的例子,就是激活函数。

可能我的大部分读者不知道什么是激活函数。感兴趣的当然可以自己查,现在有 AI,获取知识很容易。简单来说,现在的大模型本质上还是基于概率:它根据预训练的结果判断下一个词,也就是 Token,该说什么,而不是真正像个人一样理解你的话再回答你。

而激活函数,就是给模型进行训练的重要一环。

图:SwiGLU 激活函数公式

现在很多大模型里会用到的 SwiGLU,在 Transformer 结构里表现很好,所以后来被很多模型采用。

按理说,这么伟大的研究结果,应该有一套非常漂亮的理论解释,起码是它的原理,也就是说它为什么好。但有意思的是,在那篇著名的论文 GLU Variants Improve Transformer(点击文末'阅读原文'即可跳转论文原文) 的 Conclusions 里,作者写了一句很好玩的话:

论文原句

We offer no explanation as to why these architectures seem to work; we attribute their success, as all else, to divine benevolence.

也就是说:至于这些架构为何有效,我们无法给出解释;我们将它们的成功——连同其他一切——归功于神圣的恩赐,也就是上帝的保佑。

很多时候,人类并不是先拥有一个绝对正确的理论,再从理论中推出一个必然有效的结果。

更多时候是:先有一些直觉,再做实验,发现这个东西好像更好,然后继续用它。至于为什么它更好,后面补出来的解释往往并非全部是真实原因。

这其实就很像峰哥的那个“摇”。

4

局部有规律,整体有偶然

不是说宇宙毫无规律地乱摇,而是说在一个巨大复杂系统中,局部可以有规律,整体却仍然充满偶然。

你可以解释 iPhone 的每一个零件从哪里来、芯片如何设计。但如果继续往前追问:为什么偏偏是地球产生了生命?为什么偏偏是人类走到了这一步?为什么偏偏是这些人、这些国家、这些公司、这些技术路径组合在了一起,最后产生了我们今天使用的 iPhone?

这个问题,就很难用一个确切答案解释清楚了。

复杂系统里的两层视角 局部 零件、工程、公式 可以解释 整体 路径、时代、相遇 充满偶然 确定性不是消失了,而是和随机性叠在一起

所以有时候会觉得,人类对“确定性”的执念太强了。

我们现在看到的一切,都不是凭空出现的,而是在漫长时间里,由无数偶然和必然共同堆叠出来的结果。

写在最后

有时候面对一些困难和烦恼,我会放空自我,想想我之外、城市之外、地球之外。

我在这无垠的宇宙里不过是一粒微小的尘埃,我看来漫长的时间,在宇宙中甚至一刻都算不上。

想到这里,我就会觉得,那眼前的问题还算什么呢?