杂谈

最近，Andrej Karpathy 和 Ilya Sutskever 几乎在同一时间，把目光从“堆算力、堆数据”的规模化竞赛，转向了更根本的问题：我们真的找到了让机器像人一样学习、反思和泛化的道路吗？在他们的讨论里，当前围绕强化学习（RL）打造的 LLM 智能，远没有表面上的那样风光，反而暴露出一系列深层缺陷——尤其是在泛化能力和学习机制上。如果说过去十年是“参数上亿、卡片上万”的工程时代，那么他们描述的，是一个重新回到“研究时代”的拐点。 ...

最近一两年，用AI的方式变化得太快了。每当我指望它“一次给出完美答案”，十有八九会失望；可当我把任务拆成几步，允许它犯错、允许我随时插话校准，结果反而稳、而且更快。这件小事让我意识到：我们真正迫切需要的，或许不只是“更强的模型”，而是“更好的协作方式”。 ...

近期看了一些大佬对AI时代软件形态的探讨，记录一些感悟。 编写软件不再只是程序员可以做的酷酷的事。 过去几十年的发展，“机器”的形态发生了巨大变化，现在，LLM本身也变成了“机器”。 ...

今天老师上课提到“Cybernetics”这个词，中文翻译为：控制论。控制论的开山鼻祖是Wiener（上篇文章 提到过他）。 我就好奇，Cybernetics怎么能就翻译成“控制论”了呢？去图书馆查阅了一番，才从第一批引进此书的老一辈科技工作者的文字中，了解到了其中的曲折。 ...