上下文导致AI幻觉一例

J
AI+留学专家菊叔
人工智障和AI的幻觉与loop

今天和Grok聊一点技术问题,前端开发的,因为对话轮次表多了点,上下文有点长了,它就产生了幻觉了。

具体下面三张图就讲清楚了。

关于AI幻觉的诞生1-没来由的强调我用pnpm
这里它开始没有来的说我主要用pnpm,如果我主要用pnpm我干嘛特意问它bun的命令呢?
关于AI幻觉的诞生2-我指出来它还不承认
我指出来我不用pnpm,它还要说“你之前对话里确实大量用pnpm add”,所以遇到负面反馈它一开始是否认
关于AI幻觉的诞生-指出来被迫承认
直到我明确指出是它说的那些话里面有大量“pnpm add”,它才承认。

这就证明LLM based AI 不光没有思想,它也没有准确的记忆,当然没有准确的记忆是它没有思想的一个重要的起因。它其实记不清在一个上下文里,那些出现的内容是它自己输出的,还是用户输出的。当然,这个可能可以用harness engineering来改进,比如在用户和AI的output里面各自加入一些明确的归属标记。然后在agent的harness里面,进行工程化,压缩上下文和回收上下文的时候,要明确每一个chunk的归属。

当然这其实应该会死可以做到的,但是Grok是首富马斯克的xAI出品的吗,本来就比ChatGPT和Claude要晚了好几年。而且2026年又创始合伙人集体出走,产品烂也是在所难免的了。

不过这些也很常见的,各种厂家都很常见。

所以现在的LLM based AI,在记忆,上下文,这两个方面还是很难有突破。因为它本身是没有脑子的。按照Yann Lecun的说法,它就是模式拟合,它不会思考,没有智能。

点击转发,手留余香