长上下文还是 RAG 2024 Week 13 回顾
Contents
最近有两种观点,其一认为未来应该是更长的上下文,例如 Kimi 的 200 万 Token 上下文;另一种则认为应该是 RAG(Retrieval-Augmented Generation)。
我不太确定这算不算是路线之争——因为容易看出,长上下文意味着更好的无损记忆,而 RAG 意味着更好的推理结果。看起来更像是商业风向之争。
如果非要在这两者之间选一个的话,我觉得 ToC 用户可能会更倾向于选择长上下文;而 ToB 用户则相反。
这可能也意味着商业定位的区别吧。
本文由 ChatGPT 协助完成。图片由 DALL·E 3 生成。
本周的成果
- 做了些事情发现完全没成果
本周的改变
- 稍微改变了一下生活方式
做得还不错
- 作息有明显改善
做得不太好
- 运动量不足
下周的目标
- 把最近的方向修改一下