LLM RAG值得做吗?
J
朗读
只是计算资源而已嘛
又不是都要自己买
rag现在应该是agentic rag了吧。
计算资源巨大吗?
知识库就是文本转向量,嵌入模型,感觉反而都是计算资源比较少,或者最少的了。
进一步向前,是文件(文档)提取文本,这一步可能复杂一点是非结构化的文档的文本化。
你要想搞wikipedia,它有专门的开放接口,下载它的文本。
文本格式的要向量化
llm rag还是有价值的,不过工程价值大过学术价值了
首先一般小的app rag没有必要了,在上下文长度和agent skills的双重夹击下,rag对于很多小项目没有是必要了,徒增结构复杂性。
但是上下文工程一直没有太好的突破,长度一直在一百万tokens。这个方向其实还可以。agent skills主要是通过渐进式披露节约tokens上下文,但是很多时候agent不会调用skills。