突然感受到大模型时代沉淀个人知识库的必要性
- 内容介绍
- 文章标签
- 相关推荐
题主是名大四学生，借着实习在公司做毕设。今天在公司上班整理毕设相关创新点和材料时，发现现在的 Agent（我用的是 opencode + ohmyopencode + 白嫖公司的 glm4.7），只要你提供好数据、运行的一些日志，包括完整的代码，把调研任务布置下去，就能帮你很好地搜集全信息并整理出来。虽然 glm4.7 还是有些笨，但配合对话里的 GPT5.4 规划需要收集哪些具体信息，再让它去收集，几乎就能覆盖所有这类工作，做好整理。
在公司和在家里的体验很不一样
这和我在家里的工作体验是截然不同的，因为公司保密原因，代码无法带出，在家时的描述和整理往往带有遗漏与幻觉。很多 AI 能整理出的点，却因为自己口头回忆而无法覆盖，根本原因还是输入的缺失。
于是突然觉得，如果有一个完美的记忆系统、知识系统供 AI 使用，那么很多问题一下就不需要人为解决了，可以专注在更有创造力、更有挑战性的任务上。
这似乎也和最近爆火的龙虾有点联系
个人理解，龙虾除了接入社交软件的亮点，另一个特点就是其记忆系统做得不错，用户的经验沉淀下来后，无需反复强调，从自己的记忆宫殿里搜寻抽取，就能让 AI 复用，按自己的经验执行任务。
为什么 AI 时代，个人经验 / 知识的沉淀必要性大大提升
我想是因为大模型掌握着各个领域的先验知识，虽然无法做到顶尖，但相对普通人来说，对我们不熟悉的领域，它们就是专家。这也就意味着信息差。在通用任务上，大模型表现得必然比我们更好。
最近做的工作也和私域知识有关。我们的代码、数据、经验，遇到的问题、解法，就是我们的私域知识，也是我们相较于大模型的信息差。将这些私域知识组织起来交给它们，相当于让各领域的专家处理各种情况再汇总，自然无往而不利。
但从技术上看，好像也还没有很好解决
于是萌生了建设个人知识库的想法，但从技术上来看，目前 RAG 技术也并非万能。上下文膨胀和全量注入反而会产生幻觉，现在兴起的 skill 通过渐进式披露解决了上下文注入的问题，却也没有解决 RAG 检索准确率的问题。
Agent 的记忆系统也层出不穷，长期记忆、短期记忆，仍然没有一种通论能很好解决知识库不断膨胀时的问题。记忆这件事受限于模型本身的能力，却也不断提升着模型能力的边界。真的会有一种工程上的完美设计吗？
碎碎念，欢迎大家讨论
突然感慨，算是毕设整理中的一点碎碎念。如果有佬友对沉淀个人知识整理，并有效利用这方面有所经验理解，还希望多多指教，也欢迎大家讨论自己的想法。
网友解答：--【壹】--：
https://x.com/karpathy/status/2039805659525644595
karpathy发了个obsidian为基座的LLM-wiki
LLM Knowledge Bases
LLM 知识库
Something I’m finding very useful recently: using LLMs to build personal knowledge bases for various topics of research interest. In this way, a large fraction of my recent token throughput is going less into manipulating code, and more into manipulating knowledge (stored as markdown and images). The latest LLMs are quite good at it. So:
我最近发现一个非常有用的方法：使用 LLMs 来构建个人知识库，涵盖各种研究兴趣的主题。通过这种方式，我最近大部分的 token 吞吐量不再用于操作代码，而是更多地用于操作知识（以 markdown 和图片形式存储）。最新的 LLMs 在这方面表现相当出色。所以：
Data ingest:
I index source documents (articles, papers, repos, datasets, images, etc.) into a raw/ directory, then I use an LLM to incrementally “compile” a wiki, which is just a collection of .md files in a directory structure. The wiki includes summaries of all the data in raw/, backlinks, and then it categorizes data into concepts, writes articles for them, and links them all. To convert web articles into .md files I like to use the Obsidian Web Clipper extension, and then I also use a hotkey to download all the related images to local so that my LLM can easily reference them.
数据摄取：
我将源文档（文章、论文、代码库、数据集、图片等）索引到 raw/ 目录中，然后使用 LLM 逐步“编译”一个 wiki，它只是一个目录结构中的 .md 文件集合。该 wiki 包含 raw/ 中所有数据的摘要、反向链接，然后将数据分类到概念中，为它们撰写文章，并将它们全部链接起来。为了将网络文章转换为 .md 文件，我喜欢使用 Obsidian Web Clipper 扩展，然后我还使用一个热键将所有相关的图片下载到本地，以便我的 LLM 可以轻松引用它们。
IDE:
I use Obsidian as the IDE “frontend” where I can view the raw data, the the compiled wiki, and the derived visualizations. Important to note that the LLM writes and maintains all of the data of the wiki, I rarely touch it directly. I’ve played with a few Obsidian plugins to render and view data in other ways (e.g. Marp for slides).
IDE：
我使用 Obsidian 作为 IDE 的“前端”，在这里我可以查看原始数据、编译后的维基以及派生的可视化。需要注意的是，LLM 负责编写和维护维基的所有数据，我很少直接操作它。我尝试过一些 Obsidian 插件来以其他方式渲染和查看数据（例如，使用 Marp 制作幻灯片）。
Q&A:
Where things get interesting is that once your wiki is big enough (e.g. mine on some recent research is ~100 articles and ~400K words), you can ask your LLM agent all kinds of complex questions against the wiki, and it will go off, research the answers, etc. I thought I had to reach for fancy RAG, but the LLM has been pretty good about auto-maintaining index files and brief summaries of all the documents and it reads all the important related data fairly easily at this ~small scale.
问答：
有趣之处在于，一旦你的维基足够大（例如，我最近研究的维基大约有 100 篇文章，约 40 万字），你就可以向你的 LLM 代理询问各种复杂的关于维基的问题，它会自行研究答案等等。我曾以为我必须使用复杂的 RAG，但在这个较小的规模下，LLM 在自动维护索引文件和所有文档的简要摘要方面表现相当不错，并且能够相当轻松地读取所有重要的相关数据。
Output:
Instead of getting answers in text/terminal, I like to have it render markdown files for me, or slide shows (Marp format), or matplotlib images, all of which I then view again in Obsidian. You can imagine many other visual output formats depending on the query. Often, I end up “filing” the outputs back into the wiki to enhance it for further queries. So my own explorations and queries always “add up” in the knowledge base.
输出：
我喜欢让它渲染 markdown 文件、幻灯片（Marp 格式）或 matplotlib 图片，而不是在文本/终端中获取答案，然后我会在 Obsidian 中再次查看它们。你可以想象根据查询还有许多其他的可视化输出格式。我经常将输出“归档”回维基百科，以增强其以供进一步查询。因此，我自己的探索和查询总是会“累加”到知识库中。
Linting:
I’ve run some LLM “health checks” over the wiki to e.g. find inconsistent data, impute missing data (with web searchers), find interesting connections for new article candidates, etc., to incrementally clean up the wiki and enhance its overall data integrity. The LLMs are quite good at suggesting further questions to ask and look into.
代码检查：
我运行了一些 LLM 对维基百科进行的“健康检查”，例如查找不一致的数据、填补缺失的数据（通过网络搜索）、为新的文章候选者寻找有趣的联系等，以逐步清理维基百科并增强其整体数据完整性。LLMs 在提出进一步要问和要研究的问题方面做得相当不错。
Extra tools:
I find myself developing additional tools to process the data, e.g. I vibe coded a small and naive search engine over the wiki, which I both use directly (in a web ui), but more often I want to hand it off to an LLM via CLI as a tool for larger queries.
附加工具：
我发现自己正在开发额外的工具来处理数据，例如，我用 Vibe 编码了一个简单粗糙的维基百科搜索引擎，我既可以直接使用它（通过 Web UI），但更常的是，我希望通过 CLI 将它交给 LLM，作为处理更复杂查询的工具。
Further explorations:
As the repo grows, the natural desire is to also think about synthetic data generation + finetuning to have your LLM “know” the data in its weights instead of just context windows.
进一步探索：
随着代码库的增长，自然而然的想法是也考虑合成数据生成 + 微调，让你的 LLM “知道”数据并将其存储在权重中，而不仅仅是上下文窗口。
TLDR: raw data from a given number of sources is collected, then compiled by an LLM into a .md wiki, then operated on by various CLIs by the LLM to do Q&A and to incrementally enhance the wiki, and all of it viewable in Obsidian. You rarely ever write or edit the wiki manually, it’s the domain of the LLM. I think there is room here for an incredible new product instead of a hacky collection of scripts.
简而言之：从给定数量的来源收集原始数据，然后由 LLM 编译成 .md 维基，接着由 LLM 通过各种 CLI 进行操作，以实现问答和逐步增强维基，所有这些都可以在 Obsidian 中查看。你很少手动编写或编辑维基，这是 LLM 的领域。我认为这里有潜力打造一款令人难以置信的新产品，而不是一堆拼凑起来的脚本。
--【贰】--：
我之前也有想法整个个人的ai知识库，但是我发现整理到知识库的内容过段时间就会过时，现在的问题是新的东西在快速的不断的出现，而旧的东西是有可能成为脏数据的。
--【叁】--：
码住，这是真专业
--【肆】--：
收藏一下，明天继续看
--【伍】--：
佬能分享下这个方案如何集成Agent吗， 非常适合后续回溯然后迭代优化skill
--【陆】--：
最近一直在想用obsidian做一个个人知识库，蹲一个大佬分享
--【柒】--：
我目前比较注重的是对复杂任务的回顾和提炼、总结。大概流程是在工作过程中，将Obsidian的白板到副屏，然后为本次任务创建一个空白白板文件，然后明确本次任务的目的和核心。
每次面临决策就会在白板产生记录，包括当时用到的文章/图像和其他资料等。这样等待任务完成后，自己就可以通过白板来清晰的回顾，这个任务产生了多次我觉得值得记录的内容，犯了多少错等等，这样都能成为经验来源或进一步增强已有的经验在自己的印象。
在任务结束后，如果我觉得这个白板值得被提炼出笔记，我会在Notion里的项目方案，针对本次任务做完整的回顾、结合白板来随时进入当时任务的不同阶段，考虑更详细的内容。
但以上的事情，其实更多是给人看，没有给Agent用。给Agent用我更多是另一套方案，结合了Agent 记忆工具、Git、各种 file-base 的资料。
--【捌】--：
越是独特、难以获取的知识（比如自己的经验等等），越是有沉淀的必要。目前大模型更多地是能帮助我们快速获取那些比较大众化的知识。
目前我ob里有1.6万+篇笔记，我个人感觉渐进式披露和信息组织/检索领域做的事非常相似，都是基于用户需求->查找代表对应内容的符号标识->找到对应内容。
基于这个逻辑，我维护个人知识库的方法就很简单：把需要沉淀的内容按主题拆分，同一种主题的内容都汇总进一个文件中，并用文件标题代表主题。这样无论是个人还是ai，需要应用某个方面的知识的时候，就能快速通过文件标题查到比较完整的对应内容。
--【玖】--：
回到到构建个人知识库的思考，我其实认为，我需要的不是知识库，知识库到最终为我解决的，是提供一种能力，一种解决已经解决过的问题的能力。
所以底层需求，不是记录，而是输出，如果有更好的方式能驱动更好的输出，个人知识库其实对我来说，反倒不是那么重要了…
我更多是想没事看看自己的碎碎念
--【拾】--：
我也尝试过obsidian，但是用几次就懒得维护了……感觉上属于旧时代的产品，没有很好的适应上AI的快车。
核心区分点是，过去的知识库是帮你记录，需要承担给你自己看的作用，但AI用的知识库还需要给用户看么，本质上只要记忆能力更强就可以，不需要那么重量级的用户交互功能了
--【拾壹】--：
image733×553 25.2 KB
一个任务完成大概是长这样的，回溯真的很方便诶!!!
--【拾贰】--：
本月初Karpathy提出来llm-wiki的概念之后，已经出了好多项目，能用skills来驱动wiki建立，然后拿Obsidian当前端就可以了
--【拾叁】--： Delthin:
karpathy
最近也读到这篇文章了，而且现在 obsidian 也开始支持 cli 了。
最近还在想有没有可能让 vscode 作为知识生产的工具呢？这样一来 vscode IDE 就可以作为知识搜集、整理、输出的统一的交互接口了
--【拾肆】--：
蹲一手，目前每天写日记也算是个人知识库的一种吧
--【拾伍】--：
然后维护个人知识库又成了一件超大型系统工程……
题主是名大四学生，借着实习在公司做毕设。今天在公司上班整理毕设相关创新点和材料时，发现现在的 Agent（我用的是 opencode + ohmyopencode + 白嫖公司的 glm4.7），只要你提供好数据、运行的一些日志，包括完整的代码，把调研任务布置下去，就能帮你很好地搜集全信息并整理出来。虽然 glm4.7 还是有些笨，但配合对话里的 GPT5.4 规划需要收集哪些具体信息，再让它去收集，几乎就能覆盖所有这类工作，做好整理。
在公司和在家里的体验很不一样
这和我在家里的工作体验是截然不同的，因为公司保密原因，代码无法带出，在家时的描述和整理往往带有遗漏与幻觉。很多 AI 能整理出的点，却因为自己口头回忆而无法覆盖，根本原因还是输入的缺失。
于是突然觉得，如果有一个完美的记忆系统、知识系统供 AI 使用，那么很多问题一下就不需要人为解决了，可以专注在更有创造力、更有挑战性的任务上。
这似乎也和最近爆火的龙虾有点联系
个人理解，龙虾除了接入社交软件的亮点，另一个特点就是其记忆系统做得不错，用户的经验沉淀下来后，无需反复强调，从自己的记忆宫殿里搜寻抽取，就能让 AI 复用，按自己的经验执行任务。
为什么 AI 时代，个人经验 / 知识的沉淀必要性大大提升
我想是因为大模型掌握着各个领域的先验知识，虽然无法做到顶尖，但相对普通人来说，对我们不熟悉的领域，它们就是专家。这也就意味着信息差。在通用任务上，大模型表现得必然比我们更好。
最近做的工作也和私域知识有关。我们的代码、数据、经验，遇到的问题、解法，就是我们的私域知识，也是我们相较于大模型的信息差。将这些私域知识组织起来交给它们，相当于让各领域的专家处理各种情况再汇总，自然无往而不利。
但从技术上看，好像也还没有很好解决
于是萌生了建设个人知识库的想法，但从技术上来看，目前 RAG 技术也并非万能。上下文膨胀和全量注入反而会产生幻觉，现在兴起的 skill 通过渐进式披露解决了上下文注入的问题，却也没有解决 RAG 检索准确率的问题。
Agent 的记忆系统也层出不穷，长期记忆、短期记忆，仍然没有一种通论能很好解决知识库不断膨胀时的问题。记忆这件事受限于模型本身的能力，却也不断提升着模型能力的边界。真的会有一种工程上的完美设计吗？
碎碎念，欢迎大家讨论
突然感慨，算是毕设整理中的一点碎碎念。如果有佬友对沉淀个人知识整理，并有效利用这方面有所经验理解，还希望多多指教，也欢迎大家讨论自己的想法。
网友解答：--【壹】--：
https://x.com/karpathy/status/2039805659525644595
karpathy发了个obsidian为基座的LLM-wiki
LLM Knowledge Bases
LLM 知识库
Something I’m finding very useful recently: using LLMs to build personal knowledge bases for various topics of research interest. In this way, a large fraction of my recent token throughput is going less into manipulating code, and more into manipulating knowledge (stored as markdown and images). The latest LLMs are quite good at it. So:
我最近发现一个非常有用的方法：使用 LLMs 来构建个人知识库，涵盖各种研究兴趣的主题。通过这种方式，我最近大部分的 token 吞吐量不再用于操作代码，而是更多地用于操作知识（以 markdown 和图片形式存储）。最新的 LLMs 在这方面表现相当出色。所以：
Data ingest:
I index source documents (articles, papers, repos, datasets, images, etc.) into a raw/ directory, then I use an LLM to incrementally “compile” a wiki, which is just a collection of .md files in a directory structure. The wiki includes summaries of all the data in raw/, backlinks, and then it categorizes data into concepts, writes articles for them, and links them all. To convert web articles into .md files I like to use the Obsidian Web Clipper extension, and then I also use a hotkey to download all the related images to local so that my LLM can easily reference them.
数据摄取：
我将源文档（文章、论文、代码库、数据集、图片等）索引到 raw/ 目录中，然后使用 LLM 逐步“编译”一个 wiki，它只是一个目录结构中的 .md 文件集合。该 wiki 包含 raw/ 中所有数据的摘要、反向链接，然后将数据分类到概念中，为它们撰写文章，并将它们全部链接起来。为了将网络文章转换为 .md 文件，我喜欢使用 Obsidian Web Clipper 扩展，然后我还使用一个热键将所有相关的图片下载到本地，以便我的 LLM 可以轻松引用它们。
IDE:
I use Obsidian as the IDE “frontend” where I can view the raw data, the the compiled wiki, and the derived visualizations. Important to note that the LLM writes and maintains all of the data of the wiki, I rarely touch it directly. I’ve played with a few Obsidian plugins to render and view data in other ways (e.g. Marp for slides).
IDE：
我使用 Obsidian 作为 IDE 的“前端”，在这里我可以查看原始数据、编译后的维基以及派生的可视化。需要注意的是，LLM 负责编写和维护维基的所有数据，我很少直接操作它。我尝试过一些 Obsidian 插件来以其他方式渲染和查看数据（例如，使用 Marp 制作幻灯片）。
Q&A:
Where things get interesting is that once your wiki is big enough (e.g. mine on some recent research is ~100 articles and ~400K words), you can ask your LLM agent all kinds of complex questions against the wiki, and it will go off, research the answers, etc. I thought I had to reach for fancy RAG, but the LLM has been pretty good about auto-maintaining index files and brief summaries of all the documents and it reads all the important related data fairly easily at this ~small scale.
问答：
有趣之处在于，一旦你的维基足够大（例如，我最近研究的维基大约有 100 篇文章，约 40 万字），你就可以向你的 LLM 代理询问各种复杂的关于维基的问题，它会自行研究答案等等。我曾以为我必须使用复杂的 RAG，但在这个较小的规模下，LLM 在自动维护索引文件和所有文档的简要摘要方面表现相当不错，并且能够相当轻松地读取所有重要的相关数据。
Output:
Instead of getting answers in text/terminal, I like to have it render markdown files for me, or slide shows (Marp format), or matplotlib images, all of which I then view again in Obsidian. You can imagine many other visual output formats depending on the query. Often, I end up “filing” the outputs back into the wiki to enhance it for further queries. So my own explorations and queries always “add up” in the knowledge base.
输出：
我喜欢让它渲染 markdown 文件、幻灯片（Marp 格式）或 matplotlib 图片，而不是在文本/终端中获取答案，然后我会在 Obsidian 中再次查看它们。你可以想象根据查询还有许多其他的可视化输出格式。我经常将输出“归档”回维基百科，以增强其以供进一步查询。因此，我自己的探索和查询总是会“累加”到知识库中。
Linting:
I’ve run some LLM “health checks” over the wiki to e.g. find inconsistent data, impute missing data (with web searchers), find interesting connections for new article candidates, etc., to incrementally clean up the wiki and enhance its overall data integrity. The LLMs are quite good at suggesting further questions to ask and look into.
代码检查：
我运行了一些 LLM 对维基百科进行的“健康检查”，例如查找不一致的数据、填补缺失的数据（通过网络搜索）、为新的文章候选者寻找有趣的联系等，以逐步清理维基百科并增强其整体数据完整性。LLMs 在提出进一步要问和要研究的问题方面做得相当不错。
Extra tools:
I find myself developing additional tools to process the data, e.g. I vibe coded a small and naive search engine over the wiki, which I both use directly (in a web ui), but more often I want to hand it off to an LLM via CLI as a tool for larger queries.
附加工具：
我发现自己正在开发额外的工具来处理数据，例如，我用 Vibe 编码了一个简单粗糙的维基百科搜索引擎，我既可以直接使用它（通过 Web UI），但更常的是，我希望通过 CLI 将它交给 LLM，作为处理更复杂查询的工具。
Further explorations:
As the repo grows, the natural desire is to also think about synthetic data generation + finetuning to have your LLM “know” the data in its weights instead of just context windows.
进一步探索：
随着代码库的增长，自然而然的想法是也考虑合成数据生成 + 微调，让你的 LLM “知道”数据并将其存储在权重中，而不仅仅是上下文窗口。
TLDR: raw data from a given number of sources is collected, then compiled by an LLM into a .md wiki, then operated on by various CLIs by the LLM to do Q&A and to incrementally enhance the wiki, and all of it viewable in Obsidian. You rarely ever write or edit the wiki manually, it’s the domain of the LLM. I think there is room here for an incredible new product instead of a hacky collection of scripts.
简而言之：从给定数量的来源收集原始数据，然后由 LLM 编译成 .md 维基，接着由 LLM 通过各种 CLI 进行操作，以实现问答和逐步增强维基，所有这些都可以在 Obsidian 中查看。你很少手动编写或编辑维基，这是 LLM 的领域。我认为这里有潜力打造一款令人难以置信的新产品，而不是一堆拼凑起来的脚本。
--【贰】--：
我之前也有想法整个个人的ai知识库，但是我发现整理到知识库的内容过段时间就会过时，现在的问题是新的东西在快速的不断的出现，而旧的东西是有可能成为脏数据的。
--【叁】--：
码住，这是真专业
--【肆】--：
收藏一下，明天继续看
--【伍】--：
佬能分享下这个方案如何集成Agent吗， 非常适合后续回溯然后迭代优化skill
--【陆】--：
最近一直在想用obsidian做一个个人知识库，蹲一个大佬分享
--【柒】--：
我目前比较注重的是对复杂任务的回顾和提炼、总结。大概流程是在工作过程中，将Obsidian的白板到副屏，然后为本次任务创建一个空白白板文件，然后明确本次任务的目的和核心。
每次面临决策就会在白板产生记录，包括当时用到的文章/图像和其他资料等。这样等待任务完成后，自己就可以通过白板来清晰的回顾，这个任务产生了多次我觉得值得记录的内容，犯了多少错等等，这样都能成为经验来源或进一步增强已有的经验在自己的印象。
在任务结束后，如果我觉得这个白板值得被提炼出笔记，我会在Notion里的项目方案，针对本次任务做完整的回顾、结合白板来随时进入当时任务的不同阶段，考虑更详细的内容。
但以上的事情，其实更多是给人看，没有给Agent用。给Agent用我更多是另一套方案，结合了Agent 记忆工具、Git、各种 file-base 的资料。
--【捌】--：
越是独特、难以获取的知识（比如自己的经验等等），越是有沉淀的必要。目前大模型更多地是能帮助我们快速获取那些比较大众化的知识。
目前我ob里有1.6万+篇笔记，我个人感觉渐进式披露和信息组织/检索领域做的事非常相似，都是基于用户需求->查找代表对应内容的符号标识->找到对应内容。
基于这个逻辑，我维护个人知识库的方法就很简单：把需要沉淀的内容按主题拆分，同一种主题的内容都汇总进一个文件中，并用文件标题代表主题。这样无论是个人还是ai，需要应用某个方面的知识的时候，就能快速通过文件标题查到比较完整的对应内容。
--【玖】--：
回到到构建个人知识库的思考，我其实认为，我需要的不是知识库，知识库到最终为我解决的，是提供一种能力，一种解决已经解决过的问题的能力。
所以底层需求，不是记录，而是输出，如果有更好的方式能驱动更好的输出，个人知识库其实对我来说，反倒不是那么重要了…
我更多是想没事看看自己的碎碎念
--【拾】--：
我也尝试过obsidian，但是用几次就懒得维护了……感觉上属于旧时代的产品，没有很好的适应上AI的快车。
核心区分点是，过去的知识库是帮你记录，需要承担给你自己看的作用，但AI用的知识库还需要给用户看么，本质上只要记忆能力更强就可以，不需要那么重量级的用户交互功能了
--【拾壹】--：
image733×553 25.2 KB
一个任务完成大概是长这样的，回溯真的很方便诶!!!
--【拾贰】--：
本月初Karpathy提出来llm-wiki的概念之后，已经出了好多项目，能用skills来驱动wiki建立，然后拿Obsidian当前端就可以了
--【拾叁】--： Delthin:
karpathy
最近也读到这篇文章了，而且现在 obsidian 也开始支持 cli 了。
最近还在想有没有可能让 vscode 作为知识生产的工具呢？这样一来 vscode IDE 就可以作为知识搜集、整理、输出的统一的交互接口了
--【拾肆】--：
蹲一手，目前每天写日记也算是个人知识库的一种吧
--【拾伍】--：
然后维护个人知识库又成了一件超大型系统工程……