project
LLM Wiki - カルパシーのオープンソースで自律的に動作する個人知識ベース
LLM Wikiは、Karpathyが立ち上げた自己運用型の個人知識ベースであり、クエリごとにデータをゼロから取得する従来のRAGの限界を打破します。LLM Wikiは、スキーマファイルを通じて構造化されたMarkdown Wikiを積極的に維持し、元のデータを変換することで、LLMをガイドします。
LLM Wikiとは何ですか?
Karpathyが開発した、自己実行型の個人知識ベースであるLLM Wikiは、「クエリごとにゼロから取得する」従来のRAGの限界を打ち破ります。LLM Wikiは、スキーマファイルを通じて構造化されたMarkdown Wikiを積極的に維持管理するようLLMを導き、生データを相互参照や矛盾注釈付きの永続的な知識体系に「コンパイル」します。3層アーキテクチャ(生データ/Wiki/スキーマ)によって支えられ、知識は継続的に蓄積され、使用に伴って成長し、反復的な導出を回避します。人間は質問とキュレーションに集中し、LLMはメンテナンスを担当するため、ObsidianはIDE、Wikiはコードベース、LLMはプログラマーという役割を担います。
LLM Wikiの主な機能
- 知識の取り込み元の資料(PDF、記事など)を
raw/目次では、LLMが重要な情報を自動的に抽出し、要約を作成し、Wiki内のエンティティページ、概念ページ、および関連する相互参照を更新します(1つの情報によって10~15ページの更新がトリガーされる場合があります)。 - インテリジェントクエリコンパイルされたWikiコンテンツに基づいて質問に回答し、出力はMarkdown、比較表、Marpスライド、matplotlibチャートなど、複数の形式をサポートします。
- 衛生検査(糸くず)このシステムは、知識ベース内の矛盾、時代遅れの結論、孤立したページ、引用の欠落などを定期的かつ自動的にチェックし、新たな研究方向を提案します。
- インデックスのメンテナンス自動メンテナンス
index.md(目次、従来のRAGに代わるベクトル検索)log.md(タイムラインログ)は、複雑なデータベースを必要とせずに、中規模の知識管理(約100記事/40万語)をサポートできます。
LLM Wikiの使い方
- 環境準備Obsidianをリーダーとしてインストールし、Claude Codeやその他のLLMエージェントをメンテナーとして準備します。
- ディレクトリを初期化する: 作成する
raw/(オリジナルデータ)wiki/(生成されたコンテンツ)CLAUDE.md(スキーマ構成)フォルダ構造。 - スキーマの設定Karpathy Gistの内容をエージェントにコピーすると、エージェントはWikiの構造、ページ形式、ワークフローを定義する設定ファイルを生成します。
- 入力データ新しいファイルを
raw/その後、ディレクトリはエージェントによって処理され、LLMは重要な情報を自動的に抽出し、それに応じてWikiの概要、エンティティページ、および相互参照を更新します。 - クエリアーカイブエージェントに質問してWikiに基づいた包括的な回答を取得し、最適な回答を新しいページとしてWikiに保存するように指示することで、継続的な知識蓄積を実現します。
- 衛生検査エージェントに対し、ウィキ内の矛盾点、時代遅れの結論、孤立したページなどを定期的に確認し、明確な知識ベースの構造と一貫性のあるコンテンツを維持するよう指示してください。
- 閲覧して使用するObsidianで開く
wiki/フォルダ内の最新情報をリアルタイムで確認したり、双方向リンクをクリックしたり、グラフビューを使用して知識のつながりを探索したりできます。
LLM Wikiの主要情報と利用要件
- 自然これにより、LLMは従来のRAGのように「クエリごとにゼロから取得する」のではなく、継続的に蓄積される構造化された知識ベースを積極的に維持することが可能になります。
- 建築3層構造:raw/(生データ、読み取り専用)→wiki/(LLMによって生成されたMarkdown)→スキーマ(CLAUDE.mdルール設定など)。
- コアオペレーション: 取り込み (データを入力して複数のページを自動的に更新します) → クエリ (Wiki に基づく回答で、アーカイブできます) → リンティング (定期的な健康チェックで矛盾や欠陥を検出します)。
- 主要なメカニズム知識は一度収集されると常に最新の状態に保たれ、相互参照や矛盾する注釈は永続的に保持され、使用されるにつれてより充実していく。
LLM Wikiの主な利点
- 知識の複合化従来のRAG(リソースアクセスグループ)は「クエリごとにゼロから取得され、その後破棄される」という制約があるが、Wikiはそうした制約から脱却し、永続的かつ蓄積的な製品となる。新しい情報は既存の知識ネットワークに自動的に統合され、相互参照や矛盾する注釈が継続的に蓄積される。
- メンテナンスの手間は一切不要です。LLMは、面倒なメンテナンス作業をすべて処理し、関連する10~15ページの自動更新、新旧データの不一致箇所のマーク付け、索引と相互参照の維持管理を行います。これにより、人間はキュレーションと質問に専念でき、手作業による整理は不要になります。
- インフラ建設から免除される中規模プロジェクト100記事/40万語の規模であれば、ベクトルデータベース、埋め込みモデル、複雑なRAGアーキテクチャを必要とせず、Markdownインデックスファイルのみを使用して効率的な検索を実現できるため、技術的なハードルが大幅に低下します。
- 動的自己強化質の高い質問と回答は、ワンクリックで新しいページとしてWikiにアーカイブできます。探索プロセス自体が知識ベースを継続的に充実させ、「利用による成長」という好循環を生み出します。
LLM Wikiプロジェクトのアドレス
- GitHubリポジトリ:https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f
LLM Wikiにおける類似製品の比較
| 比較対象寸法 | LLM Wiki | NotebookLM (RAG代表) |
Mem (AIノート代表) |
|---|---|---|---|
| 知識モデル | アクティブコンパイル、 継続的な蓄積 |
受動的検索、 毎回、ゼロから組み立てていく |
AIが自動的に整理します。 しかし、明示的なコンパイル層は存在しない。 |
| 主なメンテナンス | LLMフルタイムメンテナンス (複数ページの自動更新) (注:矛盾点あり) |
メンテナンス不要 各一時検索 |
AIブラックボックス処理、 ユーザーが介入しにくいルール |
| コアアーキテクチャ | 三層分離: 生データ/(読み取り専用) wiki/(LLMによる執筆) スキーマ(ルール層) |
単層: 元のデータは直接 検索ソース |
二重層: メモの内容 + AI関連 |
| インデックス機構 | Markdownインデックスファイル (中規模ベクターライブラリ) |
ベクター埋め込み + 類似性検索 |
プライベートアルゴリズム (ブラックボックス) |
| カスタマイズ性 | ホワイトボックス制御: 合格 CLAUDE.mdカスタムページフォーマット ルール、ワークフローを更新する |
固定プロセス: 回収に介入できない および生成ロジック |
ブラックボックスの制約: オン/オフ機能のみを備えています。 メンテナンスルールを定義できません |
| 出力沈殿 | 質の高い回答は受け入れられます アーカイブに戻る(Wikiへ戻る) 新しいページを作成する |
答えは消えた 歴史との対話 |
保存できますが 構造の欠如 アーカイブ機構 |
| 技術的閾値 | マークダウンのみ ファイル + オブシディアン |
Googleに頼る インフラストラクチャー |
第三者に依存する クラウドサービス |
LLM Wikiの応用事例
- 自己成長目標、健康状態、精神状態、自己改善の道のりを記録し、日記、記事、ポッドキャストのメモを整理して、自分自身の構造化された認知マップを作成しましょう。
- 学術研究特定のテーマについて数週間から数ヶ月かけて綿密な調査を行い、論文や報告書を読み、進化論的な議論を含む包括的な知識体系を徐々に構築していくこと。
- 読書のお供本を読むときは、章ごとに整理し、登場人物、テーマ、筋書きに関する関連ページを作成し、最終的にはトールキン・ゲートウェイのような包括的な知識ネットワークを構築しましょう。
- 企業/チームの知識ベースSlackの会話、会議議事録、プロジェクト文書、顧客とのコミュニケーション記録を統合し、LLMは社内Wikiをリアルタイムで自動的に維持・更新するため、追加の手作業は一切不要です。