Sakana AIの「Doc-to-LoRA」は、ドキュメントをLoRAアダプタに圧縮することで、VRAM消費を12GB超からわずか50MB未満へと240倍以上削減し、1秒未満で専門知識をLLMに内在化する革新的技術です。
- VRAM 240倍削減：128Kトークンの文書で12GB超のKVキャッシュが必要だったところを、50MB未満のLoRAアダプタに圧縮
- 1秒未満の内在化：従来のコンテキスト蒸留（40〜100秒以上）に対し、ハイパーネットワークの1回のフォワードパスで完了
- フルコンテキスト比83.5%の精度：SQuADベンチマークでRAGなし・ドキュメントなしの状態でこの精度を実現
この記事の対象：AIエージェント・LLMの実践的活用を検討している開発者、エッジAI・オンデバイスAIに関心のあるエンジニア、AI技術の投資判断に携わるビジネスリーダー
難易度：中級〜上級（LoRA・Transformerの基礎知識があるとより深く理解できます）
2026年2月27日、東京拠点のAIスタートアップSakana AIが「Doc-to-LoRA」と「Text-to-LoRA」を同時発表しました。いずれもハイパーネットワークを用いてLLMを瞬時にカスタマイズする手法であり、従来のRAG（検索拡張生成）やファインチューニングとは根本的に異なるアプローチを提示しています。
本記事では、Doc-to-LoRAの技術的仕組みを詳細に解説し、既存手法との定量的な比較、実践的な導入ガイド、そして日本のAIエコシステムにおける戦略的意味を多角的に分析します。
Sakana AI（サカナAI）は2023年に東京で設立されたAI研究開発企業です。「自然界にインスパイアされた知能（Nature-Inspired Intelligence）」をミッションに掲げ、既存のTransformerアーキテクチャにとらわれない次世代AI技術の研究を行っています。
創業チーム
創業メンバーの経歴が、この企業の技術力の裏付けとなっています。
- David Ha（CEO）：元Google Brain研究ディレクター、元Stability AI研究責任者。進化的計算や神経科学にインスパイアされたAIモデルの研究で知られます。
- Llion Jones（CTO）：2017年の歴史的論文「Attention Is All You Need」の共著者であり、「Transformer」という名称の命名者。現代のGPT・Claude・Geminiなど主要LLMの基盤技術を生み出した人物の一人です。
- Ren Ito（COO）：事業開発とオペレーションを統括。
資金調達と企業価値
| ラウンド | 調達額 | 企業価値 | 主要投資家 |
|---|---|---|---|
| Seed（2024年初頭） | $30M | 非公開 | Lux Capital, Khosla Ventures, JAFCO |
| Series A（2024年） | $214M | $1.5B | MUFG, SMBC, みずほ, KDDI, NVIDIA |
| Series B（2025年11月） | $135M | $2.65B | MPower Partners, In-Q-Tel, 既存投資家 |
| 累計 | $479M+ | $2.65B | 日本の非上場スタートアップとして過去最高 |
設立からわずか2年で日本最高評価のユニコーン企業となったSakana AIは、MUFGとの金融AI開発パートナーシップを結んでおり、2026年には防衛・銀行・産業製造・政府サービスへの展開を計画しています。投資家にはCIA関連のベンチャーキャピタルであるIn-Q-Telも含まれ、安全保障分野からも注目されていることがわかります。
主要な研究成果
Sakana AIはDoc-to-LoRA以前にも、注目すべき研究成果を複数発表しています。2024年初頭には、複数の既存AIモデルを「交配」させて新しいモデルを生成する手法を開発し、AIモデル開発の民主化に向けた取り組みとして注目を集めました。2025年5月には「Continuous Thought Machines（CTM）」を発表し、ニューロン活動の時間的同期を活用した従来のTransformerとは全く異なる新しいニューラルネットワークアーキテクチャを提案しています。こうした一連の研究は、「既存の枠組みにとらわれない」というSakana AIの企業理念を体現するものです。
Doc-to-LoRAの技術的仕組み — なぜVRAMを240倍削減できるのか
Doc-to-LoRAの核心は、「ドキュメントを毎回コンテキストウィンドウに入れる」という従来のパラダイムを根本から覆す点にあります。代わりに、ドキュメントの知識をモデルの重みに直接焼き込む（内在化する）ことで、推論時にドキュメントを参照する必要をなくします。
アーキテクチャの概要
Doc-to-LoRA（D2L）は、Perceiverベースのハイパーネットワークで構成されています。主要なアーキテクチャパラメータは以下の通りです。
| コンポーネント | 仕様 |
|---|---|
| ハイパーネットワーク | Perceiverベース、8層クロスアテンションブロック |
| パラメータ数 | 約309M（3億900万）パラメータ |
| 対象モデル | Gemma-2-2b-it（MLPレイヤー） |
| LoRAランク | Rank-8行列 |
| 処理モード | バッチ（高速）/ イテレーティブ（低メモリ） |
LoRA（Low-Rank Adaptation）とは
Doc-to-LoRAの理解に不可欠な前提知識として、LoRA（Low-Rank Adaptation）について簡単に説明します。LoRAは2021年にMicrosoftが提案した手法で、大規模言語モデルの全パラメータを更新する代わりに、低ランクの小さな行列ペア（行列AとB）のみを学習させることで、モデルの振る舞いを効率的に変更します。例えば、10億パラメータのモデル全体を更新する代わりに、数百万パラメータの小さな「アダプタ」だけを追加・更新するイメージです。これにより計算コストが劇的に削減されます。Doc-to-LoRAは、このLoRAアダプタを「学習」ではなく「生成」するという点で、従来のLoRAの概念をさらに一段進化させています。
処理フローの詳細
Doc-to-LoRAの動作は、概念的に以下の3ステップで表現できます。
- ドキュメントのチャンキング：入力ドキュメントを連続するチャンクに分割します。各チャンクはハイパーネットワークの入力サイズに適合するよう調整されます。
- LoRA行列の生成：各チャンクをハイパーネットワークに通し、1回のフォワードパスでLoRA行列（低ランク適応行列）を生成します。複数チャンクの場合は、ランク次元に沿って連結（concatenate）することで、実効ランク r × K のアダプタを構成します。
- モデルへの適用：生成されたLoRAアダプタをベースモデルのMLPレイヤーに適用し、ドキュメントの知識を重みレベルで内在化します。
このプロセス全体が1秒未満で完了します。従来のコンテキスト蒸留（Context Distillation）が40〜100秒以上を要するのと比較すると、桁違いの高速化です。
なぜ240倍のVRAM削減が可能なのか
通常のLLM推論では、長いドキュメントをコンテキストに含めるとKVキャッシュが膨大なVRAMを消費します。128Kトークンの文書を処理する場合、KVキャッシュだけで12GB以上のVRAMが必要です。
Doc-to-LoRAは、このKVキャッシュを完全に不要にします。ドキュメントの知識はLoRAアダプタ（約50MB未満）としてモデルの重みに埋め込まれるため、推論時のメモリ消費は定数です。ドキュメントの長さに関係なく、追加メモリは常に50MB未満で一定となります。
計算例：VRAM削減率
従来方式（128Kトークン文書）:
KVキャッシュ: 12,000 MB以上
→ 消費者向けGPUでは処理困難
Doc-to-LoRA:
LoRAアダプタ: ~50 MB（固定）
→ 削減率: 12,000 / 50 = 240倍
※ドキュメント長が増えても追加メモリは一定
メタ学習による「一度学習、何度でも生成」パラダイム
Doc-to-LoRAの重要な設計原則は、コストの償却（amortization）にあります。ハイパーネットワークのメタ学習（事前訓練）は計算コストが高いものの、一度だけ行えばよい作業です。運用フェーズでは、任意のドキュメントに対して1回のフォワードパスでLoRAを生成できるため、ドキュメントの数が増えるほど1件あたりのコストは劇的に低下します。
ベンチマーク比較 — RAG vs ファインチューニング vs Doc-to-LoRA
Doc-to-LoRAの実用的価値を正確に評価するには、既存の主要手法との定量比較が不可欠です。以下に、3つのベンチマークでの結果を整理します。
SQuAD（短文コンテキストQA）
| 手法 | 精度（対フルコンテキスト比） | 更新時間 | メモリ使用量 |
|---|---|---|---|
| フルコンテキスト（上限） | 100% | N/A（毎回全文入力） | 12GB+ |
| Oracle Context Distillation | ~90% | ~40秒 | ~40GB |
| Generated-Query CD | ~85% | 100秒+ | 7GB+ |
| Doc-to-LoRA | 83.5% | <1秒 | ~1GB |
精度83.5%はフルコンテキストに対して16.5ポイントの差がありますが、更新時間は40倍以上高速、メモリ消費は12分の1以下です。
Needle-in-a-Haystack（NIAH）：長文検索テスト
NIAHは、大量のテキストの中に埋め込まれた特定の情報を正確に取り出せるかを測定するベンチマークです。Doc-to-LoRAは以下の注目すべき結果を示しました。
- ベースモデルの4倍のコンテキスト長に対応：訓練時は最大256トークンの系列しか使用していないにもかかわらず、約40Kトークンまでほぼ完璧な精度を維持
- ゼロショット汎化：未見のコンテキスト長に対しても安定した性能を発揮
- 一定のメモリ消費：コンテキスト長が8Kでも128Kでも、Doc-to-LoRAのメモリ消費は50MB未満で一定（ベースモデルは128Kで12GB以上に膨張）
長文コンテキストQA
32Kトークンまでのタスクにおいて、Doc-to-LoRAはフルコンテキスト比85%の相対精度を達成しています。Oracle Context Distillationと同等以上の精度を、1/40以下のレイテンシと大幅に少ないメモリで実現しています。
総合比較表：実務での選定指針
| 評価軸 | RAG | ファインチューニング | Doc-to-LoRA |
|---|---|---|---|
| VRAM消費 | 12GB+（検索+推論） | 24GB+（学習時） | ~50MB |
| 知識更新速度 | 即時（インデックス更新） | 数時間〜数日 | <1秒 |
| 推論コスト | 高い（検索+長文入力） | 低い（学習後） | 非常に低い |
| 精度 | ~95%（チャンク品質依存） | ~90%（データ品質依存） | ~83.5% |
| エッジデバイス適性 | 困難 | 困難 | 優秀 |
| 知識の動的更新 | 容易 | 困難（再学習必要） | 容易（再生成1秒） |
Doc-to-LoRAは精度面ではRAGに及ばないものの、メモリ効率・速度・エッジ適性の3つの軸で圧倒的な優位性を持っています。特に「静的な知識を高速かつ低コストで内在化する」ユースケースでは、RAGの代替として十分に機能します。
Text-to-LoRA（ICML 2025） — テキスト1文からLoRAを生成する発展技術
Doc-to-LoRAと同時に発表された「Text-to-LoRA」は、Doc-to-LoRAの概念をさらに発展させた技術です。こちらはICML 2025（機械学習分野の最難関国際会議の一つ）に採択されています。
Doc-to-LoRAとの違い
Doc-to-LoRAが「ドキュメント → LoRA」の変換を行うのに対し、Text-to-LoRAは「タスクの自然言語記述 → LoRA」の変換を実現します。
入力の違い
Doc-to-LoRA:
入力: 技術文書、マニュアル、論文（数千〜数万トークン）
出力: 知識を内在化したLoRAアダプタ
Text-to-LoRA:
入力: "医療分野の質問応答に特化させて"（1文）
出力: タスクに最適化されたLoRAアダプタ
技術的仕様
- ベースモデル：Mistral-7B-Instruct
- LoRA対象：q_proj / v_projレイヤー、全レイヤーに対してRank-8（アダプタパラメータ数 約340万）
- 訓練データ：Lots-of-LoRAsデータセットから479タスク
- 訓練手法：再構成訓練（既存のLoRAアダプタの復元）+ SFT訓練（下流タスクでのエンドツーエンド損失最適化）
ゼロショット汎化の実現
Text-to-LoRAの最も注目すべき特性は、訓練時に見ていないタスクに対してもLoRAを生成できる点です。自然言語のタスク記述から、そのタスクに適したアダプタをゼロショットで生成します。研究チームは、ハイパーネットワークのスケールと訓練データ量に比例して汎化性能が向上する明確なスケーリング傾向を確認しています。
この技術が意味するのは、ファインチューニングの民主化です。従来は大量の訓練データ、高価なGPU、MLエンジニアリングの専門知識が必要だったモデルのカスタマイズが、自然言語による指示1つで可能になります。
クロスモーダルな応用可能性
Doc-to-LoRAの研究では、興味深い副次的発見も報告されています。VLM（Vision-Language Model）でエンコードした画像情報をLoRAアダプタとして生成し、テキストのみのモデルに適用したところ、Imagenette分類タスクで75.03%の精度を達成しました。これは、Doc-to-LoRAの枠組みが視覚情報をテキストモデルの重みに転写するクロスモーダルな知識転送にも応用できる可能性を示唆しています。将来的には、画像・音声・映像といったマルチモーダルな情報源からLoRAアダプタを生成するような発展が期待されます。
実践ガイド — Doc-to-LoRAの導入ステップと要件
Sakana AIはDoc-to-LoRAのソースコードとプリトレーニング済みモデルをGitHubおよびHugging Faceで公開しています。以下に実際の導入手順を示します。
必要環境
- Python：Python 3.10以上を推奨
- パッケージマネージャ：
uv（Astral社製の高速Pythonパッケージマネージャ） - GPU：CUDA対応GPU（推論時は4GB以上のVRAMで動作可能）
- Hugging Face：事前学習済みモデルのダウンロードにアカウントが必要
セットアップ手順
# 1. uvのインストール
curl -LsSf https://astral.sh/uv/install.sh | sh
# 2. リポジトリのクローンとセットアップ
git clone https://github.com/SakanaAI/doc-to-lora.git
cd doc-to-lora
./install.sh
# 3. Hugging Faceへのログインとモデルダウンロード
uv run huggingface-cli login
uv run huggingface-cli download SakanaAI/doc-to-lora --local-dir trained_d2l
# 4. インタラクティブデモの起動
uv run demo/app.py
Python APIでの基本的な使用方法
# チェックポイントの読み込み
from doc_to_lora import ModulatedPretrainedModel
model = ModulatedPretrainedModel.from_pretrained("trained_d2l")
# ドキュメントの内在化（1秒未満で完了）
document = "ここに内在化したいドキュメントのテキストを入力..."
model.internalize(document)
# 内在化後の推論（ドキュメントはコンテキストに含めない）
response = model.generate("ドキュメントに関する質問")
print(response)
実運用での推奨パターン
- バッチ処理：複数ドキュメントを一括でLoRA化する場合は、バッチモードを使用して処理効率を最大化します
- アダプタの保存：生成したLoRAアダプタはファイルとして保存し、再利用することでハイパーネットワークの再実行を回避できます
- 複数ドキュメントの統合：チャンキングメカニズムにより、複数チャンクのLoRAをランク次元で連結し、より多くの知識を1つのアダプタに統合できます
- RAGとのハイブリッド運用：精度が特に重要な質問にはRAGを使用し、速度重視の一次スクリーニングにはDoc-to-LoRAを使用するなど、ユースケースに応じた使い分けが効果的です
対応モデルとエコシステム
現時点のリファレンス実装ではGemma-2-2b-itがベースモデルとして採用されていますが、LoRA自体は幅広いモデルアーキテクチャに対応した技術です。今後、コミュニティやSakana AI自身による対応モデルの拡張が期待されます。特に、Llama 3やMistralなどのオープンウェイトモデルへの対応が実現すれば、既存のオープンソースLLMエコシステムとの統合がさらに容易になるでしょう。Text-to-LoRAのリファレンス実装は既にMistral-7B-Instructをサポートしており、7Bクラスのモデルをローカルで動作させるインタラクティブチャットデモも公開されています。
日本AIエコシステムへの影響 — なぜSakana AIが重要なのか
日本政府のAI国家戦略との整合
2025年12月23日、日本政府は初の「人工知能基本計画」を閣議決定しました。この計画は「世界で最もAIを開発・活用しやすい国を目指す」との目標を掲げ、AIの利活用加速、開発力の戦略的強化、信頼性の向上、社会の継続的変革を基本方針としています。
Doc-to-LoRAは、この国家戦略と以下の点で強く整合します。
- 計算リソースの民主化：50MBのLoRAアダプタであれば、消費者向けGPUどころかモバイルデバイスでも運用可能です。日本の中小企業が高額なクラウドGPUに依存せずにAIの専門化を実現できる可能性があります。
- エッジAIとの親和性：工場の生産ラインや医療現場など、クラウド接続が制限される環境でも、事前生成したLoRAアダプタをローカルで適用できます。
- AI主権の確保：東京拠点のSakana AIが世界最先端の研究成果を出していること自体が、日本のAI自立性にとって戦略的に重要です。
日本の産業構造とDoc-to-LoRAの適合性
日本の製造業、医療、金融といった産業は、大量の専門文書（規格書、マニュアル、規制文書など）を保有しています。これらの知識をLLMに素早く内在化できるDoc-to-LoRAは、以下のような具体的なユースケースが想定されます。
- 製造業：設備マニュアル数百ページをLoRA化し、現場作業員がスマートフォンからAIに質問できる環境を構築
- 医療：診療ガイドラインや薬剤情報を内在化した専門AIを、ネットワークが不安定な病院内ローカル環境で運用
- 金融：MUFGとSakana AIの既存パートナーシップを活かし、金融規制文書の即時内在化による法令遵守支援
- 法務：法律文書や判例の知識をオンデバイスで活用し、データ送信なしにクライアントの機密を保護
Sakana AIの独自ポジション
CTOのLlion Jones氏は「Transformerにうんざりしている」と公言し、次世代アーキテクチャの探求を進めています。2025年5月に発表した「Continuous Thought Machines」は、神経活動の時間的同期を活用した新しいニューラルネットワークアーキテクチャであり、Transformerの後継を見据えた研究です。Doc-to-LoRAは現行のTransformerベースLLMをより効率的にする「橋渡し技術」として位置づけられ、次世代アーキテクチャへの移行期においても実用的価値を持ちます。
注意点・落とし穴 — 導入前に知っておくべき制限事項
Doc-to-LoRAは画期的な技術ですが、万能ではありません。導入を検討する際に認識しておくべき重要な制限事項があります。
1. 精度のトレードオフ：ミッションクリティカルな用途には不向き
SQuADベンチマークでフルコンテキスト比83.5%という精度は、16.5%の情報が失われることを意味します。医療診断、法律判断、金融取引など、1つの誤りが重大な結果を招く領域では、この精度差は許容できない場合があります。このようなユースケースでは、Doc-to-LoRAを唯一の知識ソースとするのではなく、RAGとの併用や人間によるレビューのパイプラインに組み込むことを推奨します。
2. 構造化ドキュメントに最適化：非構造的コンテンツには弱い
Doc-to-LoRAは事実情報の抽出と保持に最適化されています。技術マニュアル、FAQ、百科事典的な文書では高い性能を発揮しますが、以下のようなコンテンツでは精度が低下する可能性があります。
- 文脈に強く依存する比喩的・暗示的な表現
- 高度に創造的な文章（詩、小説など）
- 図表やグラフに依存する情報
- ドキュメント間の相互参照が多い資料体系
3. ベースモデル依存：モデル切り替え時は再生成が必要
LoRAアダプタは特定のベースモデルのアーキテクチャに紐づいています。現在のDoc-to-LoRAはGemma-2-2b-itをターゲットとしており、異なるモデル（Llama、Mistral等）で使い回すことはできません。ベースモデルを切り替える場合、すべてのLoRAアダプタを再生成する必要があります。ただし再生成自体は1秒未満で完了するため、実運用上の影響は限定的です。
4. ハイパーネットワークの事前訓練コスト
Doc-to-LoRAの「1秒未満の内在化」は、事前訓練済みのハイパーネットワーク（309Mパラメータ）があって初めて実現するものです。ハイパーネットワーク自体の訓練には相応の計算リソースが必要であり、カスタムドメインに対応した独自のハイパーネットワークを訓練する場合は、この初期コストを考慮する必要があります。公開済みのプリトレーニングモデルを使用する限りは、この点は問題になりません。
ベストプラクティス：Doc-to-LoRAが最も効果を発揮する条件
- 静的な知識（頻繁に更新されないドキュメント）の高速参照
- 速度が精度よりも重要なユースケース（例：大量の文書を横断的に検索する初期スクリーニング）
- リソース制約のあるエッジ環境でのAI運用
- 複数の専門ドメインのLoRAアダプタを切り替えながら使うマルチドメイン対応
まとめ
Sakana AIのDoc-to-LoRAは、LLMにおける長文コンテキスト処理の根本的なパラダイムシフトを提示しています。従来の「毎回ドキュメントを入力する」方式から「知識をモデルの重みに焼き込む」方式への転換は、メモリ効率（240倍削減）、速度（1秒未満）、コスト（推論コスト大幅削減）の3軸で飛躍的な改善をもたらします。
もちろん、フルコンテキスト比83.5%の精度という制約は存在し、あらゆるユースケースでRAGを置き換えるものではありません。しかし、速度とリソース効率が重視される用途 — エッジAI、大量ドキュメントのスクリーニング、マルチドメイン対応、リアルタイム知識更新 — においては、Doc-to-LoRAが最適解となるシナリオが数多く存在します。
Text-to-LoRAの発展と合わせて考えると、Sakana AIが目指しているのは「LLMカスタマイズの完全な民主化」です。大規模なGPUクラスタも、大量の訓練データも、MLエンジニアリングの専門知識も不要な世界。自然言語の指示やドキュメントを渡すだけで、LLMが瞬時に専門化する世界です。
日本発のAIユニコーンが、世界最先端の研究成果を論文とオープンソースコードの両方で発信していることは、日本のAIエコシステム全体にとっても大きな意義があります。AI基本計画が掲げる「世界で最もAIを開発・活用しやすい国」の実現に向けて、Doc-to-LoRAのような技術が具体的な推進力となるでしょう。
参考・出典
- Sakana AI — Instant LLM Updates with Doc-to-LoRA and Text-to-LoRA（公式技術解説）
- GitHub — SakanaAI/doc-to-lora: Hypernetworks that update LLMs to remember factual information
- GitHub — SakanaAI/text-to-lora: Hypernetworks that adapt LLMs using textual task descriptions
- Sakana AI — Text-to-LoRA: Instant Transformer Adaption（ICML 2025）
- TechCrunch — Sakana AI raises $135M Series B at a $2.65B valuation
- Nikkei Asia — Sakana AI takes crown as Japan’s most valuable unicorn
- MarkTechPost — Sakana AI Introduces Doc-to-LoRA and Text-to-LoRA
- 内閣府 — 人工知能基本計画（令和7年12月23日 閣議決定）
- Sakana AI — Company Info（会社概要）
佐藤 傑（さとう すぐる）
株式会社Uravation 代表取締役｜Agent Lab 編集長
SoftBank IT連載執筆（全7回）。AIエージェントの実践導入支援を手がけ、技術と経営の橋渡しをミッションに活動中。
あわせて読みたい
AIエージェントの導入・活用についてのご相談は、Uravationのサービス一覧をご覧ください。
あわせて読みたい
- 関連記事: RAG（検索拡張生成）Python実装ガイド
