2026年6月24日、GoogleはGemini 3.5 FlashにComputer Use機能を統合した。これまでは別モデル（gemini-2.5-computer-use-preview）でしか使えなかったブラウザ・デスクトップ・モバイル操作が、高速・低コストの3.5 Flashで直接使えるようになった。
本記事では「そもそも何ができるのか」「どうAPIを呼び出すのか」「セキュリティ面で注意すべきことは何か」の3点を整理する。
注意: これはGoogleのGemini 3.5 Flashに搭載されたComputer Useであり、AnthropicのClaude Computer Useとは別の製品・別のAPI仕様だ。両者は「画面を見て操作する」という概念は共有しているが、モデル・実装方法・セキュリティ機能は独立して設計されている。本記事ではGemini側のみを扱う。
そもそもGemini Computer Useとは何か
Computer Useとは、AIがスクリーンショットを通じて画面を「見て」、マウスクリックやキー入力などのUI操作を「実行」するエージェント向け機能だ。人間がブラウザやアプリを操作するのと同じ手順を、モデルが自律的に再現する。
Gemini 3.5 Flashでは以下の3環境に対応している。
| 環境 | 対象 | 主な用途 |
|---|---|---|
browser |
Webブラウザ | Webスクレイピング、フォーム入力、テスト自動化 |
mobile |
Androidアプリ | モバイルアプリの回帰テスト、業務アプリ操作 |
desktop |
OS全体（カーソル操作） | 長時間の知識労働タスク、ソフトウェアテスト |
何が新しいのか — 従来との比較
Computer Use機能は2025年10月にAnthropicが先行実装し（Claude Computer Use API）、その後OpenAI・Googleも追従してきた。今回の変更点は「速さとコストの面でのアクセスしやすさ」にある。
| 項目 | 旧モデル（gemini-2.5-computer-use-preview） | Gemini 3.5 Flash（新） |
|---|---|---|
| Computer Use | 専用モデルのみ | 汎用モデルに統合 |
| モデル名（API） | gemini-2.5-computer-use-preview-10-2025 | gemini-3.5-flash |
| APIコスト（入力） | 非公開（プレビュー） | 1Mトークンあたり1.50ドル |
| APIコスト（出力） | 非公開（プレビュー） | 1Mトークンあたり9.00ドル |
| コンテキスト窓 | — | 104万8,576トークン |
| Google Search統合 | なし | あり（グラウンディング） |
| Google Maps統合 | なし | あり |
既存の専用モデルはAPIの後方互換として引き続き呼び出せるが、新規実装ではgemini-3.5-flashの使用が推奨されている（公式ドキュメント）。
具体的に何ができるようになるのか
APIでComputer Useを有効化する最小コード
python-genai SDK（google-genai）を使う場合、ツール設定で type: "computer_use" と environment を指定するだけでよい。
from google import genai
client = genai.Client()
interaction = client.interactions.create(
model="gemini-3.5-flash",
input="Googleの最新AIニュースをまとめてブラウザで検索し、タイトルを3件取得してください。",
tools=[{
"type": "computer_use",
"environment": "browser"
}]
)
print(interaction.output_text)
モデルはスクリーンショット取得 → UI操作の生成 → 実行 → 結果確認、というループを自律的に回す。開発者側は実行環境（ブラウザ・VMなど）を用意し、モデルが返すアクション（click、type、scrollなど）をその環境に渡す仕組みが必要だ。
サポートされているアクション一覧（browser環境）
公式ドキュメントに記載されているbrowser環境のアクションは次のとおりだ。
click, double_click, triple_click, middle_click, right_click,
mouse_down, mouse_up, move, type, drag_and_drop, wait, press_key,
key_down, key_up, hotkey, take_screenshot, scroll,
go_back, navigate, go_forward
プロンプトインジェクション検出の有効化
Computer Useエージェントはウェブページの悪意あるコンテンツに騙される「間接プロンプトインジェクション」のリスクがある。Gemini 3.5 Flashでは次のオプションで検出機能を有効化できる。
tools=[{
"type": "computer_use",
"environment": "browser",
"enable_prompt_injection_detection": True
}]
注意: このフラグはGeminiが検出した場合にタスクを自動停止する。検出精度は公式に数値が公開されていないため、単一の防御策として過信しないこと。
OSWorldベンチマークでの位置づけ
Computer Useエージェントの標準的な評価指標にOSWorld-Verifiedがある（Ubuntu・Windows・macOSタスクを横断してGUI操作の成功率を測る）。2026年6月時点の主要モデルの自己報告スコアは次のとおりだ。
| モデル | OSWorld-Verifiedスコア | 備考 |
|---|---|---|
| Gemini 3.5 Flash | 78.4 | GPT-5.5比約3分の1のコスト |
| GPT-5.5 | 78.7 | 入力5.00ドル/1Mトークン |
| Claude Opus 4.7 | 78.0 | 現時点の実質上限 |
上位3モデルの差は0.7ポイント以内であり、実質的な横一線と言える。スコアはすべて各社の自己報告値であり、独立した第三者検証はない点は留意が必要だ。
よくある誤解
誤解1「実行環境はGoogleが用意してくれる」
実際には、モデルはUI操作の「指示」を生成するだけであり、ブラウザやVM等の実行環境は開発者が別途用意する必要がある。GoogleはGitHubにリファレンス実装（google-gemini/computer-use-preview）を公開しているので、そこをベースに実行ループを組むのが最短ルートだ。
誤解2「Computer Useは現在GAで使える」
2026年6月29日時点で、Gemini 3.5 FlashのComputer Use機能は公開プレビューの位置づけだ。Gemini APIおよびGemini Enterprise Agent Platform経由で利用可能だが、本番系への組み込みは動作保証の範囲やレートリミットを公式ドキュメントで確認してから判断すること。
誤解3「セキュリティ対策はGemini任せでよい」
プロンプトインジェクション検出はオプション機能であり、完全な防御ではない。Googleは公式ブログで「サンドボックス実行・Human-in-the-Loop検証・アクセス制御を組み合わせること」を推奨している。
Googleが用意しているセキュリティオプション
enterprise向けの追加セーフガードとして2つのシステムが提供されている。
明示的な承認要求: 金融取引・機密データ変更・コミュニケーションツール操作などの「センシティブ/不可逆アクション」が発生する前に、ユーザーの確認を必須にできる。
tools=[{
"type": "computer_use",
"environment": "browser",
"disabled_safety_policies": [] # 全ポリシーを有効にする場合は空配列
# "FINANCIAL_TRANSACTIONS", "SENSITIVE_DATA_MODIFICATION",
# "COMMUNICATION_TOOL" を個別に無効化することも可能
}]
間接プロンプトインジェクション自動停止: ページ内の悪意あるコンテンツがモデルの行動を乗っ取ろうとした際に、タスクを自動停止する。
結局どうすればいいのか
Gemini 3.5 Flash Computer Useを試したい開発者へのアクション案を3点まとめる。
1. まずリファレンス実装を動かす
公式GitHubリポジトリ google-gemini/computer-use-preview のREADMEに従ってブラウザ環境を立ち上げ、browser環境でAPIを試す。APIキーはGoogle AI Studio（ai.google.dev）から取得できる。
2. Human-in-the-Loopを最初から設計する
AIgent Labでも解説しているHuman-in-the-Loop承認設計のパターンを、Computer Useエージェントにも当てはめると安全に運用できる。センシティブなアクション前には必ず人間の承認を挟む設計を初期から入れておく。
3. プロンプトキャッシュとコストを把握する
スクリーンショットが入力に含まれるため、1ステップあたりのトークン数が大きくなりやすい。システムプロンプトをキャッシュ対象（キャッシュ入力0.15ドル/1Mトークン）に入れることでコストを抑えられる。プロンプトキャッシュの詳しい設計については関連記事も参照してほしい。
よくある質問
Q: 無料枠で試せる？
A: Gemini APIにはFree Tierがあり、2026年6月時点でgemini-3.5-flashも対象だが、Computer Use機能が無料枠に含まれるかどうかは公式の料金ページで要確認。
Q: macOSやWindowsのデスクトップ操作も対応しているか？
A: desktop 環境を指定することでOS全体のカーソル操作が可能だが、実行環境のセットアップは開発者側の作業となる。リファレンス実装はLinux（Ubuntu）ベースの例が中心だ。
Q: 日本語UIのページでも機能するか？
A: Gemini 3.5 Flashは多言語対応モデルのため、日本語UIの画面を理解して操作できる。ただし、OCR精度には限界があるため、精度が必要なケースではテスト段階での検証を推奨する。
参考・出典
- Introducing computer use in Gemini 3.5 Flash — Google Blog（2026年6月24日）
- Computer Use — Gemini API 公式ドキュメント
- Gemini 3.5 Flash — Google AI for Developers 公式モデルページ
- google-gemini/computer-use-preview — GitHubリファレンス実装
- Gemini 3.5 Flash: Benchmarks, Pricing, Speed (2026) — Nerd Level Tech
この記事はAIgent Lab編集部がお届けしました。
