6.7 AIエージェントとエージェント型システム

概要と動機

AIエージェントとは、ループに包まれた大規模言語モデル(LLM)です。目標が与えられ、ツールを呼び出せ、自分がしたことの記憶をいくらか保ち、目標が満たされるか諦めるまで、次のステップを自分で決めます。そのループが、エージェントと6.3章の単純なプロンプトと応答の呼び出しとの違いのすべてです。単一の呼び出しは、質問に答えます。エージェントは、メールを読み、データベースを検索し、チケットを起票し、結果を確認し、再び試みます。モデルはもはや単にテキストを生成しているのではありません。あなたのシステムの中で行動を選んでいるのです。

その変化は、エンジニアリングの問題を変えます。モデルが言葉を書くだけなら、悪い出力は悪い文です。モデルがツールを動かすとき、悪い出力は、間違ったメッセージを送ったり、レコードを削除したり、お金を動かしたりしえます。したがって知的エージェントは、信頼されたシステムの内側に座る、信頼できない計画者として最もよく理解され、あなたの仕事の大半は、その計画者に許されることを有界にすることに向かいます。本章は、6.3章のLLMの基礎、6.5章の信頼と説明責任の関心事、6.6章のプラットフォームの実践の上に直接築かれます。

大きなチームにとって、賭け金は技術的であると同じくらい組織的です。企業は、エージェントを本物の社内システム(チケット管理、財務、顧客レコード)に配線したいので、エージェントは本物のアクセス制御と本物の変更管理の義務を引き継ぎます。政府は公的な説明責任を加えます。市民に影響する自律的な行動は、事後に説明可能で、監督可能で、監査可能でなければなりません。パターンは強力です。規律なしにデプロイすれば、間違いを自動化する速い方法です。

主要原則

エージェントは、モデルにループ、ツール、記憶、目標を加えたものです。リスクは散文ではなく、ループに住んでいます。
自律性をタスクに限定します。仕事を終わらせる最小限の自由を与えます。
ステップが既知のときは、固定のワークフローを好みます。自由な自律性は、そうでないときにだけ手を伸ばします。
すべてのツールを攻撃面として扱い、それが機能できる最小の権限を与えます。
重大あるいは取り返しのつかない行動には人間をループに置き、元に戻すことを安くします。
記録の読まれ方ではなく、タスクの成功で評価します。
すべての実行を追跡します。再構築できない行動は、統治できない行動です。
機能する最も単純な設計が、通常は正しいものです。しばしば、それはまったくエージェントではありません。

推奨事項

ワークフローから始め、必要な所にだけ自律性を加える

最もよくある間違いは、固定のパイプラインで足りる所で自律的なエージェントに手を伸ばすことです。すでにステップがわかっているなら(項目を抽出し、検証し、レコードを検索し、返信を起草する)、モデルが特定のスロットを埋める、オーケストレーションされたワークフローとして書きます。自律性が価値を稼ぐのは、経路が本当にあらかじめ決められないとき、たとえば自由回答のリサーチや、多くの可能なツールにわたるトリアージです。自律性をタスクに限定します。ステップ数に上限を設け、ツールの集合をこの目標が必要とするものに制限し、明確な停止条件を設定します。良いルールは、問題が求めるだけの自由をモデルに与え、一度たりともそれ以上は与えないことです。

ツールの使用を中核の能力にし、それを安全にする

ツールの使用(関数呼び出しとも呼ばれる)が、モデルをエージェントに変えるものです。各ツールを正確なスキーマで定義し、モデルが供給するすべての引数を検証し、最小権限の原則を適用します。読み取り専用のレポートエージェントには、誤用しうる書き込みアクセスではなく、読み取り専用の資格情報を与えます。悪い呼び出しが影響範囲を超えて届かないよう、ツールをサンドボックスの内側で実行します。いくつかの広いツールより、多くの狭い単一目的のツールを好みます。狭いツールは、推論し、権限を与え、監査するのが易しいからです。これは6.3章がLLMのツール使用に促すのと同じ抑制を、中心に据えたものです。

明示的な推論と計画のパターンを使う

エージェントは、思考が構造化されているほどよく機能します。推論して行動するパターン(ReActの研究で広まった)では、モデルは状況について推論することと行動をとることを交互に行い、再び推論する前に結果を観察します。より難しい目標では、モデルに最初に計画させ(サブタスクに分解し)、それから実行させることで、どのツールが走る前にも、計画を検査し、さらには承認できるようにします。これらのループを観察可能で中断可能に保ちます。読める計画は、止められる計画です。

重大な行動には人間をループに保つ

ツールごと、行動ごとに、モデルが単独で行動してよいか、最初に尋ねなければならないかを決めます。元に戻せて賭け金の低い行動(検索、起草)は、無人で走れます。重大あるいは取り返しのつかないもの(外部へのコミュニケーションの送信、お金の移動、本番データの変更、市民の案件の決定)には、ノーと言う本物の権限を持つ人間が介在するゲートが必要です。できる所では元に戻せるように設計します。変更をコミットするよりステージングを好み、取り消しを第一級の機能にして、間違った行動が、インシデントではなく数分のコストで済むようにします。

セキュリティモデルを敵対的なものとして扱う

エージェントは、4.2章で述べられた攻撃面を広げます。主要な脅威はプロンプトインジェクションです。エージェントが読んで従う、ウェブページ、文書、メールに隠された悪意ある指示。密接に関連するのが混乱した代理人問題で、攻撃者が権限を持つエージェントをだまして、自らの正当なアクセスを誤用させます。たとえば、エージェントが呼び出すことを許されたツールを通じてデータを持ち出させること。エージェントが取り込むコンテンツは、どれも敵対的でありうると想定してください。信頼された指示を信頼できないデータから分離し、乗っ取られたエージェントが機微なシステムに届かないようツールを制約し、検証なしに、生のモデル出力が取り返しのつかない行動を引き起こすことを決して許してはいけません。

タスクの成功で評価し、非決定性を回帰テストする

エージェントを、記録が賢く聞こえるかではなく、タスクを達成するかで判断します。確認可能な成功基準を持つ代表的な目標の評価セット(チケットに正しい優先度が付いたか、返金が方針に合ったか)を築き、プロンプト、モデル、ツールの変更のたびに実行します。エージェントは非決定的なので、一度の通過はほとんど何も証明しません。各ケースを複数回実行し、合格か不合格かではなく成功率を追跡します。これは、6.3章と6.2章(機械学習エンジニアリングとMLOps)のオフラインとオンラインの評価の規律を、出力が行動の連なりであるシステムに拡張します。

オブザーバビリティ、コスト、失敗の処理のために実行を計装する

見えないものは統治できません。すべてのエージェントの実行を端から端まで追跡します(6.6章)。目標、各推論のステップ、引数と結果を伴うすべてのツール呼び出し、費やしたトークン、最終的な成果。この追跡は、デバッガー、監査証跡、コストメーターを同時に兼ねます。ステップ、時間、支出に固い予算を設定します。ループするエージェントは、レイテンシとお金を急速に燃やしうるからです。失敗を明示的に扱います。一時的なツールのエラーはバックオフ付きで再試行しますが、モデルが失敗する行動を繰り返すループを検知し、のたうち回るのではなく安全に失敗させます。

トレードオフ: 長所と短所

選択	長所	短所	最適な場合
固定のワークフロー(モデルがスロットを埋める)	予測可能、安く、テストと監査が容易	硬い。予期しない経路で壊れる	ステップが事前にわかっている
自律的な単一のエージェント	柔軟。自由回答の目標を扱える	制御、評価、有界化が難しい	経路が事前に決められない
マルチエージェントのオーケストレーション	並列性。専門化された役割	調整のコスト、複合するエラー、高い支出	タスクが本当に独立した部分に分解できる
無人の行動	速く、摩擦が低い	間違いがチェックなしに実行される	行動が元に戻せて賭け金が低い
人間が介在するゲート	安全、説明責任、元に戻せること	遅い。レビュアーの容量が必要	行動が重大あるいは取り返しがつかない

中心的な緊張は、自律性対制御です。より多くの自律性はより多くの状況を扱いますが、より多くのガードレール、より多くの評価、より多くのお金を要求し、予測しにくい形で失敗します。マルチエージェントの設計は、優雅さでチームを誘惑しますが、各追加のエージェントは調整のオーバーヘッドと、小さなエラーが間違った結果に複合するもう一つの場所を加えます。問題を解決する最小限の自律性から始め、具体的なタスクが強いるときにだけ自由を加え、常に合致するガードレールと組にすることで、緊張を解決してください。

チームで議論すべき問い

この機能は実際にエージェントを必要としていますか。それとも、固定のワークフローのほうが安全で安いですか。 自律性は魅惑的ですが、ほとんどの仕事には既知のステップがあり、オーケストレーションされたパイプラインがはるかに少ないリスクで扱います。大きなチームにとって、エージェントを既定にすることは、あらゆるグループが、より単純な設計なら避けられた評価、追跡、セキュリティの負担を負うことを意味します。具体的なタスクを持ち込み、そのステップが事前に決められるかを問ってください。決められるなら、エージェントはおそらく過剰設計です。自由な自律性は、経路がケースごとに本当に変わる目標のために取っておきます。答えは、ほとんどの機能をワークフローに向かわせ、少数の意図した集合だけを本物のエージェントとして残すべきです。
エージェントが呼び出せる各ツールについて、乗っ取られたエージェントがそれで何ができる最悪のことは何で、何がそれを止めますか。 プロンプトインジェクションと混乱した代理人の攻撃は、エージェント自身の正当なアクセスをあなたに向けて反転させるので、正しいレンズは敵対的なもの(4.2章)です。各ツール、その権限のスコープ、取り込まれたコンテンツを通じて忍び込まされた悪意ある指示がそれに届きうるかを目録にしてください。エージェントを社内システムに配線する企業にとって、ここは最小権限、サンドボックス、取り返しのつかない行動への人間のゲートが具体的になる所です。ツールの一覧と、それぞれが保持する資格情報を持ち込んでください。検証や人間のチェックなしに到達できる重大な行動があるなら、それが最初に直すべきものです。
すべての実行がもっともらしく見えるとき、エージェントの成功率が下がったことをどうやって知りますか。 エージェントは非決定的なので、よく読める記録でも間違った行動をとっていることがありえ、一度の緑の実行は何も証明しません。確認可能な成果を持つ目標の評価セットがあり、単一の通過ではなく成功率を生むために、ケースごとに何度も実行されているかを問ってください。賭け金の高い、あるいは公開されたデプロイでは、何か問題が起きたときに実行の追跡によって何が起こったかを正確に再構築できるかを議論してください(6.5章と6.6章)。唯一のシグナルがユーザーの不満なら、すでに遅すぎます。答えは、インシデントの後ではなく、規模の前に評価の仕組みに資金を出すべきです。
このエージェントの行動のうち、本当に取り返しのつかないものはどれで、誰がその承認の権限を持ち、そのゲートに人員を置くレビュアーの容量はありますか。どこでもモデルを無人で行動させたくなる誘惑がありますが、人間のゲートは、エージェントが尋ねたときに、ノーと言う権限を持つ名前のある人が対応できる場合にだけ本物です。大きなチームにとって、誰も所有しない承認の待ち行列は、静かにゴム印になり、設計した安全は量の下で蒸発します。エージェントがとれるすべての行動の一覧を持ち込み、それぞれを元に戻せる、取り返しがつかないに印を付け、レビュアーに降りかかる低信頼のケースの一日の量を見積もってください。ゲートの摩擦と人員配置のコストを、無人の間違いの影響範囲と量り、さらにレビュアーを加えるよりも、取り返しのつかない行動をステージングされた取り消し可能なものへの再設計を好んでください。企業と政府の設定では、各重大な行動を責任ある担当官と変更管理の記録に結びつけてください。人間が承認しなかった、市民や顧客に影響する自律的な行動は、まさに監査が見つける失敗だからです。
タスクが本当に分解できるからマルチエージェントの設計に手を伸ばしているのか。それとも優雅に見えるからですか。 仕事を専門化されたエージェントに分けるのは魅惑的ですが、追加のエージェントのそれぞれが、調整のオーバーヘッドと、小さなエラーが間違った結果に複合するもう一つの場所を加えます。大きな組織にとって、コストは支出とレイテンシだけではありません。マルチエージェントのシステムは、失敗したときに追跡、評価、推論がはるかに難しいので、加えるすべての役割とともにガバナンスの負担が倍増します。タスクを持ち込み、どの部分が独立して並列に走るかを具体的に示し、それから同じ評価セットで、マルチエージェント版の測定された成功率とコストを単一のエージェントと比較してください。単一のエージェントが勝つか引き分けなら、優雅な設計は過剰設計です。規制対象あるいは公共のデプロイでは、連鎖の中のすべてのエージェントが、監督機関が検査できなければならないもう一つの構成要素であることを忘れないでください。正当化できない追加の構造は、追加の負債です。
エージェントのステップ、時間、支出の固い予算は何で、ループするエージェントがコストやレイテンシを積み上げる前にどう捉えますか。 失敗する行動を繰り返すエージェントは、警告なしにお金と時間を燃やしえるので、無制限の自律性は、安全上のリスクと同じくらい財務上のリスクです。多くのエージェントを動かす大きなチームにとって、一つの誤動作するループが、クラウドの請求書を急上昇させたり、他のすべてのワークロードを飢えさせるレート制限を使い果たしたりしえるので、実行ごとの上限は、一つのチームの問題ではなく共有の運用上の関心事になります。各エージェントの現在のステップ、時間、トークンの予算、それらを超えたときに発火するアラート、のたうち回るのではなく安全に失敗するループの検知を持ち込んでください。正当に難しいタスクを打ち切りうる厳しい予算と、コストが暴走するのを許す緩い予算を量ってください。支出を予測して正当化しなければならない企業と政府の設定では、コストが無制限のエージェントは、予算のレビューや監査で擁護できない項目です。

セクター別の視点

スタートアップ。 中核の価値に触れる狭いエージェントを一つ、ホスト型モデルで、仕事をする最小のツールの集合と、ステップと支出の固い上限を備えて出荷してください。マルチエージェントのデモに抵抗します。乏しいエンジニアリングの注意は、保守できない役割を調整するよりも、単一のエージェントの自律性を有界にし、その実行を追跡することに使うほうがよいのです。間違いが、インシデントではなく取り消しのクリックのコストで済むよう、すべての重大な行動を一つの「下書きにして、決して送らない」ゲートの背後に保ちます。

小規模事業者。 評価の仕組みやサンドボックスを動かす人がいないので、すでに信頼しているツールに埋め込まれたエージェントを好み、目で監督できる自律性だけをオンにしてください。あなたに代わって送信、支払い、削除できるエージェントは、人が各行動を確認するまでオフにしておくものとして扱ってください。顧客への間違った自動化されたメッセージは、関係を失わせるからです。エージェントが何をしたかを示し、自動化をオフにできるベンダーを好みます。

大企業。 問題は、多くのチームにわたるエージェントの統治です。自律性の有界化、最小権限のツールの資格情報、サンドボックス、人間が介在するゲート、端から端までの追跡の共有パターンで、どのグループもガードレールを再発明しないようにします。人間が持つのと同じアクセス制御のもとでエージェントを社内システムに配線し、取り返しのつかない行動を名前のある承認者と変更管理の背後でゲートし、成功率の指標、実行ごとの予算、敵対的なインジェクションのテストでポートフォリオを管理します。どのエージェントの振る舞いも再構築され監査できるよう、追跡と評価の層を標準化します。

政府。 調達、透明性、公的な説明責任があらゆる選択を縛ります。エージェントには事実の収集と起草に留めさせ、公共部門の決定への責任はモデルに委任できないので、市民に影響するあらゆる決定は説明責任のある人間のために取っておきます。監督機関が、どの情報源が参照され何がなされたかを見られるよう、すべての実行を記録し、ベンダーにエージェントのツールと制約の開示を求め、エージェントが有界な権限を超えて行動することを拒否することを、敵対的な評価セットで証明してください。

事例

スタートアップ。 5人の分析スタートアップは、サポートのトリアージのエージェントを築きます。入ってくるチケットを読み、ドキュメントを検索し、返信を起草するか、チケットを人間にルーティングし、それがツールの集合のすべてです。資格情報は読み取り専用と、人がクリックして送信しない限り決して送らない単一の「下書きを作成」の行動だけです。すべての実行が追跡されるので、創業者たちはチケットがなぜそこにルーティングされたかを見られ、50件の実際のチケットの夜間の評価セットが、エージェントをそれぞれ5回実行してルーティング精度を追跡します。競合の巧妙なマルチエージェントのデモに誘惑されても、タスクが分解できないので、単一エージェントに留まります。

大企業。 銀行は、運用スタッフが失敗した支払いを突き合わせるのを助けるエージェントを築きます。人間の事務員が持つのと同じアクセス制御のもとで社内システムと統合し、突き合わせだけにスコープされた最小権限のサービス資格情報を通じて付与されます。エージェントは自由に調査できます(台帳を読み、取引履歴を検索する)が、お金を動かしたりレコードを編集したりする行動は、ステージングされ、変更管理を満たす名前のある人間の承認者を要します。取り込まれた文書は、プロンプトインジェクションを鈍らせるために信頼できないものとして扱われ、ツールはサンドボックス化され、すべての実行が監査のために端から端まで追跡されます。オフラインの評価セットが各モデルやプロンプトの変更をゲートし、実行ごとの予算がステップと支出に上限を設けるので、ループするエージェントがコストやレイテンシを積み上げることはありません。

政府。 給付機関は、ケースワーカーが請求の事実を集めるのを助けるエージェントを試験運用します。レコードの取得、資格ルールの確認、要約の起草。機関ははっきり線を引きます。エージェントは集めて起草しますが、公共部門の決定への説明責任はモデルに委任できないので(6.5章)、市民に影響するあらゆる決定は、人間のケースワーカーが行い所有します。各実行は完全に記録され、どの情報源が参照され何が起草されたかを示すので、監督機関はどの案件も監査できます。自律性は意図して読み取りと起草に限定され、ツールは最小権限でサンドボックス化され、敵対的な評価セットが、エージェントが事実の収集を超えて行動することを拒否するのを確認します。

ビジネスケース: 動機、ROI、TCO

エージェントは、かつて人がシステムの間をクリックして回る必要があった複数ステップの仕事を自動化することで、見返りを届けます。トリアージ、突き合わせ、リサーチ、日常の運用。価値は、すべてのステップに人間を必要としない完了した仕事、より速いサイクルタイム、判断の多い仕事に解放されたスタッフとして現れます。エージェントは既存のLLMとツールの上に築かれるので、動くプロトタイプまでの時間は短く、だからこそチームは作りすぎるのです。

総所有コストは、エージェントが単純なLLMの機能と異なる所です。推論のコストに加えて、ツールの統合、サンドボックスと権限の配管、評価の仕組み、追跡とオブザーバビリティのスタック(6.6章)、承認のゲートに人員を置く人間のレビュアーに払います。ループする、あるいは下手に有界化されたエージェントは、警告なしに急上昇しうる変動コストを加えるので、ステップと支出の予算は、後付けではなく設計の一部です。採用しないコストは、競合が自動化する、より遅い運用と手作業の苦労です。不注意に採用するコストは、間違ったメッセージを送り、データを漏らし、説明責任のない決定を下す自律的な行動です。リーダーシップへの論拠は、具体的な自動化の対象一つを、ガードレール、評価、人間による監督の具体的な計画と組にして示し、ガードレールがコストの大半だと誠実に述べることで示します。

アンチパターンと落とし穴

ワークフローで足りる所のエージェント。 ステップが既知だったタスクのために、自律性のリスクを全部引き受けること。
過度に広いツールと資格情報。 狭い最小権限のものではなく、一つの「何でもできる」ツール。
プロンプトインジェクションへの盲目。 本物の権限を持つエージェントに信頼できないコンテンツを供給すること。
取り返しのつかない行動への人間のゲートがない。 チェックなしに、モデルに送信、支払い、削除をさせること。
マルチエージェントの劇場。 単純なタスクをエージェントに分け、利得なしに調整のコストを払うこと。
雰囲気での評価。 タスクの成功率ではなく、記録の読まれ方で判断すること。
無制限のループ。 ステップ、時間、支出の上限がなく、行き詰まったエージェントがお金とレイテンシを燃やすこと。
追跡されない実行。 エージェントが何をしたかの記録がなく、デバッグ、監査、説明ができないこと。

成熟度モデル

レベル1、開始: エージェントは、広いツールアクセスと制限なしにその場しのぎでプロトタイプ化されます。成功は、何かが壊れた後に反応的に、デモで判断されます。評価セットも、追跡も、重大な行動への人間のゲートもありません。
レベル2、発展: 一部のエージェントは有界のループと最小権限のツールを持ち、基本的な追跡が存在しますが、実践はチームごとに異なります。手作業の評価セットが少数のプロジェクトで大きな回帰を捉え、他にはありません。人間の承認が最も明らかな取り返しのつかない行動を守りますが、カバレッジは不均一で文書化されていません。
レベル3、標準化: 共有のパターンが、自律性、ツールの権限、サンドボックス、人間が介在するゲートを統治し、すべてのチームにわたって文書化され徹底されます。すべての重大な行動がゲートあるいは検証され、エージェントは端から端まで追跡され、成功率の採点を伴う自動化された評価セットがあらゆる変更で走ります。プロンプトインジェクションは、定義された対応を伴う常設の脅威として扱われます。
レベル4、管理: エージェントのポートフォリオが、ベースラインに対して測定され、制御されます。タスクごとの成功率、プロンプトインジェクションの防御の合格率、実行ごとのコストとステップ数、人間の承認の遅延、ループあるいは失敗のインシデントが指標として追跡され、ロールバックと廃止の閾値が、不満ではなくその証拠に基づいて徹底されます。ステップ、時間、支出の実行ごとの予算が監視され、指標の回帰は、インシデントの後ではなく規模の前に行動を引き起こします。
レベル5、オーケストレーション: 自律性は方針によってタスクのリスクに合わせられ、結果が来るにつれて継続的に調整されます。継続的なオフラインとオンラインの評価がエージェントの振る舞いをビジネスの成果に結びつけ、組織はリスクの状況が変わるにつれて、エージェントを日常的に退役させ、再スコープし、権限を付け直します。追跡、コストの予算、監査証跡はポートフォリオ全体で一様で、インジェクションと混乱した代理人の防御は敵対的にテストされ、自律的な行動への説明責任は明確で監査可能です。

議論のためのアイデア

現在のLLMの機能のうち、静かにエージェントになったものはどれで、それぞれの自律性は意図して有界化されていますか。
各エージェントのツールについて、注入されたコンテンツを通じて攻撃者がそれを悪用する最も安い方法は何で、何がそれを止めますか。
マルチエージェントの設計をどこで選び、調整のコストが単一のエージェントに対して見返りがあったと示せますか。
エージェントの行動のうち、本当に取り返しのつかないものはどれで、そのすべてを元に戻せる、あるいはステージングされるものに再設計できますか。
エージェントが明日有害な行動をとったら、それが何をし、誰が責任を負ったかを正確に再構築できますか。

要点

エージェントは、ツール、記憶、目標を持つループの中のLLMです。リスクはテキストではなく、ループとツールに住んでいます。
ステップが既知のときは固定のワークフローを好み、自律性は本当に自由回答の目標のために取っておき、厳しく有界にします。
ツールの使用が中核の能力です。各ツールに、最小権限、検証されたスキーマ、サンドボックスを与えます。
重大で取り返しのつかない行動を、本物の権限を持つ人間の背後でゲートし、安く元に戻せるよう設計します。
エージェントを敵対的なものとして扱います。プロンプトインジェクションと混乱した代理人の乱用に対して防御します(4.2章)。
多くの実行にわたるタスクの成功率で評価し、デバッグ、コスト管理、監査のためにすべての実行を追跡します(6.5章と6.6章)。
しばしば、正しい答えは、そもそもエージェントを築かないことです。

参考文献とさらなる読み物

Shunyu Yao et al., ReAct: Synergising Reasoning and Acting in Language Models.
Timo Schick et al., Toolformer: Language Models Can Teach Themselves to Use Tools.
Anthropic, Building Effective Agents (engineering guidance on workflows versus agents).
OWASP Foundation, OWASP Top 10 for Large Language Model Applications (including prompt injection and excessive agency).
Simon Willison, writing on prompt injection and the “lethal trifecta” for AI agents.
Norman Hardy, The Confused Deputy (the classic statement of the confused-deputy problem).
Chip Huyen, AI Engineering: Building Applications with Foundation Models.
Stuart Russell and Peter Norvig, Artificial Intelligence: A Modern Approach (intelligent agents and rational action).