Microsoft FoundryでGPT-6 Astraを本番導入しようとしているインフラ担当者やSREに向けた内容です。モデルの入れ替えは「デプロイ名を変えるだけ」に見えますが、監視設計やコスト試算を据え置いたまま切り替えると、思わぬ形で障害検知が遅れることがあります。今回はその落とし穴を、事象・原因・確認方法・対策の順に整理します。
何が起きるか
GPT-6 Astraは、OpenAIの新しいフロンティアモデル（最先端の大規模言語モデル群を指す呼び方）で、Microsoft Foundry（Azureが提供するAIモデルのホスティング基盤）上で一般提供が始まっています。既存のGPT-4oやGPT-chat-latestと同じAzureOpenAIClientとIChatClient（Microsoft.Extensions.AIが提供する共通のチャット呼び出しインターフェース）のパターンで呼び出せるため、コード上は「デプロイ名を書き換えるだけ」で置き換えが完了します。
この手軽さが落とし穴です。Astraは単発の応答を返すのではなく、課題を複数ステップに分解し、選択肢を評価し、次のアクションを提案する「計画立案型」の挙動を取ります。つまり1回のリクエストが、内部的には複数ステップの推論やツール呼び出し（外部アプリやAPIを操作する処理）を経て完了します。
結果として何が起きるかというと、レイテンシ（応答が返るまでの時間）の分布が従来モデルと大きく変わります。単発応答なら数秒で終わっていた処理が、計画立案とツール実行を挟むことで数十秒〜分単位にずれ込むケースが出てきます。既存の監視がタイムアウト閾値や応答時間のSLO（サービスレベル目標）を旧モデル基準のまま設定していると、正常に動作しているリクエストまで「異常」として検知されたり、逆に本当に詰まっているリクエストを見逃したりします。
さらにコンテキストウィンドウ（一度のやり取りでモデルに渡せる情報量の上限）が最大1,050,000トークンまで拡張されている点も影響します。大きなリポジトリや複数ドキュメントを一括で渡せる利点がある一方、1回の呼び出しあたりのトークン消費量とコストが跳ね上がりやすく、月次のAPIコストが想定を超えて増加する可能性があります。
なぜ起きるか
原因を段階的に分解すると、次の3つに整理できます。
1つ目は、監視設計がモデルの「応答パターン」を前提にしている点です。単発応答モデルの時代に設定したタイムアウトやアラート閾値は、計画立案・ツール実行・複数アプリ間の遷移を伴うAstraの挙動には合いません。監視は「モデルが何をしているか」ではなく「何秒で返ってきたか」しか見ていないことが多く、内部でのステップ数や処理内容の変化に追随できません。
2つ目は、コスト試算がトークン単価×リクエスト数の単純計算にとどまっている点です。1,050,000トークンという上限は、渡せる上限であって毎回使う量ではありませんが、リポジトリ全体や複数ドキュメントを一括投入する使い方が広がると、平均トークン消費量そのものが底上げされます。従来モデルの平均消費量をもとに立てた予算では、桁が合わなくなる可能性があります。
3つ目は、Foundry側のガバナンス機能（Microsoft Entraによるアイデンティティ管理、RBAC、コンテンツフィルタ、安全性評価など）が有効化されているかどうかの確認漏れです。これらは既定で提供される機能ですが、既存プロジェクトの設定がGPT-4o時代のまま流用されていると、新しいモデルに対して意図した権限やネットワーク制御が適用されていないことがあります。障害発生時に「なぜこの呼び出しが失敗したか」を追う際、権限起因なのか、レイテンシ起因なのか切り分けが難しくなります。
自分のプロジェクトが該当するか確認する方法
以下の観点で、既存プロジェクトがこの落とし穴に該当するか確認できます。
- デプロイ済みモデル名の確認: Foundryのプロジェクト画面またはCLIで
az cognitiveservices account deployment listを実行し、デプロイ名にgpt-4oやgpt-chat-latestからgpt-6-astraへの切り替え履歴がないか確認します - タイムアウト設定の確認: アプリ側の
HttpClientのタイムアウト値、APM（アプリケーション監視ツール）側のアラート閾値が、秒単位の短い値のまま固定されていないか確認します - コスト監視の確認: Azureコストの管理ブレードで、モデル呼び出し系のリソースにフィルタをかけ、日次のトークン消費量推移を過去2〜4週間分見ます。急な増加がないか確認します
- ネットワーク・権限設定の確認: Foundryプロジェクトのネットワーク設定でプライベートエンドポイントの有無、RBACのロール割り当てが最新モデルのデプロイにも適用されているか確認します
- ログの粒度確認: Application Insightsなどで、モデル呼び出しのspan（1回の処理単位を表すトレースの区切り）が「1リクエスト＝1spanのみ」になっていないか確認します。複数ステップの内訳が見えない設計だと、遅延の原因切り分けが困難です
対策の手順
以下の順で見直すと、切り替え前後のギャップを埋められます。
1. タイムアウトとSLOの再設定: Astraの計画立案型の応答特性を踏まえ、P95・P99のレイテンシ実測値を一度収集してから閾値を再設定します。いきなり本番トラフィックに晒さず、限定的なカナリア環境（一部トラフィックのみ新バージョンへ流す構成）で数日分のレイテンシ分布を取るのが安全です。
2. トレースの分解: OpenTelemetry（分散トレーシングの標準規格）を使い、Astraの1リクエストの中で発生するツール呼び出しやステップごとにspanを分割します。これにより、どのステップで時間がかかっているか、監視画面から直接追えるようになります。
3. コストアラートの設定: Azure Monitorでモデル呼び出しリソースに対する予算アラートを設定し、日次・週次でトークン消費量の異常増加を検知できるようにします。1,050,000トークンの上限を使い切る用途があるかどうか、業務要件を棚卸ししてから利用範囲を決めるのが安全です。
4. ガバナンス設定の棚卸し: Foundryのプロジェクト設定でRBAC・ネットワーク・コンテンツフィルタの割り当てを確認し、新モデルのデプロイにも同じポリシーが適用されているか、Azure Policyやテンプレート（Bicep/ARM）で明示的に管理します。
5. 段階的ロールアウト: 全トラフィックを一度に切り替えず、デプロイ名を分けて一部エンドポイントのみAstraに向け、監視・コストの両面で数値が安定するのを確認してから範囲を広げます。
# 現在のデプロイ一覧とモデル名を確認する例
az cognitiveservices account deployment list \
--name your-foundry-resource \
--resource-group your-rg \
--query "[].{name:name, model:properties.model.name}"まとめ
GPT-6 Astraは既存のIChatClientパターンにそのまま乗るため、コード変更としては小さく見えます。
ただし内部で複数ステップの計画・実行を行う設計のため、レイテンシ分布とコスト構造が従来モデルとは別物になります。
切り替え前に、タイムアウト・SLOの再設定、トレースの分解、コストアラート、ガバナンス設定の棚卸しの4点を確認しておくと、障害検知の遅れや想定外のコスト増を防ぎやすくなります。
まずはaz cognitiveservices account deployment listで現状のデプロイ状況を洗い出すところから始めてみてください。