コストと暴走ループ

自律エージェントはループを回して働く:試し、確かめ、再び試す。そのループこそ要点のすべてだ——そしてそれはまた、ひそかに請求書を膨らませたり永遠に回り続けたりしうるものでもある。

これは前に出たコスト安全の考えと結びつく:定額のサブスクリプション道具は止まることで失敗し、従量制の有料APIエージェントは課金することで失敗する。 サブスクリプションのコーディングアシスタントが上限に達すると、窓がリセットされるまで単にそれ以上やらないだけだ。あなたが有料APIに向けて書いたスクリプトが再試行ループに嵌まると、呼び続ける——そして呼ぶたびに金がかかる——あなたが気づくかカードの上限が埋まるまで。

だから規則は単刀直入だ:

• 有料APIに向けて制限なしのエージェントループを決して走らせるな。 LLM APIを呼ぶ自分のループを書いたなら、必ずハードキャップがなければならない——最大反復回数、支出上限、タイムアウト。例外なし、「見張っておくよ」もなし。見張らないのだから。
• すべてのループに出口を与えよ。 「N回試したら止まれ」「テストがもう二度失敗したら止まれ」「10分走ったら止まれ」。停止条件のないエージェントは機能ではなくバグだ。
• 最初の数回を見張れ。 エージェントをバックグラウンドで走らせると信頼する前に、いくつかのフォアグラウンド実行を初めから終わりまで見張れ。あなたはそれが収束するかを確かめている——同じ修正の周りで詰まらず、完了に近づいているか。
• ガードレール付きの道具を選べ。 内蔵の上限がある管理されたアシスタントは、真夜中に書いた生のAPIループより走らせ放しにしても安全だ。閉じて失敗するサブスクリプションは機能であり、開いて失敗するAPIは危険要素だ。