ガードレールが悲鳴を上げたら: 直す前にトリアージする

ガードレールは、あなたがうまく反応したときにのみ役立ちます。そして失敗のパターンは予測可能です。ビルドが赤くなり、あなたは少し慌て、エラーを「直して」と添えてAIに貼り付ける。ときにはそれでうまくいきます。しかし多くの場合、それは実際に何が間違っていたかに対処せず、赤い文字だけを消す修正を生み出します——AIがテストを弱め、型を広げ、失敗する呼び出しを問題を飲み込む try/catch で包んでしまうのです。

AIに何かを「直させる」前に、10秒をトリアージに使いましょう。ガードレールの失敗には、実質的に3種類しかありません。

• あなたがいま入れてしまった本物のバグ。 チェックは仕事をしています。チェックではなく、コードを直しましょう。
• いまや古くなったテスト。 あなたは意図的に振る舞いを変え、古いアサーションがもう一致しなくなった。新しい正しい振る舞いをアサートするよう、テストを更新しましょう——反射的にではなく、意図的に。
• 不安定な、または間違ったチェック。 本当に稀です。ここでは自分を疑いましょう。これは人々が本物のバグを放り込むバケツです。先に進めるのを許してくれる唯一のバケツだからです。

AIを正直に保つ指示は、何かを変える前にまず診断させることです。

「never discounts below zero」テストが失敗している。
まず、なぜ失敗するのか教えて——いまコードが何をしているか 対
テストが何を期待しているか。次に、どちらが正しいか教えて。
コードか、テストか。私が確認するまで、何も変えないで。

その一度の立ち止まりが、あなたを守るガードレールと、AIをこっそり「無力化するよう仕込んでしまった」ガードレールの違いです。赤いチェックは情報です。あなたができる最悪のことは、それが何を告げていたかを読まずに、緑にするための代償を払うことです。