Зачем нужны ограждения, когда вы руководите AI

AI не знает, что ваше приложение должно делать. Он подбирает по шаблону то, что выглядит правдоподобно. Это значит, что он с радостью:

• Удалит проверку, которую не понимает, «чтобы исправить ошибку»
• Отрефакторит три файла, когда вы просили изменить один
• Внесёт неочевидный баг, который не проявляется на счастливом пути
• Уверенно скажет вам, что всё готово, хотя ни разу не запускал код

Ограждения превращают «доверься мне» в «докажи». Цель — система, в которой сломать что-то по случайности трудно, чтобы вы могли спокойно продолжать говорить «просто попробуй», не задерживая дыхание.

Есть более глубокая причина, почему это важнее с AI, чем с коллегой-человеком. Человек, удаляющий проверку валидации, обычно знает, что идёт на риск, и чувствует его вес. AI не чувствует ничего. Он уберёт защиту, перепишет файл и доложит об успехе одним и тем же жизнерадостным тоном — независимо от того, гениально изменение или катастрофично. Вы не можете прочитать его язык тела, потому что у него его нет. Ограждения и есть его язык тела — это единственный честный сигнал о том, действительно ли работа надёжна.