モデルの提供終了が来たのに、毎日の問い合わせは止められない。新旧を並走させて移る【Parallel Run】
Tags
14 ページ目
Reliability
引き継ぎ書を作ろうとして、現行のプロンプトがどれか分からない。版と持ち主を決める【Prompt Registry】
3か月前のAIの判定根拠を監査で訊かれ、同じ答えを再現できない。道筋を残す【Audit Trail】
エラーは出ないのに、AIの見逃しが1件見つかった。判定の割合を測り続けて劣化に気づく【Drift Watch】
住所欄だけ直したら、商品コードと数量まで崩れた。新旧を同じ入力に通して比べる【Differential Testing】
プロンプトの新旧どちらが良いか、二週間決まらない。同じ代表例を同じ基準で測る【Eval Harness】
処理量が3倍なら費用も3倍。全件を最上位モデルに通すのをやめ、確信度で振り分ける【Model Cascade】
セール初日だけ費用が跳ねた。同時に届いた同じ質問を、AIへの1回の問い合わせに束ねる【Request Coalescing】
AIの従量課金が予告なく尽き、要約が4日止まった。消費を計って警告と上限で止める【Budget Guard】
形式チェックは通るのに、社内限定の符丁が顧客へのメールに混ざった。送る前に検める【Output Guardrail】
要約が空欄のまま「処理済み」で流れていた。成功に見える失敗を例外に変える【Exception Translation】
LLMの返答が毎回違い、「これは障害か」に答えられない。揺れてよい範囲を先に決める【Output Contract】
コードディスパッチャー シリーズ目次【困りごとから探す案内板】
夜間バッチで失敗に気づけるようにしたい。ログと例外処理を足す
