Featured image of post モデルの提供終了が来たのに、毎日の問い合わせは止められない。新旧を並走させて移る【Parallel Run】

モデルの提供終了が来たのに、毎日の問い合わせは止められない。新旧を並走させて移る【Parallel Run】

使っているモデルの提供終了が通告され、乗り換えるしかないのに、毎日届く問い合わせのせいで止められない。新旧を並走させて結果を比べ、新しいほうへ通す割合を段階的に移す(Parallel Run)。Python の標準ライブラリだけで確かめます。

Featured image of post 引き継ぎ書を作ろうとして、現行のプロンプトがどれか分からない。版と持ち主を決める【Prompt Registry】

引き継ぎ書を作ろうとして、現行のプロンプトがどれか分からない。版と持ち主を決める【Prompt Registry】

異動前に引き継ぎ書を作ろうとして、指示書(プロンプト)がどこにも一元管理されていないと気づいた。散らばった指示書に版・所有者・変更理由を持たせ、後任に渡せる形にする(Prompt Registry)。

Featured image of post 3か月前のAIの判定根拠を監査で訊かれ、同じ答えを再現できない。道筋を残す【Audit Trail】

3か月前のAIの判定根拠を監査で訊かれ、同じ答えを再現できない。道筋を残す【Audit Trail】

外部監査に三か月前の判定根拠を求められても、LLM は同じ入力から同じ答えを再現できない。入力・指示書の版・パラメータ・出力を紐づけて残し、答えではなく判定の道筋を記録する(Audit Trail)。

Featured image of post エラーは出ないのに、AIの見逃しが1件見つかった。判定の割合を測り続けて劣化に気づく【Drift Watch】

エラーは出ないのに、AIの見逃しが1件見つかった。判定の割合を測り続けて劣化に気づく【Drift Watch】

設備点検日報の異常検知は動いていて、エラーも出ない。それでも見逃しが1件見つかり、増えているのか昔からなのか分からない。フラグ率を EWMA で継続して見張り、静かな品質劣化に気づけるようにする(Drift Watch)。

Featured image of post 住所欄だけ直したら、商品コードと数量まで崩れた。新旧を同じ入力に通して比べる【Differential Testing】

住所欄だけ直したら、商品コードと数量まで崩れた。新旧を同じ入力に通して比べる【Differential Testing】

注文メールの読み取りで住所欄を直したら、触っていない商品コードと数量がおかしくなった。新旧2版の指示書を同じ代表例に通して結果を比べ、劣化した項目だけを見つける(Differential Testing)。

Featured image of post プロンプトの新旧どちらが良いか、二週間決まらない。同じ代表例を同じ基準で測る【Eval Harness】

プロンプトの新旧どちらが良いか、二週間決まらない。同じ代表例を同じ基準で測る【Eval Harness】

商品説明を生成する指示書の2版のどちらが良いかで、社内の意見が割れたまま二週間。感覚ではなく、決定的なチェックと LLM-as-Judge を重ねた評価ハーネスで、同じ代表例を同じ基準で測り直す(Eval Harness)。

Featured image of post 処理量が3倍なら費用も3倍。全件を最上位モデルに通すのをやめ、確信度で振り分ける【Model Cascade】

処理量が3倍なら費用も3倍。全件を最上位モデルに通すのをやめ、確信度で振り分ける【Model Cascade】

文書の仕分けを全件、最上位モデルに通していて、処理量が3倍になれば費用もそのまま3倍になる。まず安いモデルで前捌きし、確信度が低いものだけを上位モデルへ回す(Model Cascade)。Python の標準ライブラリだけで実装して確かめます。

Featured image of post セール初日だけ費用が跳ねた。同時に届いた同じ質問を、AIへの1回の問い合わせに束ねる【Request Coalescing】

セール初日だけ費用が跳ねた。同時に届いた同じ質問を、AIへの1回の問い合わせに束ねる【Request Coalescing】

セールは好評だったのに、初日だけ AI の費用が跳ね上がった。表記ゆれを含む同じ質問が同時に何十組も届き、それぞれ別々に問い合わせていた。質問を正規化し、同時に届いた同じ問い合わせを1本に束ねる(Request Coalescing)。

Featured image of post AIの従量課金が予告なく尽き、要約が4日止まった。消費を計って警告と上限で止める【Budget Guard】

AIの従量課金が予告なく尽き、要約が4日止まった。消費を計って警告と上限で止める【Budget Guard】

従量課金の AI 処理が、原資が尽きて予告なく止まり、4日間、20件ほどを手で回すことになった。消費を計って積算し、警告と上限の二段で明示的に止める(Budget Guard)。Python の標準ライブラリだけで実装して確かめます。

Featured image of post 形式チェックは通るのに、社内限定の符丁が顧客へのメールに混ざった。送る前に検める【Output Guardrail】

形式チェックは通るのに、社内限定の符丁が顧客へのメールに混ざった。送る前に検める【Output Guardrail】

AI が下書きした顧客向けメールに、社内限定の符丁が混ざったまま送信された。形式の検査は通っていた。送り出す前に検査関数のパイプラインで語彙を検め、Cleared と Blocked を Python の match 文で受け取る(Output Guardrail)。

Featured image of post 要約が空欄のまま「処理済み」で流れていた。成功に見える失敗を例外に変える【Exception Translation】

要約が空欄のまま「処理済み」で流れていた。成功に見える失敗を例外に変える【Exception Translation】

LLM API は 200 OK のまま、空・打ち切り・拒否を返すことがある。例外が上がらないので、要約が空欄のまま処理済みとして流れていた。契約を満たさない応答を独自例外に変換し、raise ... from e で原因をたどれるようにする(Exception Translation)。

Featured image of post LLMの返答が毎回違い、「これは障害か」に答えられない。揺れてよい範囲を先に決める【Output Contract】

LLMの返答が毎回違い、「これは障害か」に答えられない。揺れてよい範囲を先に決める【Output Contract】

同じ問い合わせに毎回違う文章が返り、上長に「これは障害ですか」と訊かれても答えられない。揺れを止める代わりに、揺れてよい範囲と許さない範囲を出力の契約として先に決め、異常だと判定できるようにする(Output Contract)。Python の標準ライブラリだけで確かめます。

Featured image of post 3つの処理の正しい呼び出し順を、書いた人しか知らない。順番ごと窓口に閉じ込める【Facade】

3つの処理の正しい呼び出し順を、書いた人しか知らない。順番ごと窓口に閉じ込める【Facade】

土壌診断・灌漑・施肥の3つのモジュールは、正しい順で呼ばないと過湿の土に肥料を入れてしまう。その順序を知る窓口を1つ用意し、呼ぶ側が順番を覚えなくて済む Facade を Rust で実装します。

連載 コード庭師 (第11話 / 全12話)