「コードディスパッチャー」は、LLMアプリを本番で動かしている現場の「動いてはいるが、これで正常なのか分からない」を、深夜の運行指令所に持ち込まれた相談として描く連載です。指令長のサカキが理由を言葉にしながら路線を組み直し、記録係のトウヤがその判断を当直記録に残します。全12回、実装言語は Python で、標準ライブラリだけで動かして確かめます。

このページは目次を兼ねた案内板です。初めてなら「まず読むなら」の3本から、いま困っていることが決まっているなら「困りごとから探す」から、公開順に追いたいなら「全話一覧」から選んでください。

まず読むなら

• Output Contract — 同じ問い合わせに毎回違う文章が返るとき、揺れを止めずに「揺れてよい範囲」を先に決める回。LLMの出力を扱うなら、最初に当たる困りごと
• Budget Guard — 従量課金の処理が、予告なく止まるまで気づけなかった回。費用の上限を持たないLLMアプリに覚えがあるなら
• Drift Watch — エラーは出ないまま品質だけが落ちていく状態を、測って見つける回。「動いている」を信じきっているなら

困りごとから探す

出力が揺れる・成功に見えて壊れている

• Output Contract — 返答が日によって違う。揺れてよい範囲と許さない範囲を、受け取る側が先に決める
• Exception Translation — 200 OK のまま空や打ち切りが返る。静かな失敗を、例外として扱い直す
• Output Guardrail — 形式は正しいのに、出してはいけない言葉が混ざる。送り出す前に検める

費用が読めない・膨らむ

• Budget Guard — 従量課金が尽きて、予告なく止まる。消費を測り、警告と上限の二段で止める
• Request Coalescing — 同じ質問が同時に何十件も届き、そのたびに課金される。同じ行き先を一本に束ねる
• Model Cascade — 難しさに関わらず全件を最上位モデルに通している。確信度で前捌きして、必要なものだけ上へ回す

直したのに良くなったのか分からない・気づかないうちに悪くなる

• Eval Harness — 指示書の2版のどちらが良いか決められない。同じ代表例を同じ基準で測り直す
• Differential Testing — 一か所直したら、無関係な項目が崩れた。新旧を同じ入力に通して、変わった項目だけを見つける
• Drift Watch — エラーもないまま見逃しが増える。割合を継続して見て、静かな劣化に気づく

後から説明する・誰かへ渡す・乗り換える

• Audit Trail — 三か月前の判定根拠を求められても、同じ答えを再現できない。答えではなく、道筋を残す
• Prompt Registry — 指示書がどこにも一元管理されていない。版・所有者・変更理由を持たせて、渡せる形にする
• Parallel Run — 提供終了の通告で乗り換えが要るのに、動いているものは止められない。新旧を並走させて、通す割合を少しずつ移す

全話一覧

タグページ #code-dispatcher からも全12本をたどれます。