第1幕: 通った、の行
工房の仮押さえのテストが、二週間で八回落ちた。コードは一行も変えていない。落ちるたびに誰かが再実行を押し、緑になったら先へ進んだ。今日も、昼までに二回押された。
風で、型紙用の紙の束がめくれ上がった。
膝で押さえる。ハトロン紙が二十枚。一枚目の角が、少し裂けていた。西風が強い。四月の上旬で、日差しはあるのに、ドックの底を抜ける風は冷たい。
メインマストの根元にいた。メインマストは、船の真ん中に立ついちばん太い帆柱だ。見上げると、いちばん下の横木に、灰色の塊が載っている。
横木はヤードと呼ぶ。マストに直角に渡した円い材で、帆はそこから吊り下がる。灰色の塊は、そのいちばん下のヤードに畳まれたまま残った帆だった。主帆と呼ぶ、いちばん大きな帆だ。二十年、海の底で泥をかぶり、乾いて灰色になっている。
乾いた泥の匂いがした。ヤードの上で、残った索が風に鳴る。低く、途切れずに。ドックの向こうで、クレーンの警笛が二度鳴った。
私は帆を縫う。港南セールという、社員八人の工房で、帆布を裁って縫う係だ。基金から、出航の日に張る新しい帆を請けた。今日は、古い主帆の寸法と、縫い目の取り方を写しに来た。
作業着の胸から携帯を抜き、工房のチャットを一度だけ開いた。
同じ形の行が、縦に並んでいる。「赤。再実行します」「通った」。営業の小池さんの名前が多い。二週間で八回。八回とも、二行目は「通った」だった。
画面を消した。
上から、綱の端が下りてきた。
白い化繊の綱だ。風に振られながら、まっすぐ私の前に下りてくる。目で追って、上を見た。ヤードの脇に組んだ足場に、汐見さんがいた。黒い髪を後ろで一つに束ね、作業つなぎの上を腰で結んでいる。片手で足場の手すりを持ち、もう片方の手で、綱の端を指してから、下を指した。
受けてほしい、ということだと思った。
紙の束を足もとに置き、靴で踏んで、綱を両手で受けた。思ったより重い。作業員が二人寄ってきて、綱を受け取り、甲板に据えた滑車に掛けた。帆を甲板へ下ろすための吊り綱だと、作業員の一人が短く言った。
汐見さんが足場の梯子を下りてきた。基金の打ち合わせで一度会っただけで、仕事の話以外はしたことがない。口数が少ない。職人なのだと思って、私は少し気が楽だった。
汐見さんは、私の足もとの紙の束に目をやった。
「寸法は、下ろしてからにしてください」
それから、甲板の左舷の、何も置いていない一画を指した。
「あそこに広げます。十二メートル取ってあります」
「分かりました。端の縫い目から先に見たいので、広げるとき、裾のほうを手前にしてもらえますか」
汐見さんは一度うなずいて、作業員のほうへ行った。早く寸法を取りたかった。でも、帆はまだヤードの上にある。
吊り綱の段取りを、作業員たちが確かめはじめた。私の手が空く時間だった。
携帯が震えた。
工房の CI の通知だった。赤。落ちたのは、また TestReleaseExpired だった。続けて、チャットに小池さんの書き込みが入る。
「受注画面の更新、出せないです。再実行していいですか」
今日、三回目だ。
汐見さんのほうを見た。梯子の下で、作業員と吊り綱の結び目を確かめている。こちらは見ていない。手が空いている時間なので、詫びずに画面を見ることにした。
仮押さえは、注文が決まる前に帆布の反を取り置く仕組みだ。期限を過ぎた取り置きは、在庫に戻す。戻す処理は裏で走る。ゴルーチンという、Go の軽い並行処理の単位で動かしている。戻す処理には在庫の帳票の書き出しが付いていて、CI のマシンが混む日は遅くなる。受注画面が重い日がある、と小池さんが言っていたのを思い出した。
落ちたテストは、三年前の私が書いたものだ。画面を拡大して、読み直した。工房のリポジトリの before_test.go に入っている。
| |
帆布は十二反ある。五反を一時間後まで取り置き、二時間後の時刻で、期限切れを戻す。戻ったら、在庫は十二反に戻る。それを確かめている。
戻す処理は裏で走るので、終わるのを待ってから在庫を見る。待ちは二十ミリ秒にした。書いたとき、戻す処理は何度測っても数ミリ秒で終わっていた。二十ミリ秒あれば足りる。そう判断した。
CI の失敗の行は、いつもと同じだった。
| |
before_test.go の十八行目。在庫を確かめる行で、在庫が七反のまま。毎回、同じテストの、同じ行だ。
コードは誰も変えていない。もう一度流して通るなら、同じコードで正しく動く場合があるということだ。壊れてはいない。
「押していいです」と小池さんに返した。返しながら、自分でも CI の再実行を押していた。指が先に動く。二週間、ずっとそうしてきた。
「檜山さん」
汐見さんが、足場の下から呼んだ。
「端、受けてください」
画面を見ないまま、携帯をポケットに入れた。作業員がヤードの小綱を一本だけ緩め、畳まれた帆の端を、足場の下まで送ってきた。帆の縁には、太い綱が縫い込んである。ボルトロープと呼ぶ、帆の縁を補強する綱だ。私はそれを両手で受けた。
重い。泥が乾いて、帆布が板のように硬い。指で押しても、たわまない。
ポケットの中で、携帯が一度震えた。
緑の通知だと分かっていた。見なかった。
第2幕: 一本ずつ
汐見さんは、また足場に上がった。
ヤードの上で、畳んだ帆が何か所も細い綱で縛られている。畳んだ帆を、ヤードに留めておく小綱だ。帆を使わないあいだ、風にあおられて広がらないように、ヤードに巻きつけて結ぶ。それが、ヤードの端から端まで、間をあけて並んでいた。
「端から緩めます」と汐見さんが、隣の作業員に言った。「全部、畳んだ帆を留めている小綱です。一本ずつ。私が言うまで、次は触らないでください」
最初の一本を、汐見さんが自分で緩めた。
結び目が解けると、汐見さんは手を離した。帆の束から、すぐに目を離さない。風がヤードを鳴らす。その下で、小綱を解いた所の帆布が、ゆっくり垂れた。一枚の板のようだった帆が、そこだけ折れ目から開いて、垂れ下がる。
汐見さんは、垂れたのを見てから、胸ポケットの防水の野帳を出して、一行書いた。
二本目も、同じだった。緩める。手を離す。待つ。その下の帆の束が垂れる。見てから、一行書く。二本まとめて緩めれば、半分の時間で済むはずだった。汐見さんは、そうしなかった。
三本目を緩めた。
帆は垂れなかった。
汐見さんは手を離したまま、待った。風が一度強く吹いて、ヤードが軋んだ。帆は、ヤードに付いたままだった。十秒。二十秒。汐見さんは帆の束から目を離さない。
それから、野帳を開いた。最初のほうの行に、ペンで横に一本線を引いた。線を引いたその行は、消えずに読めるままだった。その下に、三本目の行を書き足した。手もとが見える。「三本目 動かず」と読めた。
外れたのは、見立てのほうだった。汐見さんは、全部が畳んだ帆を留める小綱だと見ていた。三本目は、そうではなかった。
汐見さんは、それで手を止めなかった。四本目に手を伸ばし、同じ手順で緩めた。垂れた。一行書いた。
私は下から見ていた。
一度に一本しか変えない。変えたら、手を離して待つ。何が動いたかを見てから書く。
さっき私は、再実行を押した。何も変えずに、同じものをもう一度流した。それが頭の隅で、汐見さんの手もとと並んだ。並んだだけで、その先は考えなかった。
「檜山さん」
汐見さんが、足場の下の段を指した。
「三本目、帆のどこから出ているか、見てもらえますか。帆布のことは、私より分かると思います」
梯子を三段上がった。足場の下の段に立つと、ヤードの下に、三本目の小綱の根元が見えた。帆布の泥が厚い。指で払った。乾いた泥が粉になって、風に飛んだ。
帆を横切って、幅の広い帯が縫い付けてあった。帯の上に、金属の輪で縁取った穴が並んでいる。グロメットだ。帆布に穴を開けて、輪で補強したもの。三本目の小綱は、その穴の一つから出て、ヤードに結ばれていた。
指が、結び目の手前で止まった。
知っている形だった。工房で何度も縫っている。
縮帆という。風が強いとき、帆の面積を減らすことだ。帆の下を帯の高さまで寄せて、小さく張る。この帯はリーフバンドといい、縮帆のために帆を横切って縫い付けた補強の帯だ。帯に並んだ穴から、短い綱が一本ずつ出ている。縮帆の小綱だ。寄せた帆を、この小綱でヤードに結んで留める。
穴を数えた。帯の端から、反対の端まで。途中で数がどこまで行ったか分からなくなり、もう一度端から数えた。穴の一つずつから小綱が出ていて、それが全部、ヤードに結ばれていた。
「縮帆の小綱です」と私は言った。「帯の穴の列に沿って、全部、ヤードに結ばれたままです。畳んだ帆を留める小綱とは別のものです」
汐見さんは足場を横に歩いて、帯の端から端まで、小綱を指で数えた。結び目には触らなかった。野帳に一行書いた。それから携帯で、帯の端から順に写真を撮った。
「この列は最後に外します」と、汐見さんは作業員に言い直した。「畳んだ帆の小綱を、先に全部」
作業員がうなずいた。私は梯子を下りた。
畳んだ帆を留める小綱は、そのあと残りの全部が、同じ手順で緩められた。一本ずつ。手を離して、待って、見てから、書く。帆はヤードから大きく垂れ、縮帆の小綱の列だけで、ヤードにつながっていた。
区切りがついた。汐見さんが足場から下りてきて、水筒の水を飲んだ。
私は、聞きたかった。自分の件に近い気がした。どこが近いのかは、まだ分からなかった。
「なぜ、一本ずつなんですか」と私は聞いた。「待つのも。まとめて緩めれば、早いですよね」
汐見さんは水筒の蓋を閉めた。
「二本まとめて緩めて、帆が垂れたら。どちらで垂れたか、分かりません」
「一本ずつなら」
「一本ごとに、何が動いたかが分かります。動かなかった一本も、同じだけ分かります。三本目がそうでした」
私はうなずいた。手もとの数に置き換えようとした。何本緩めて、何本で垂れたか。垂れなかったのは何本か。数は並んだ。
ポケットから携帯を出した。チャットを開いて、汐見さんに画面を向けた。
汐見さんは、画面をのぞき込んだ。「赤。再実行します」「通った」の行が並んでいる。
「工房のシステムのテストです」と私は言った。「二週間で、八回落ちました。今日のさっきので九回目です。落ちて、押して、通りました。毎回、同じテストの、同じ行です」
汐見さんは、行を上まで指で送った。それから、画面から目を上げた。
「通った回と、落ちた回で。何を変えましたか」
「何も」と私は言った。「何も変えていません。同じコードを、もう一度流しただけです」
言いながら、自分の答えを聞いていた。
汐見さんは、一本ずつ変えた。私は、何も変えていない。通った回と落ちた回を並べても、そのあいだの違いを書く列がない。手もとの数に置き換えようとして、置き換えられなかった。
汐見さんは、それ以上は何も足さなかった。水筒を腰に提げ直して、足場の梯子に手を掛けた。縮帆の小綱の列を外す段取りを、上の作業員に声で伝えながら、上がっていった。
私は迷った。
今日の仕事は、型紙の寸法だ。帆が甲板に下りれば、すぐに取りかかれる。自分の件を見はじめれば、そのあいだ、小池さんの受注画面は待たされる。再実行を押せば、今日の受注画面は出せる。
帆が下りるまで、まだしばらくかかる。
その手の空く時間だけ、自分の件を見る。そう決めた。甲板の端の工具箱の上に、リュックからノートパソコンを出して開いた。
第3幕: 条件を一つずつ
一本ずつ、を自分の件に写してみることにした。
最初にしたのは、チャットの記録を表にすることだった。落ちた日時を左の列に並べる。右に、そのとき何が違っていたかを書く。コードの変更、テストの順、CI のマシン。
右の列が、全部空いた。
八回とも、コードは同じ。テストの順も、マシンも、チャットからは分からない。違いを外から集めようとしても、集めるものが記録に残っていない。
外から集めるのをやめた。自分で一つずつ変える。
表の列を先に書いた。回数を重ねる。単独で流す。順序を変える。競合検出を付ける。待ちより長い遅延を入れる。左から一つずつ当てて、落ちる数が動くかを見る。
列ごとに、先に予想を書いておいた。単独で流して数が減れば、ほかのテストに引きずられている。順序を変えて数が動けば、順に左右されている。競合検出で報告が出れば、ゴルーチンどうしが同じ値を取り合っている。遅延を入れて数が跳ねれば、待ち方に左右されている。動かなければ、その列の線は細る。結果は、この予想と照らして読む。
その前に、手元で落ちる形にしておく必要があった。工房の CI では、戻す処理の所要時間がマシンの混み具合で揺れる。手元のノートパソコンは空いているので、そのまま流しても、たぶんほとんど落ちない。揺れの源を、こちらで決めて入れることにした。変えたい条件は、外から差し込めないと、一つずつ変えられない。
戻す処理の中身は、今のコードではこうなっている。ledger.go の ReleaseExpired だ。
| |
ゴルーチンを一つ起こして、期限を過ぎた取り置きを在庫に戻す。在庫と取り置きは sync.Mutex(同時に一つのゴルーチンだけが触れるようにする鍵)で守ってある。戻し終えたら、done というチャネルを閉じる。チャネルは、ゴルーチンのあいだで値や合図を受け渡す管だ。close で閉じると、その管を待っていた側に「終わった」が届く。
戻り値は、この done だ。最初に見たテストの l.ReleaseExpired(...) の行は、この戻り値を受けていない。
time.Sleep(l.workDelay()) の行が、帳票の書き出しの代わりだ。帳票を書く処理そのものは、ここには載せない。かかる時間だけを workDelay が返す。その時間を、外から渡せるようにした。期限の判定に使う時計も、同じように外から渡す。
渡し口は buildLedger にまとめた。本番は、これまでどおり NewLedger() を呼ぶ。NewLedger() の形は変えていない。中で buildLedger を呼び、システムの時計と、本番の所要時間を渡す。
| |
テストの側で組み立てるのは、common_test.go の newTestLedger だ。固定の時計と、乱数の列から引いた所要時間を、buildLedger に渡す。
| |
所要時間は、普段は一〜五ミリ秒。十六回に一回くらい、混んだ日として三十〜六十ミリ秒を引く。二つの幅は、あいだを大きくあけた。実際の時間の細かな揺れで、結果がひっくり返らないようにするためだ。
乱数の種(seed)は固定した。同じ種からは、毎回同じ列が出る。
一つだけ気になった。乱数の列はパッケージの変数に置いてあり、テストをまたいで先へ進む。テストどうしが状態を共有していることになる。同じパッケージの TestHold や TestHoldOverStock は、乱数の列に触れない作りにした。揺れの源は種で固定してあるので、順序を変えて落ちる数が動けば、それは順序の影響だけだ。ただ、ほかのテストを乱数に触れさせない作りにしたのは私だ。順序の手で言えるのは、この組み方の範囲のことになる。
これで、手元でも落ちるはずだった。
最初に、前提を揃えた。go test は、同じパッケージを同じフラグで二度流すと、前の結果を使い回す。テストキャッシュという。
| |
二回目の (cached) は、テストを流していない。前の結果を見せているだけだ。-count=1 を付けると、キャッシュを使わずに一回流す。-count は、テストを何回続けて流すかの指定だ。使い回されるのは通った結果だけだが、手元で確かめるときは、毎回流させる。
それから、回数を重ねた。五十回。
| |
| |
--- FAIL が三つ。五十回中、三回落ちた。何回目かを数えると、十回目、三十五回目、四十五回目だった。工房の CI と同じ行で、同じ七反だった。
息を一つ吐いた。
工房で起きていたことが、手元の画面で起きた。少し安心した。手が届く所に来た。同時に、背中が冷えた。この三行を、二週間、私は一度も自分の目で見ていなかった。チャットには「通った」しか残っていない。
表の一列目に「50回中3回」と書いた。
次は、単独で流す。
-run に名前を渡すと、そのテストだけを流す。末尾の $ は、名前がそこで終わるという印だ。似た名前のテストを巻き込まない。
| |
| |
三回。全体で流しても、単独で流しても、同じ三回だった。ほかのテストが先に走ったせいで落ちているのではない。二列目に「単独でも3回」と書いた。
三列目は、順序を変える手だ。
-shuffle を付けると、パッケージのテストの実行順を乱数で並べ替える。値に数を渡すと、それが並べ替えの種になる。同じ種なら、同じ順に並ぶ。種を三つ試した。1、20260406、777。
| |
一つ目の種の結果。
| |
残りの二つも、--- FAIL は三つずつだった。落ちた回も、十回目、三十五回目、四十五回目のまま変わらなかった。
出力の先頭に、-test.shuffle 1 の行が出る。この順で流した、という記録だ。この行があれば、同じ順をもう一度組める。三つの種を、表の欄にそのまま書き写した。
工房のチャットに残っているのは「通った」の一語だけだ。通った回がどの順で流れたかは、どこにも書いていない。
順序を変えても、この組み方の範囲では、落ちる数は変わらない。順序依存の線は、ここで消した。三列目に「順序を変えても3回。seed 1・20260406・777」と書いた。
四列目は、競合検出だ。
-race を付けると、データ競合の検出器を入れてテストを流す。データ競合は、二つのゴルーチンが同じ値を、鍵なしで同時に読み書きすることだ。見つかると、DATA RACE という報告が出る。
| |
| |
報告は出なかった。落ちる数は三回のまま。-run を外してパッケージ全体を -race で流しても、同じだった。
並行性の線も消せる、と思った。ペンを欄に当てて、手を止めた。
報告が無いのは、競合が無いからなのか。検出器が見ていないからなのか。Go の公式ドキュメントで、競合検出器の説明を開いた。この一文があった。
The race detector only finds races that happen at runtime, so it can’t find races in code paths that are not executed.
競合検出器は、実行中に実際に起きた競合しか見つけない。流れなかった道筋の競合は見つけられない。
報告が無いのは、今回流れた道筋で競合が起きなかった、というだけだ。無いことの証明ではない。戻す処理の中は鍵で守っている。それでも、それを確かめたのは、私が流した五十回の道筋の中だけになる。
欄に、消した、とは書かなかった。「-race で報告なし。3回。細った」と書いた。
甲板のほうで、作業員の声がした。
顔を上げると、ヤードの縮帆の小綱が、端から一本ずつ外されていくところだった。最後の一本が外れると、作業員が吊り綱を張り、帆がヤードから離れた。灰色の帆が、少しずつ甲板へ下りてくる。
汐見さんが足場から下りてきた。私の後ろに立って、ノートパソコンの画面の表を見た。
私は、まだ空いている最後の列を指で示した。
「ここだけ、まだです。待ちより長い遅延を入れる手」
汐見さんは、表を左から右へ見た。回数。単独。順序。競合検出。遅延。
「局で解析のツールを書いていた頃に、読んだ論文と、列の分け方が同じです」
ツールを書いていた頃、と私は受け取った。それ以上は聞かなかった。
「不安定なテストの修正を集めて、原因を分けた研究です。Luo ら、二〇一四年。非同期の待ち。並行性。テストの順序依存。その三つが多かった、と」
汐見さんはそれだけ言って、甲板へ下りていく帆のほうへ戻った。
私は検索した。論文は著者のサイトに PDF で置いてあった。Luo、Hariri、Eloussi、Marinov。題は「An Empirical Analysis of Flaky Tests」。ソフトウェア工学の国際会議 FSE の、二〇一四年の論文だった。
冒頭で、flaky の言葉を定めていた。
their outcome is non-deterministic with respect to a given software version.
同じ版のソフトウェアに対して、結果が決まらないテスト。それを flaky と呼ぶ。私の TestReleaseExpired は、まさにそれだった。五十一のオープンソースのプロジェクトから、flaky なテストを直したらしい二百一件の修正を集めた研究だという。そのうち百六十一件を、根っこの原因まで分けている。
三つの分類の定義の一文だけを、順に読んだ。
非同期の待ち(Async Wait)。
We classify a commit into the Async Wait category when the test execution makes an asynchronous call and does not properly wait for the result of the call to become available before using it.
テストが非同期の呼び出しをして、その結果が使えるようになるのを正しく待たないまま、結果を使う。そういう修正を、非同期の待ちに分ける。
並行性(Concurrency)。複数のスレッドが関わって、結果が揺れるもの。内訳には、データ競合、原子性の破れ、デッドロックが挙がっていた。
テストの順序依存(Test Order Dependency)。
We classify a commit into this category when the test outcome depends on the order in which the tests are run.
テストの結果が、テストを流す順に左右される修正を、ここに分ける。
もう一つ、読んで分かったことがある。この論文は、修正のコミットを後から読んで、原因を分類した研究だった。条件を一つずつ変える手順は書いていない。扱っているのも Java のプロジェクトが中心で、Go も、-shuffle も出てこない。
分類の名前は、論文から借りる。条件を一つずつ変えて、どの手でどの線が消えるかを見る表は、私が自分の件のために組んだものだ。その二つを、ノートの上で分けて書いた。
借りた名前を、表の列の上に書き足した。単独と順序の列の上に、順序依存。競合検出の列の上に、並行性。遅延の列の上に、非同期の待ち。
汐見さんが緩めては待っていた小綱が、表の列に重なって見えた。一本ずつ変えて、動いたかを見る。そう思っただけで、甲板の帆のほうは見なかった。最後の列が空いている。
最後の列を流した。
newTestLedger には、-delay という旗を付けてある。値を渡すと、乱数で引く所要時間を、その値に固定する。待ちの二十ミリ秒より長い、六十ミリ秒を渡した。-args のあとに書くと、go test ではなく、テストのほうに渡る。
| |
出力は百三行あった。失敗の二行が五十組と、末尾の三行だ。始まりはこうだ。
| |
同じ二行の組が、下へ延々と続く。終わりはこうだった。
| |
--- FAIL を数えた。五十。
五十回中、五十回落ちた。
戻す処理が待ちより長くかかれば、必ず落ちる。待ちより短ければ通る。落ちる数を動かしたのは、回数でも、順でも、競合検出でもなかった。所要時間と待ちの長さの関係だけだった。
埋まった表を、列ごとに矢印でつないでみた。
調べる場所が決まった。製品の中ではない。テストが二十ミリ秒で待っている、あの一行だ。戻す処理が終わったかどうかを、テストは確かめていない。二十ミリ秒たったら、終わっていることにして在庫を見ていた。
揺れの源は、私が自分で入れたものだ。だから五十回中五十回が示したのは、このテストが所要時間しだいで結果を変える作りになっている、ということまでだ。工房の CI で揺れているのが所要時間だというのは、まだ見立てのままになる。
チャットを開いた。
画面をさかのぼった。「通った」の行を、上から一つずつ指で送って数えた。一。二。三。今日の、私が押した分まで。
九。
数え終えた指が、画面の上で止まった。
九回、通っていた。その九回のどれにも、戻す処理が二十ミリ秒より早く終わった、ということしか書いていない。落ちた九回が、待ち方の問題だったことを、九回の「通った」は一つも打ち消していなかった。
指を画面から離した。CI の再実行のボタンは、ノートパソコンのブラウザの別のタブに開いたままだった。そのタブには触らなかった。
論文に戻った。さっき読まずにおいた所を読んだ。
百六十一件のうち、非同期の待ちが七十四件で、四十五パーセント。いちばん多かった。並行性は三十二件で二十パーセント、テストの順序依存は十九件で十二パーセント。そして、非同期の待ちについて、こう書いてあった。
Their flaky failures can be simply manifested by changing the time delay of such method calls, e.g., decreasing the sleeping time in the test.
sleep などで時間を置いて順序を守らせているテストは、その遅延を変えるだけで、揺れていた失敗を表に出せる。七十四件のうち二十五件が、そういうテストだったという。
私の表が五十回中五十回を出したあとで、論文がそれを後ろから支えた。順番は、それでよかったと思った。先に読んでいたら、私は遅延の列だけを流して、残りの列を埋めなかったかもしれない。
直す手は、待ち方を替えることだった。
ReleaseExpired は、戻し終えたら閉じるチャネルを返している。私のテストは、それを受け取らずに捨てていた。受け取って、閉じるのを待てばいい。チャネルから受け取る <-done は、チャネルが閉じるまで、そこで待つ。
time.Sleep は、何ミリ秒あれば終わるはずだ、という当て推量だった。<-done は、戻す処理の側から「終わった」を受け取る。だから所要時間がいくら揺れても、在庫を見るのは戻し終えたあとになる。
直したテストは、前のものと並べて流せるように after_test.go に置いた。前のテストのファイルには !after、直したほうには after というビルドタグを付けてあり、go test に -tags after を渡すと直したほうが流れる。差分はこうなった。
| |
戻り値を done で受けて、time.Sleep の行を <-done に替えた。変えたのは、この二行だけだ。書き換えたあとのテストは、こうなる。
| |
同じ六十ミリ秒の遅延で、五十回流した。
| |
| |
五十回中、〇回。全部通った。所要時間が六十ミリ秒あっても、テストは戻し終えるまで待つ。三秒あまりかかったのは、五十回ぶん、六十ミリ秒ずつ待ったからだ。
遅延を外して、乱数の列のまま五十回も流した。
| |
| |
こちらも全部通った。十回目、三十五回目、四十五回目の、混んだ回も含めてだ。
製品のほうの ledger.go は、差分に一行も出てこなかった。変わったのはテストの待ち方だけで、在庫を戻す処理は、前と同じ処理のままだ。
それを、テストでも確かめておいた。二つの待ち方を並べたテストを書いて、triage_test.go に置いた。どちらも、取り置きを作り、期限後の時刻で戻し、在庫を返す。違うのは、二十ミリ秒眠って待つか、チャネルの閉じるのを待つかだけだ。
| |
所要時間が一ミリ秒と五ミリ秒の回は、どちらの待ち方でも在庫が十二反に戻る。混まない日は、前のテストも直したテストも、同じ製品の同じ振る舞いを見て、同じように通る。所要時間が三十ミリ秒と六十ミリ秒の回だけ、眠って待つほうが、戻る前の七反を見る。チャネルを待つほうは、十二反を見る。このほかに、戻したあとにもう一度戻しても在庫が増えないこと、つまり取り置きが消えていることも、TestReleaseTwice で確かめた。どれも通った。
戻す処理の中を鍵で守っているのは、もとからだ。直したのは待ち方だけなので、並行性の欄は「細った」のままにした。
直したのは、まだ手元のノートパソコンの中だけだった。工房のリポジトリには、送っていない。
第4幕: 落ちた記録
甲板の左舷に、帆が広げられていた。
汐見さんが言っていた十二メートルの一画に、灰色の帆が裾を手前にして伸びている。作業員が四隅を砂袋で押さえていた。風が帆の上を渡ると、硬い帆布が、ところどころ鈍い音を立てる。
ノートパソコンを閉じて、巻尺を出した。
縫い目のピッチから測った。裾のボルトロープの手前の縫い目が、十センチに七針。手縫いだ。縫い代の幅。継ぎ目の重ね。リーフバンドの帯の高さ。裾から、帯の下端まで。数を、型紙の束の一枚目に書いていく。
手を動かしながら、さっきの表のことを考えていた。
確かめたのは、一つのテストのプロセスの中のことだ。時計は固定した。所要時間は、種を決めた乱数の列か、決めた値にした。実行の順も、種を決めて並べ替えた。その中で、落ちる数を動かすのは所要時間と待ちの関係だ、と分かった。分かったのは、そこまでになる。
確かめていないこともある。-race は、私が流した道筋の中で競合が起きなかったことしか言っていない。
並列の度合いを変える手もある。-parallel と -cpu だ。どちらも、実演には使わなかった。-parallel は、同じプログラムの中で t.Parallel() を呼ぶテストを、いくつ同時に流すかの指定だ。私のテストは t.Parallel() を呼んでいないので、効かない。-cpu に値を並べると、同じテストがその数だけ組み立て直され、共有の乱数の列を余分に引く。落ちる数そのものが変わってしまい、何が動いたのかを一つずつ見る表にならない。
工房の CI では、事情がまた違う。CI はパッケージをいくつも同時に流す。-parallel が効くのは、一つのテストのプログラムの中だけだ。パッケージどうしを同時にいくつ流すかは、-p という別の指定に従う。
CI のマシンの混み具合も、日によって違う。戻す処理に付いた帳票の書き出しも、混む日には遅れる。所要時間が揺れているのは、そのあたりのせいだろう、と私は見ている。けれど、それは見ている、というだけだ。手元で決めて入れた揺れが、工房の CI の揺れと同じものだと、今日の実演で確かめたわけではない。
巻尺を巻き取った。
型紙の一枚目が、数で埋まった。
汐見さんが、帆の向こう側で作業員と話していた。私は帆のふちを回って、そちらへ歩いた。
「汐見さん。さっきの表、最後の列まで埋まりました」
遅延を六十ミリ秒にすると五十回中五十回落ちたこと。チャネルの閉じるのを待つ形に直すと、〇回になったこと。それを短く伝えた。汐見さんは野帳を出し、今日のページの下に、私の言った数を書き足した。
「今日の野帳、写させてもらえますか」
汐見さんは胸ポケットから野帳を出し、今日のページを開いた。それを帆の上に置き、近くの砂袋の脇から拳ほどの石を一つ拾って、ページの端に載せた。
それから、足場の梯子のほうへ戻っていった。ヤードに残った索を片付ける段取りを、上の作業員に声で伝えている。
私は帆の脇に膝をつき、型紙の束の一枚目の余白に、野帳の文字を写しはじめた。ボールペンで、一行ずつ。風で野帳がめくれそうになるたび、石がそれを止めた。
見たこと。思ったこと。調べ方。項目の下に、短い文が並んでいる。
船について、の行で、ペンが一度止まった。縮帆の小綱のことが書いてあった。
ペン先を紙から上げずに、続きを写した。
写し終えて、野帳を閉じた。石を元の砂袋の脇に戻した。足場の下で、汐見さんがこちらを見上げた。私は手を上げた。汐見さんも、手を上げて返した。
夕方になっていた。
ドックの外の駐車場で、工房の軽バンの運転席に座った。西風がまだ強く、車体が時々揺れる。フロントガラスの向こうで、ドックのクレーンの先が、夕日で赤くなっていた。
携帯が震えた。チャットだった。
「すみません、また赤です。再実行していいですか」
小池さんだった。直したテストは、まだ工房には送っていない。工房の CI では、同じテストが、同じように落ち続けている。十回目だった。
私は、CI の再実行のボタンを押さなかった。
ノートパソコンを膝に開いて、工房の課題の一覧で、新しいチケットを開いた。題に TestReleaseExpired と書いた。本文の一行目を書いた。
「TestReleaseExpired:-count=50 で50回中3回落ちる(10・35・45回目)。-run 単独、-shuffle=1・20260406・777、-race でも同じ3回、DATA RACE の報告なし。-delay=60ms で50回中50回。待ちの time.Sleep(20ms) が、戻す処理より短い回に落ちる。CI の所要時間の揺れは未確認」
通った回数は書かなかった。
二行目以降に、表の列とコマンドを貼った。直したテストの二行の差分を、チケットにつないでコミットした。工房のリポジトリへ送った。
それから、小池さんに返した。
「押さないでください。待ち方が原因とみて、手元で確かめた直しを今送りました。CI が回り終わったら、受注画面の更新を出してください」
送信して、ノートパソコンを閉じた。
野帳の写し
- 見たこと: ヤードの小綱を一本ずつ緩めました。一本目・二本目と、四本目からあとの畳んだ帆を留める小綱は、緩めた下の帆が垂れました。三本目は垂れませんでした。檜山さんの件:
-count=50で50回中3回落ちました。単独・順序を変えた3つの seed・-raceでも同じ3回で、DATA RACEの報告はありませんでした。戻す処理を60msに固定すると50回中50回落ち、<-doneで待つと0回でした - 思ったこと: 小綱は全部、畳んだ帆を留めるものだと見ていました。三本目で、その見立てが外れました。縮帆の小綱でした。檜山さんは、再実行で通るならコードは壊れていない、と見ていました。落ちる数を動かしたのは、戻す処理の所要時間と、テストの待ちの長さの関係でした
- 調べ方: Flaky テストの切り分け。同じコードで結果が揺れるテストについて、条件を一つずつ変え、落ち方がどの条件に依存しているかで原因の種類を分けます。分類の名前は Luo ら(2014)の非同期の待ち・並行性・テストの順序依存です
- 固定したもの: 落ちた回の条件を書き出した表(seed・回数・手ごとの結果)。戻す処理の所要時間を
-delayで固定して流すテスト。時計と所要時間はnewTestLedgerがbuildLedgerに渡します - 変えていないもの: 待ち方を直した差分では、製品の
holdパッケージは一字も変えていません。比べたのは在庫数と、取り置きが消えていること。所要時間が待ちより短い回は、二つの待ち方で一致しました。処理時間とログは比べていません - まだ見ていない所:
-raceが流していない道筋の競合。並列度(-parallel・-cpu)を変える手。CI のパッケージ間の並列(-p)。CI のマシンの速さの差そのもの - 船について: 主帆の縮帆の小綱が、リーフバンドの穴の列に沿って、ヤードに結ばれたまま残っていました
参考
- Qingzhou Luo, Farah Hariri, Lamyaa Eloussi, Darko Marinov, “An Empirical Analysis of Flaky Tests”, FSE 2014: https://mir.cs.illinois.edu/marinov/publications/LuoETAL14FlakyTestsAnalysis.pdf
- Go, Data Race Detector: https://go.dev/doc/articles/race_detector
