Featured image of post サイトの構造が変わると、空のデータを黙って保存してしまう。検証を差し込む口を作る【フックメソッド】

サイトの構造が変わると、空のデータを黙って保存してしまう。検証を差し込む口を作る【フックメソッド】

サイトの構造が変わって要素が見つからなくても、スクレイパーは空の結果をそのまま保存して終わる。処理の流れに validate_data() を差し込み、既定では何もせず、必要な子クラスだけが検証を書けるようにします。空の HTML で検出できることも確かめます。

Featured image of post スクレイパーをコピペで2本に増やしたら、直す場所が2倍になり直し漏れが残る【コピペの限界】

スクレイパーをコピペで2本に増やしたら、直す場所が2倍になり直し漏れが残る【コピペの限界】

ニュース用のスクレイパーをコピペして天気予報用を作ると、ほとんど同じコードが2本並ぶ。エラー処理を1つ直すにも全部を触り、バグはコピー先に残る。何が重複していて何が違うのかを洗い出し、このままでは破綻する理由を確かめます(DRY 原則)。