Crawl Budget

ロングテールという言葉が初めて出てきたのはいつだっただろうか。

売れ筋の少数ではなく、ニッチの集合が全体の大半を占める。Amazonの売上の過半数はベストセラーではなく、ほとんど誰も知らない商品群から来ている。この概念がSEOと結びついたとき、検索の世界が変わった。ビッグワードを奪い合うのではなく、無数のスモールワードを拾い集める。

当時のSEOは胡散臭かった。隠しテキスト、キーワードの詰め込み、リンクファーム。Googleに見せるページと人間に見せるページを分けるクローキングという手法まであった。ペナルティの対象だったが、やる業者は後を絶たなかった。検索順位が金に直結する以上、グレーゾーンを攻めるインセンティブは常にあった。

時代が変わって、GoogleはSEOを敵視するのをやめた。むしろクローラーが正しくコンテンツを読み取れるよう最適化することを推奨するようになった。構造化データ、メタタグ、サイトマップ。かつてはスパム扱いされていた技術の一部が、正規の手段として公認された。検索エンジンに合わせてコンテンツを整えることが、ペナルティではなくベストプラクティスになった。

SPAが普及したとき、この話が複雑になった。JavaScriptでレンダリングされるページをGooglebotがまともに解釈できなかった時代がある。クライアントサイドで組み立てたDOMをクローラーは見ない。せっかく作ったページが検索結果に出ない。Dynamic Renderingと名のついた手法でクローラーにだけ別のHTMLを返すわけだが、結局それは人間ではなくクローラーのために仕事をしているということだ。かつてペナルティの対象だったクローキングと、やっていることの本質は変わらない。

考えてみれば、SEOとはGoogleという一企業のアルゴリズムに最適化する行為だ。Googleがルールを変えれば全員がそれに従う。検索順位が落ちれば売上が消える。自分のサイトなのに、真の支配者はGoogleだ。

わたしたちはクローラーのためにコードを書いている。それを「顧客流入の最適化」と呼んでいるだけだ。