クラウドオペレーターアワード2021受賞！ ──「超PayPay祭」のインフラを支えたヤフーエンジニアの底力

ヤフー全体の開発組織は、サービス開発を行うサービス組織と、その基盤を開発・運用するプラットフォーム組織があります。今回のセール対策ではサービス組織側から私と小中さん、プラットフォーム組織からは大岩さんが担当として招集されました。
サービス組織の主な役割は、想定されるサービスへの負荷見積もり、要求されるマシンリソースやネットワーク通信量の算出、過負荷時のアプリケーションレイヤーでの対策でした。プラットフォーム組織側は、サービス側から要求されたリソースの確保、各プラットフォームのSLO（サービスレベル目標）の遵守が任務になります。
「超PayPay祭」は経営層からの期待も高く、なによりユーザーのために、当日のサービスダウンは絶対に許されないという思いをもっていました。まずは「ユーザーが確実に商品を買えること」が大前提。それにプラスアルファとして、検索やトップページへの閲覧導線など、Yahoo!ショッピングに訪れたユーザーが使う基本的な機能はストップさせないことが目標でした。

私たちプラットフォーム組織は、ショッピング事業部から共有された情報をもとに各プラットフォームのリソースを割り当て、常に安定したプラットフォームを提供することがミッションです。例えば、これまでもショッピングの大規模セールにてネットワーク帯域に懸念がある状態となっていたことに対して事前対策を行っていました。

グランドフィナーレの前日までは、なんとか持ちこたえていました。しかし、還元率が最も高いグランドフィナーレの最終日、深夜0時になった瞬間から見積もりの数倍規模のアクセスが殺到。 その負荷でカートシステムがクラッシュし、商品を購入しようとしても、ユーザーがカートのページにたどり着けない状態になってしまいました。われわれの予想をはるかに超えるアクセス数だったのです。

だいたい深夜2時には待機は終了し、解散という予定でしたね。

そのままでは同じ商品がいくつも届いてしまうため、セール後に対象の注文をすべて抽出し、キャンセルの処理をしました。その結果、同じ商品が何個も届いてしまう事態はなんとか避けられました。
とはいえ、なかなか商品が買えなかったので、SNSでもご指摘の声がありましたね。

注文履歴に反映されないことでご不安を招いてしまい、サイトから離脱するユーザーも多かったようで、大変なご迷惑をお掛けしてしまいました。また、ビジネス面で見ても、セールによる売上の期待値に対して約34％の損失が発生したことが後日判明し、 出店いただいているストア様にも大変なご迷惑をお掛けしてしまったとともに、ヤフーにとっても大きな機会損失となりました。

影響が大きかったので、正直厳しい声も覚悟していたのですが、むしろ多くの社内の人から、「大変でしたね」「頑張って」と温かい言葉をかけてもらえました。こうした障害は自分の部署でも起こりうること。「けっしてひとごとではない」「今後の障害対策はどう進めるのか、参考にしたい」という声も寄せられました。

それまでの対策は、すべて予測負荷が前提で成り立っていました。例えばセールなどの特定イベントは、今年度の予算を前年度の予算で割り、前年度と同じ負荷を掛けることで、今年度の負荷を予測していました。
つまり、売上目標である予算が2倍になれば、負荷も2倍になる予測方法です。これまでは、その方程式が現実から大きく乖離することがなく、多少の誤差に対応できるだけのバッファは用意していたので、それを盲信していたところがありました。
しかし本当に必要なのは、予測された負荷を耐えるのではなく、流入を完全に読み切ることはできない前提で流入制限をかけたり、特定のコンポーネントが過負荷によってダウンした際にサービス全体がダウンしないように構成を改善したりなど、予測を超えてもサービスを継続できるようにする考え方だったのです。それが「予測困難な負荷に対する負荷対策」です。

2020年の「超PayPay祭」直後に想定していた計画は現実的に不可能ですから、3月までに実現可能な対策を検討せざるをえませんでした。時間がないという状況が一番つらかったですね。

詳細については、CODT2021に登壇した動画にてご確認いただけますが、重要なポイントは、高負荷時にユーザーのアクセスをあらかじめ流入制限する考え方を導入したことです。サービスにさばききれない高負荷が押し寄せた際は、システム全体のダウンを防ぎながら、最低限、商品購入可能な状態を維持するわけです。
そのために、私たちは「RateLimit（レートリミット）」という技術を導入しました。カートページがダウンしない程度で流入を制限し、ページにアクセスできなかったユーザーには、「ただいま混み合っているので、もう少しお待ちください」というアナウンスページに誘導し、しばらく入場を待っていただくのです。

機能に関しては、すべてショッピングの経営層に必ず承認を得て導入するプロセスだったので、そこは納得していたと思います。

ヤフーは自社のプライベートクラウド上に、IaaS、PaaS、CaaSを構築してさまざまなサービスの基盤としています。プライベートクラウドで大規模セールを運用していくためには、必要となるリソースの把握や大規模セールが影響する対象の把握、突発事態を想定したリソース確保が重要です。
コンポーネントが大量に動くサービスの場合、プラットフォーム側も全体像の把握が難しいという課題もあります。実際、2021年秋の「超PayPay祭」でも、渦中にキャパ不足となり、当日緊急にスケールアウトする利用者が現れました。
3月の「超PayPay祭」では、事前対策としてサービス側との連携をこれまで以上に強めて、サービス側のコンポーネントの構成図を共有。システムのボトルネックを洗い出し、本番同様の試験を繰り返し実施しました。余剰リソースを社内から500台近くかき集め増強対応を実施することになり、その模様を「爆速増強祭り」と自身では呼んでいました。

ほとんどなかったですね。これまではサービス側から話を聞いて、プラットフォーム側はリソースを用意します。運用はサービス側に任せて、何かあったら対応するといった具合です。しかし、3月の「超PayPay祭」の対策では、負荷試験の設計もともに実施し、試験当日も一緒にシステムの挙動をチェックしました。システム全体のアーキテクチャについても、徹底的に話し合って対策を練りましたね。

それはプラットフォーム側も同じですね。サービスが何を求めているかを具体的に知ることができたのは、プラットフォームの改善にも大きく役立っていると思います。

プライベートクラウドは、ヤフーのような大規模利用ではパブリッククラウドに比べてコストが安くなることが大きなメリットです。ヤフーは膨大なユーザー情報を扱うので、それを安易にパブリッククラウドには置けません。 さらに、さまざまな社内システムと連携し、大規模にクラウドを運用しているので、開発のしやすさでもやはりプライベートクラウドのメリットが大きいと思っています。
ただ、前年の12月の時点で翌年3月までに対策をたてる必要があったため、例えば会社のデータセンターにサーバーやラックを増設する方法は時間的にも人手的にも大変。パブリッククラウドなら手軽にスケールアウトできます。そうしたメリット、デメリットをあらためて認識することができました。

プラットフォーム側は、「超PayPay祭」だけではなく、例えばYahoo!ニュースなど、ヤフーすべてのサービスを支えています。その後もオリンピックでYahoo!ニュースのアクセスが爆発的に増えるなど、一時的な高負荷がありましたが、「超PayPay祭」の経験がその対策にも役立ちました。

一つのシステムで障害が起こった場合、サービス全体にどういう影響を与えるのか。そのコンポーネントレベルではなくて、システム全体に与える影響を見たうえでの対策はどうなのか。サービス全体を俯瞰する視点を得られたのが、今回の最大の教訓だと思います。

サービス運用において、負荷の問題は避けては通れない問題ですが、障害の内容をどこまで話したらいいかは迷いましたね。

オンラインイベントだったので、来場者の生の反応は見られなかったのですが、Twitterでは「うちもRateLimit入れてみようかな」など、それなりの反響がありました。

3月の取り組みは初めてだったこともあり、うまくいかずに次回持ち越しになっていた案もあったのですが、そこで見えてきた改善ポイントを現チームに伝えました。

今年どう動くかは、担当者の考え方次第なので、深く介入はしないものの、何か相談を受けたときは何でも率直に答えるようにしたいと思います。

ヤフーはサービスの多様さに加えて、トラフィックの規模は国内有数です。それを開発し運用していく難しさは、他企業ではあまり経験できないことだと思います。そこにやりがいを感じているし、同時に課題でもあると思っています。
そのなかで自分が大切にしていることは、あらゆる角度からリスクを想定する視点です。サービスの規模が非常に大きいので、ユーザーの動きが予測しにくい。自分が関わっているシステムがどんなリスクにさらされる可能性があるのか、それを予測するのは大変なことです。しかし、それを考えて技術を磨いていくのは、エンジニアとしてのプライドであり、面白みのあることだと思います。

私がヤフーに魅力を感じているのは、日本最大級規模のプライベートクラウドを自分で設計・構築・運用できること、それに尽きますね。日本でこの規模のプライベートクラウド基盤を運用できるのは、ヤフーだけと言っても過言じゃないと思っています。
しかもクラウドを単に運用するだけではなく、そのうえで自社のさまざまなサービスを展開している。インフラがユーザーとの接点になるし、事業の収益源にもなる。サービスチームと連携しながら、技術的な努力や工夫を日々重ねることで、ユーザーの皆さんに安心して利用してもらえる。 ずっと縁の下にいて私はかまわない。みんなを支えているということが、私の大きなやりがいになっていますから。