ヤフーVPoEが語る、事業に貢献するデータサイエンスの基盤技術とは

最先端のインターネット技術を活用して一人ひとりのユーザーに最高の体験を提供することは、ヤフーにおける事業目標の一つです。その重要な目標を担うサイエンス統括本部では、データ活用や機械学習、深層学習、検索技術、画像処理などの基盤技術を蓄積し、サービスへの実装を進めています。今回はVPoEである飯塚正一が、実際のサービスに導入された事例を中心に、それらの基盤技術やエンジニアの仕事について語りました。

プロフィール

AI活用のチャレンジを繰り返し、広告のクリック予測を大幅に改善

サイエンス統括本部は、AIに関わるサービス開発やサービス改善を担う部署です。これまで培われた基盤技術を活かした事業サイド・サービスサイドとの連携には、大きく二つの流れがあると考えています。

例えば、ヤフーの「Yahoo!ディスプレイ広告（運用型）」には、何百万という広告バナーがストックされています。そこで重要なのは、ユーザーがどんな広告バナーをクリックするかを予測することです。

事業サイドには、クリック率などの予測精度をより高めたいというニーズが常にあります。そのために、サイエンス統括本部が新しい機械学習モデルを作り、サービス側に提供する。事業サイドからは、モデルを活用した改善効果や課題などのフィードバックを得られる。それらをもとに、さらに改善を続けていくわけですね。

このように新規開発・改善・運用の課題を受けて、サイエンスチームが基盤技術を使って開発を進めることを、私たちはオーダーメイド開発と呼んでいます。

一方で、サイエンス側で開発した汎用的な仕組みによりサービス側に提案して使ってもらうレディメイド型スタイルもあります。一つひとつをカスタマイズするわけではありませんが、一つの仕組みが複数のサービスに適用されることもあり、全社的な技術向上やサービス向上が期待されます。

クリック率の予測は昔からある技術です。例えばYahoo!ニュースやYahoo!知恵袋などのサイトを訪れたユーザーがクリックしそうな広告を、何百万件のストックのなかから瞬時に選んで表示します。それは、ユーザーの検索や閲覧履歴などのデータと広告との関連度をスコア付けしているからです。

そのアルゴリズムは、かつては集計ベースのモデルというシンプルなものでした。しかし近年はAIを積極的に導入することで、急速に進化するようになりました。私たちも機械学習やディープラーニングを用いたディープニューラルネットワーク（DNN）などを導入して、より複雑かつ精度の高いモデルを構築しています。

クリック率予測の精度が高まれば、商品の売り上げも向上するので、事業の成長に直結します。毎年数％の精度向上だとしても、何十億円という数字になります。一見地味な改善ですが、これを複利的に積み上げてきた歴史がヤフーにはあります。

より精度の高いモデルを開発するためには、データや広告がそれぞれ適切なレギュレーションに基づいて整備されていなければなりません。さらに、高速で使いやすいモデリング環境が整っている必要があります。マルチビッグデータを最大限に活用できるプラットフォームの提供を担うデータ統括本部と一緒にこうした環境を構築してきたおかげで、私たちは何度もチャレンジを繰り返すことができます。

データサイエンスにおけるヤフーの強みは、一つにはマルチビッグデータを保有していること。もう一つは、データサイエンスの基盤となるデータ環境が整っていることです。その基盤上で、モデル開発を継続できることは大きな利点ですね。チャレンジの回数が多ければ多いほど、成功確率も高まりますから。

商品検索のリクエストをどのカテゴリーで表示するか

定性的な改善も、サイエンスチームの重要なミッションです。例えば、あるユーザーがショッピングのサイトで、ドリンクの「メロンソーダ」を探しているとします。かつては「メロンソーダ色のお皿」「メロンソーダ味の歯磨き粉」など、商品名や商品解説に「メロンソーダ」という文字を含む商品が検索リストに表示されることがありました。

また、実際にそれらの検索クエリから皿や歯磨き粉の検索や購入履歴があった場合、一緒に上位にランキングされてしまうことがあったんですね。しかし、ユーザーは「メロンソーダ」そのものを求めているので、本来のユーザーの意図を理解しているとはいえません。

対策としては、一つのクエリに対して、それが属するカテゴリーをきちんと予測することが必要になります。メロンソーダと検索したら、歯磨き粉がトップに来るのではなく、まずは、本来求めている飲み物のカテゴリーの商品を優先して表示したほうが、多くのユーザーにとって期待通りの結果になるわけです。

このようにUI/UX的な観点から、検索技術を改善することも、私たちの仕事です。その技術を実際に導入するかどうかは、サービスサイドの判断になりますが、その可否については私たちもサービス担当者と一緒に議論することになります。

サイエンス部門の技術ですべての検索リクエストに応えるというよりは、Yahoo!ショッピングのUI/UXにおける意思決定を、私たちが支援することが大切だと考えています。

一人あたり1万件の特徴量分析でコンバージョン率を測る

サイエンス統括本部のレディメイド開発に「Yahoo! User Profile」と呼ばれている仕組みがあります。これはヤフーのサービスを利用しているユーザーのデータから数百のユーザー属性をラベル付けしたものです。直近、こちらの派生系として、一人ひとりのユーザーのコンバージョン率やリテンション率などをスコア付けする仕組みを用意しました。

スコア付けには、約1万件もの特徴量を検出してモデル化を行います。例えば特別セールを案内するダイレクトメールを、コンバージョン率の高いユーザーに限定して送信するなどの施策が打てるんですね。

以前はこうしたダイレクトマーケティングを手動で行っていましたが、近年では私たちが配信モデルを作ったり、メールの配信を完全自動化したりなど、マーケティング施策に貢献しています。

このモデル化のメリットは、一つのモデルを複数のサービスに導入できることです。一つのモデルをクローンで増殖させて、あらゆるサービスに導入する。現在は、Yahoo!ショッピング、ヤフオク!など、さまざまなサービスに導入されています。

ヤフーは多彩なサービスを展開しています。そこから得られるデータの活用・運用をエンジニアだけでなく、誰もが扱えるようにシステム化していく。そうでないと、真の意味でのデータの利活用にはなりません。

実際、Yahoo! User Profileプロジェクトによって、マーケティング施策のコストが削減され、より深いサービスが提供できるようになり、事業部からは高い評価を受けています。このプロジェクトが始まってまだ1年足らずですが、モデル開発のためのデータ環境はすでに整っています。

最近は、MLOps（機械学習基盤）という機械学習チーム、開発チーム、運用チームが開発工程と運用工程をパイプライン化し、データ処理やコミュニケーションを円滑にする考え方が広まってきました。私たちも、その実現に取り組んでいるところです。

説明できるレコメンデーション。ユーザーのサービス体験をよりリッチに

私たちがいま取り組んでいるのは、説明性のあるレコメンデーションです。例えば、ラグジュアリーホテル・高級旅館の予約サイト「一休.com」では、レコメンデーションに表示されるホテルや旅館の特徴も一緒に表示しています。「夜景が美しい」「夕食に地物の魚が出る」「露天風呂がロマンチック」といった説明と併せてお勧めするという仕掛けです。このように、一休でうまくいった事例をヤフーのサービスにもスケールさせようとしています。これもZホールディングスグループの強みですね。

「ebookjapan（イーブックジャパン）」のアプリなら、例えば「恋愛×バトルアクション」というキーワードを付けてお勧めするなど、ユーザーがより興味が説明とともにレコメンデーションを該当条件で絞り込んで提案する仕組みです。

その他、レコメンデーションをある条件に絞った提案もしています。UI/UXに合わせて多種多様な条件が考えられるため、これまでの技術ではデータが膨大になり実用的ではなかったのですが、検索エンジンを用いた仕組みにアップデートすることで、リアルタイムに対象商品を表示できるようにしました。結果、説明性のあるレコメンデーションを現実的に提供できるようになっています。

究極的にはユーザーが何気なくサイトを見ているときに、「こんなマウスパッドはいかがですか。送料無料です」といった広告を表示する。この場合、マウスパッドというのはそのユーザーの購入履歴からAIが判断した商品ですが、その商品をお勧めする説明があれば、ユーザーの納得感、そしてコンバージョン率は高まるでしょう。

ユーザーの無意識に要望している商品やサービスを、先取りして提案する。そうしたUX向上を意識した新しいサービス提供にも、私たちサイエンス統括本部の基盤技術が活かされていると考えています。

基盤技術でいえば、レコメンド以外にも、言語処理系や画像処理系のAPI開発、音声処理に関するSDK開発など、さまざまな技術があります。それらを積極的にサービス側に活用してもらい、ヤフーの事業全体を成長させていくことが、私たちの最重要ミッションです。

エンジニアの提案がすぐにでも事業に反映される風土もあります。そうした風通しの良い連携が常時行われていることも、魅力の一つだと思います。

研究開発の学会発表を積極的に支援。成長意欲の高いエンジニアを歓迎

私たちは技術の進化をウォッチしながら、常に新しいテクノロジーに取り組む必要があります。そのためにYahoo! JAPAN研究所の協力も得ながら、メンバーの学会発表や論文執筆も積極的に支援しています。

これは単に技術レベルを高度化するだけでなく、私たち自身の仕事が、世界のデータサイエンス界の知見によって成り立っているからです。情報を受け取るだけでなく、私たちからも情報を発信して貢献したいという思いがあるのです。

サイエンス統括本部でも、論文輪読会やサイエンスシェア会などの勉強会が頻繁に開催されています。自然言語処理や音声処理のエキスパートもたくさん在籍しています。その知見を社内で共有し合い、いろいろな刺激を受ける機会を持つことで、エンジニアの成長を促すのだと考えています。

こうした成長機会を積極的に活用できるエンジニアを歓迎します。機械学習やAIの知識や経験はもちろんあるほうが望ましいのですが、それ以上に大切だと思うのは、その人自身の学習意欲、成長意欲。実際、成長意欲の高い人のほうが社内でも活躍しています。

また、サービスについての考えを持っていることも重要です。ヤフーは「これからのヤフーのサービスはもっとこうしたほうがいい」といったアイデアを出してくれる人に活躍の余地があります。そうした発信や働きかけができる人こそが、楽しめる職場だと思います。