研究者とエンジニアの二刀流　NLP（自然言語処理）でサービスをより便利に

自然言語処理（Natural Language Processing：NLP）を約20年研究し続けているYahoo! JAPAN研究所の鍜治に、研究内容やサービス側に兼務しながらどのように研究を進めているか、研究者として大切にしていることなどを聞きました。

目次

• NLP（自然言語処理）とは
• サービスと連携しながら研究を進める
• 研究者としてサービスに関わる上で意識していること
• 研究者とエンジニアの二刀流でサービスに貢献、ユーザーに良いサービスを届けたい

NLP（自然言語処理）とは

NLP（自然言語処理）は、近年「AI（人工知能）」といわれているなかの１つと言えると思います。コンピューターが人間の言葉、たとえば日本語の読み書きができるようなコンピューターをつくるという研究分野です。
具体的に言うと、たとえば、ある記事を人間が読むと、「ウクライナのニュースが書いてある」「誰かの悪口が書いてある」などとわかると思います。それと同じことがコンピューターにもできるようになるのが自然言語処理です。また、最近では読むだけではなくて、小説を書いたり、翻訳したりすることもできます。

自然言語処理でできること

人ができることを機械にやらせるメリットは、まず、疲れないでずっとやってくれること。それこそ24時間、ユーザーからのリクエストに対応することも可能になります。 また、機械ならとても速く処理することもできます。

サービスと連携しながら研究を進める

現在は、ショッピングサービスでエンジニアとして開発し、研究者として研究もしています。私は、研究者として論文を書くだけではなく、サービスの中に入ってユーザーに実際に使われるもの、技術をつくりたいという思いがありました。研究内容がサービスに反映され世の中に出て使われることで、世の中を少しでも良い方向へ変えたいと思っています。

入社後、研究内容が最初に反映されたのは、「リアルタイム検索」です。2016年のオリンピック開催中に、「日本人がメダルを獲得したなど、スポーツ関連の記事がバズったら通知したいので、バズった記事のジャンル分けをしてほしい」という依頼がありました。リリース後に、Yahoo! JAPANアプリからこの通知がきたのを見たときは、とてもうれしかったのを覚えています。

そのほかには、これまで以下のようなサービスに関わってきました。

1）音声アシスト

ユーザーと雑談形式で対話できるヤフーの音声アシスト（※）というアプリに関わっています。
朝、出かける前に「今日の天気を教えて」などと話しかけて天気を確認するような使い方が多いのですが、なかには「今日ちょっと嫌なことがあって」など、グチを話したり雑談したりしているユーザーもいらっしゃることがわかりました（具体的な内容ではなく、一例です）。

※音声アシスト：
話しかけると声で答える無料アプリ（Android版のみ対応）。雑談形式で音声検索、路線探索や天気の確認、端末操作などができる。

それをきっかけに、「雑談ができる音声アプリ」をつくりたいと考えました。それまでのユーザーから何か話しかけられたらそれに対して返すという受動的な反応ではなく、たとえば朝、音声アシストからユーザーに「今日は寒いですね」「今週は、コロナがずいぶん収束してきましたね」など、ニュースや天気予報をネタにして自分から話しかける仕組みを研究していました。

音声アシストアプリが話しかけることで、ユーザーのエンゲージメントを高めたり、そのサービスを最近あまり使っていないユーザーに思い出してもらったりできれば、その結果、アクティブユーザーが増えるのではないかと考えました。

2）Yahoo!検索のスペル訂正

ユーザーがウェブ検索をする際、キーワードの入力ミスや漢字の変換ミスをすることがあります。
それによって、探している情報にたどりつけないユーザーが増えてしまったり、ユーザーが再検索し直したりする必要があるため、それらを自動で修正して、正しい内容で検索した結果を表示するという「スペル訂正」機能を提供しています。
この機能では、正しいキーワードに自動で書き換えを行う機械学習モデルを使っています。

研究者としてサービスに関わる上で意識していること

研究者としてサービスに関わる上で意識していることは、自分の理想を押しつけないことです。
研究をしていると「こういう問題にはこの技術でこうやるのが一番いい」と事前にわかっていることもあります。ですが、サービス担当者からしたら、たとえば「GMV（流通取引総額）を上げなければならない」など、私たちからは見えないサービス独自の事情があることも。
研究者の目線で選ぶ技術と、サービス側が抱えている事情の両方を踏まえて、調整していくことを意識しています。

サービス側から要望をもらうときは、まず達成したい目標だけをシンプルに伝えてもらえる方が進めやすいですね。「達成したいのはこういうことだから、これを実現する方法を探してほしい」とだけ言ってもらう方が、使う技術や手法の自由度が上がるので、本当にいいものをつくることに近づきやすいと思います。

たとえば、先ほどのスペル訂正で言うと、「ウェブ検索のスペルミスが多いので減らしたい」とだけ伝えてもらえたらいい、というイメージです。

研究者とエンジニアの二刀流でサービスに貢献、ユーザーに良いサービスを届けたい

Yahoo!ショッピング、ヤフオク!などには、何億件という商品データがあります。今後、これらのデータベースをもっと使いやすくしていきたいと思っています。
商品タイトルや説明文はテキスト、そして商品画像もあるので、それらの情報を総合的に使いながら、データの構造化（検索エンジンがページ内容を理解しやすくなるデータ形式にすること）にチャレンジしたいと考えています。最近は、テキストも画像もシームレスに扱えるようになってきたので、この研究に力を入れていきたいですね。

また、これはまだ構想ですが、昨今のSNSにおける誹謗（ひぼう）中傷やフェイクニュースなどの課題にも、NLPの研究を生かせたらと考えています。
機械的にニュースの真偽を判断することは難しいと思うので、その一歩手前ぐらいでユーザーが正しい情報を得られるようにサポートしたいですね。
たとえば、特に偏った意見には「こういう（反対側の）意見もありますよ」「中立の立場からの意見もありますよ」と別の意見にもふれやすくするだけでも、デマや悪意のあるコメントなどに引き込まれてしまう人を減らせるかもしれないと思います。

私は、「誰かが喜んでくれるために」技術を使うこと、研究していくことを一番大事にしています。
今はサービス担当者と向き合っていることが多いので、まずはサービスの人が抱えている課題に一緒に取り組み、サービスを改善していきたいですね。
これからも、研究者、そしてエンジニアとして、研究と開発の両方を続けながらサービスに貢献し、より良いサービスをユーザーに届けていきたいと思います。