CSR

最先端の自然言語処理モデルを使用したYahoo!ニュースのコメント対策

ヤフーニュースのコメントでニュースに気付きをのロゴマーク

Yahoo!ニュースでは、コメント欄について、「ニュースや世の中のできごとに関連する多様な意見や考え、感想があつまる場所であること」「コメント欄で他の人の意見や考えに触れることが、自分の考えを改めて整理したり、ニュースをより深く、多角的に理解したりするきっかけを作ること」などをポリシーとして運営しています。


そのため、記事との関連性の低いコメントや、人権侵害や誹謗(ひぼう)・中傷、ヘイトスピーチ、不快な内容を含むコメントなどを明示的に禁止するとともに、専門チームによるパトロールマルチポスト対策複数アカウントからの投稿の制限、不適切コメントの自動検知など、さまざまな対策を講じてきました。

2019年12月には、これらの対策に加え最先端の自然言語処理モデルを使用した「記事との関連性の低いコメント」への対策を開始しました。
従来のニューラルネットワークを用いた自然言語処理モデルでは、1コメント単体の判定は可能であるものの、「記事とコメントの関連度」については判定が困難だったため、機械的な対策については技術的課題がありました。
そこで、最先端で強力な深層学習ベースのアーキテクチャである「Transformer」およびGoogleの研究者が発表した画期的な自然言語処理モデルの「BERT」を使用し、そのために必要となる巨大なデータの学習に圧倒的な処理性能をもつスーパーコンピュータ「kukai」をコメント対策に活用しました。
これにより、記事とコメントの関連度の機械的な判定が投稿時に即座にできるようになり、パトロールの専門チームの確認を経た削除までの時間が飛躍的に短くなりました。

今後も、人的パトロールと技術的な課題解決の両輪を強化して、安全してご利用いただけるようサービス運営に努めていきます。

2020年3月掲載

関連リンク

このページの先頭へ