キャリア

エンジニア部門

データプラットフォームエンジニア(AIプラットフォーム/データ基盤/DBA)

[東京] [大阪] [福岡]

データ利活用を支えるデータプラットフォームの開発、運用を担当

業務内容

ヤフーは、メディア、広告、検索、コマース、決済金融など多岐にわたる事業を通じて、日々大量のデータが蓄積されます。
本職種では、それらのデータ利活用を支えるために、データの蓄積・分析基盤のための分散コンピューティング環境を全社へ提供しています。

<担当いただく領域> ※担当領域および業務内容は、選考の過程で決定します。

【AIプラットフォーム領域】
社内のデータサイエンティスト向けに、機械学習のためのサービスやツールを提供し、AIプラットフォームを実現するための仕組み作りを目指しています。
本領域ではAIプラットフォームを実現するためのサービスやツールの開発、それらの保守・運用を担当いただきます。
また、利用方法に関する問い合わせ対応や、要望への対応、利用促進活動も行っていただきます。
<主な業務内容>
・マルチテナント大規模Kubernetesクラスタの提供
・上記Kubernetes上での機械学習向けミドルウエアやAPI、フレームワークの提供
こちらの資料(過去に社外のAIカンファレンスで発表した資料)で本領域の詳細をご覧いただけます。

【データ基盤領域】
スケールする分散システムを提供するというミッションのもと、HadoopやTrinoといった分散ミドルウエアのシステム構築を行い、これを全社向けに提供しています。
現在はミドルウエアレイヤーの開発・運用のほか、以下の課題に取り組んでいます。
・スケールさせるうえで発生するOSI参照モデルの各レイヤーでの課題
・マルチテナントで提供しているがゆえに発生するノイジーネイバーやリソース効率化の課題
・利用者が投入するアプリケーションの高速化
本領域ではインフラエンジニアとしてシステムや運用業務の改善を担っていただきます。
ネットワークを含めたハードウエアレイヤーからアプリケーションレイヤーまでの広い技術理解と、分散技術への理解が求められます。
<主な業務内容>
・マルチテナント大規模Hadoop、Trinoの提供
・Hadoop、Trinoにおける高可用性と高性能の両立
・計算リソース割り当ての分析、最適化手法の開発
・パブリッククラウドを活用したハイブリッド構成の検討

【DBA(データウェアハウス)領域】
DBAとしてTeradataのクエリチューニングやテーブル設計への助言等を担っていただきます。
また、各種データウェアハウス製品の比較検証を行い、より最適な技術の選択も行っていただきます。
<主な業務内容>
・大規模データウェアハウス(Teradata)の保守・運用
・新機能検証、クエリチューニングを含む負荷対策、障害対応
・利用者のサポート

必要な経験/スキル

【AIプラットフォーム領域】

  • Kubernetes、Dockerを使ったミドルウエアやサービスの開発と運用の経験
  • Go、Java、Pythonでのコーディングスキル(できれば複数が望ましい)
  • プロフェッショナルが多い環境下で、自律自走して業務遂行するスキル

【データ基盤領域】

  • プラットフォームやインフラの設計構築、運用経験
  • JavaまたはPythonでのコーディングスキル

【DBA(データウェアハウス)領域】

  • Teradata、Oracle、Redshift等のDBA経験
  • TeradataやExadata等アプライアンスの運用経験、またはRedshiftで複数インスタンスを運用した経験

あると望ましい経験/スキル

【AIプラットフォーム領域】

  • 機械学習のシステム開発やプログラムの実装経験
  • Google Cloud Platform、Amazon Web ServicesでのAI開発経験
  • Kubernetes管理者認定(CKA)
  • Kubernetesアプリケーション開発者認定(CKAD)

【データ基盤領域】

  • Hadoop、Spark、Hive、Trinoいずれかの使用経験
  • Kubernetes、Dockerの使用経験
  • Google Cloud Platform、Amazon Web Services、Azureなどのパブリッククラウドの使用経験
  • オープンソースへの積極的な貢献をした経験

【DBA(データウェアハウス)領域】

  • TBクラス、または数十億件のテーブルを扱うクエリチューニング経験(データウェアハウス全体としては数10TB〜数PBのデータ量を想定)
  • Redshift等のクラウドネイティブなデータベース経験
  • Hadoopのクエリエンジン経験(Hive、Trino、Spark等)
  • Talend等のETLツールやAmazon EMRを利用したデータ処理経験
  • Tableau等のBIツールの利用に適したテーブル実装経験
  • SQL、Python、Java、シェル等でのコーディングスキル

社員の声

【AIプラットフォーム領域】中途入社/2年目/30代
Kubernetesを使ったAIプラットフォームの開発と運用を担当しています。ヤフーは高いスキルや学習能力を持ち技術を楽しんでいる人が多いため、技術が好きなエンジニアにとって働きやすい環境です。部署ごとの壁もなく、本当に良いものを全員で作っていくことができる会社です。
【データ基盤領域】中途入社/7年目/30代
ビッグデータ領域におけるHadoop処理基盤の運用を担当しています。ペタバイト単位のデータ蓄積・処理を担うシステムのため、システム規模も数千台レベルです。大規模ならではのリリース対応力、障害対応力、社内調整力を求められるところにやりがいを感じます。また、サーバーの構成管理、スイッチのトラフィックに関する知識からHiveやSparkジョブのトラブルシューティングにかかわる知識まで幅広く求められる環境のため、技術スキルやキャリアを磨けるやりがいのある環境です。
【DBA(データウェアハウス)領域】中途入社/12年目/50代
社内の2000名以上の利用者がデータの集計や分析をするためのデータウェアハウス基盤を担当しています。ペタバイトクラスのデータ量と、増え続ける利用によって、年々発生する課題やその難易度が上がっています。そのためチーム内はもちろんのこと、ソフトウエアベンダーやときには利用者も巻き込んで協力しながら課題解決しています。一見地味な役割ですが、さまざまなチャレンジができる魅力あふれる環境です。
キャリア採用
エントリー

採用情報 公式SNSアカウント

このページの先頭へ