キャリア

エンジニア部門

データプラットフォームエンジニア(データ収集基盤)

[東京]

データプラットフォームエンジニアとして、システムや運用業務の改善や分散処理OSSの調査・検証を担当

業務内容

ヤフーでは、スケールする分散データ収集・処理基盤システムを提供するというミッションのもと、Apache Kafka、Apache Flink、Apache Sparkといった分散ミドルウェアやApache Airflow、Apache NiFiなどのワークフローエンジンのシステム構築を行い、社内のサービスエンジニア、データサイエンティスト向けにプラットフォームの提供をしています。
本職種ではデータプラットフォームエンジニアとしてシステムや運用業務の改善や、分散処理OSSの調査・検証を担っていただきます。
ネットワークを含めたハードウェアレイヤーからアプリケーションレイヤーまでの広い技術理解と、分散技術への理解が求められる、やりがいの大きい仕事です。

<主な業務内容>
 • Platform as a Serviceとして提供しているデータプラットフォームの運用、改善、利用者の支援
 • Apache Kafka、Apache Spark、Apache Flink、Apache Airflow、Apache NiFiにおける最新バージョンの追従に向けた調査、採用しているOSSのバージョンアップ
 • プラットフォームのパフォーマンスチューニング、障害対応
 • ApacheやCNCFのデータ関連プロダクトの調査、プラットフォームの新規提供検討

必要な経験/スキル

  • プラットフォームの開発、運用、トラブルシューティングの経験
  • データ構造、アルゴリズム、計算量分析などのコンピューターサイエンスの基本理解
  • Java、Python、Go、Rubyいずれかのプログラミングスキル

あると望ましい経験/スキル

  • Apache Kafkaを用いたデータパイプラインの構築・運用経験
  • Amazon Kinesis、Cloud Pub/Subなどのメッセージングキューをベースにしたプラットフォームの運用・導入経験
  • Apache Spark、Apache Flink、Apache AirflowやApache NiFiなどを用いたデータ処理プラットフォームの開発、利用経験
  • KubernetesやCNCFのプロダクトを利用したプラットフォーム開発・構築・運用経験
  • オープンソースへの積極的な貢献をした経験
キャリア採用
エントリー

採用情報 公式SNSアカウント

このページの先頭へ