Data Engineer

仕事内容

【実際の業務内容】

データ関連システムの品質、Data Reliabilityの向上

  • データパイプライン、ワークフロー、およびそれらが稼働するシステムのReliability向上
  • データ品質(即時性、完全性、一貫性)の向上

利用可能データの拡大

  • 画像・動画、リアルタイム推薦に必要な情報、など価値を生むデータソースの開拓とData Lakeの拡充
  • データ利用者やシステム担当者などステークホルダーとの調整

社内データのガバナンス整備と準拠、Security PolicyとPrivacy Policyへの準拠

  • 社内の分析、機械学習用途データのガバナンス策定と推進

データパイプライン(ETL)の設計、実装、実装サポート

  • AI/BIチームが実装するパイプラインの開発生産性の向上
  • パイプライン処理、ワークフローの実装

【仕事の進め方】

  • Data Intensiveな要件の窓口となり、様々なチーム(Product/AI/BI/SRE)と連携しながら、設計から実装、運用まで行います。
  • 組織としては、AIチーム、BIチームと並列した部門で、様々なデータ活用を支えるために両チームと協働します。
  • BIチームは分析だけでなくAirflowの実装によるDWH/DMの設計・運用も担当しており、その安定的なワークフローの提供や開発効率化などを通したサポートを行います。
  • コードレビューや定例、Slackチャンネルでの円滑なコミュニケーションを通じて、データ基盤の課題整理と解消を実行していきます。
  • AIチームは本番運用する機能が増えてきており、モデルのインプットとなる特徴量データ供給のパイプライン実装・運用・監視、プライバシーポリシーに準拠したデータソースの設計、などを行います。
  • コードや単体の成果物ではなく、課題に対するソリューションを提供します。
  • 専用の情報共有ツールを使って、ノウハウや議事録、日報などの情報共有を行っています。

【仕事から得られるもの】

  • 国内最大級のオンラインデーティングサービスのデータを処理する設計・テクニカルスキル
  • データの特性に応じて技術選択や実装をするデータエンジニアリングのスキル
  • 様々な機械学習案件でゼロベースからデータ基盤を設計する経験と、既存の基盤をさらなる成長フェーズに向けて進化させる経験、の両方が積めます。
  • 意思決定や機械学習案件において、データが実際に生み出している価値を意識・実感しながらデータ基盤の構築に関わることができます。
  • エウレカでは技術選択は全て開発者が責任を持って行っており、必要に応じて最新技術も積極的に活用することができます。
  • サービスマインドの高いメンバーが多く、あるべき姿を議論しながら、調整力、コミュニケーションスキル、解決力を磨くことができます。
  • 定性・定量のバランスを持った高度で本質的なデータ・ドリブン組織の推進・実務経験
  • 外資系IT企業ならではの論理性、圧倒的スピードのある開発経験
  • 英語力(業務上必須ではありませんが、親会社や外国籍メンバーとのコミュニケーションのため英会話学習をサポート。また、社内メンバーの国籍は、台湾・韓国・フィリピン・オーストラリア・イギリス・アメリカ・フランスと多種多様です)
  • 開発を通した社会貢献(晩婚化問題、少子化問題、人生における自由な選択 etc.)

【使っているツール/環境】

  • データベース:BigQuery, MySQL(AWS Aurora), DynamoDB, ElasticSearch
  • データ処理:Google Cloud Dataflow, Cloud PubSub, Apache Airflow, Fluentd, Fluent-Bit, Embulk, Digdag, etc
  • BIツール:Tableau, redash
  • 構成管理:Terraform
  • 開発、その他:Github, Slack, JIRA
  • G Suite 各種ツール:Google SpreadSheet / Google Slide
応募資格

◆必須スキル/経験

①データ処理におけるテクニカルスキル

  • SQL言語の知識、技能
  • Python/Ruby/Java/Scala/Goいずれかの業務での開発経験
  • ストリーム/バッチのデータ処理経験
  • RDB以外のデータベース利用経験

②WebApp開発の知識、スキル

  • 一般的なWebアプリケーションの大まかな構成を理解していること
  • バックエンドの開発経験(業務経験は必須ではありません)

③インフラ、SREの知識、スキル

  • ソフトウェア信頼性を高めるための活動への理解、経験
  • AWS/GCPの業務経験、あるいはそれに類する経験

④ビジネス/エンジニアとのコミュニケーション力

  • 相手の課題・ニーズをヒアリング、解釈でき、要件に落とし込める
  • 複雑な要件を整理、適切なステークホルダーを巻き込んで合意形成できる

◆任意スキル/経験

データエンジニアリングスキル

  • 高トラフィックサービスのストリームデータ処理経験
  • 大規模データのバッチ処理経験
  • Data Intensive Applicationのデータストアやデータパイプラインの設計、技術選定の経験

大規模システムの運用経験、トラブルシューティングスキル

  • ボトルネックを特定し、適切な解決策を提案、実施した経験
  • または運用を事前に考慮して、高可用性、高信頼性のあるシステムを設計した経験

統計学、機械学習の知識、スキル

  • 各種統計検定の違いが理解でき、結果が解釈ができる
  • 機械学習(主に教師あり学習)の評価指標を理解している
  • NumPy, Pandas, SciPy, Matplotlib, scikit-learn, Tensorflow, Pytorchなど機械学習に関わるライブラリ・フレームワークの利用経験

◆こんな方お待ちしています

  • 担当領域に関して、物事を前に進めるためのあらゆることを実践できる
  • 自身の仕事の価値を理解してやりきれる力がある
  • 最新技術を常にキャッチアップし、必要に応じてプロダクトに導入できる
  • あるべき理想を持ちながら、現実問題に落とし込んでギャップを埋める議論ができる
その他要項

雇用形態

正社員(試用期間:3ヶ月)

給与

600〜1,200万円 (基本給+45時間分みなし残業代+賞与/経験・能力を考慮の上、当社規定により決定いたします)

勤務時間

フレックスタイム制(コアタイム 11:00〜17:00)

休日・休暇

年間休日:131日(2019年実績)

  • 土日、祝日夏期、冬期休暇実績(2019年:夏季9日/冬季10日、2018年:夏期9日/冬期10日)
  • 完全週休2日制/土日祝休み
  • 有給休暇
  • 特別休暇(誕生日休暇、アニバーサリー休暇など)
  • 産前産後/育児休暇、生理休暇
  • 昇給:半期に1回上長との定期面談があり、その際に昇給を決定いたします
  • 賞与:年に1回、業績貢献度に応じて支給いたします

勤務地

〒108-0073 東京都港区三田1-4-1 住友不動産麻布十番ビル4F
都営大江戸線 赤羽橋駅 徒歩4分、東京メトロ南北線 麻布十番駅 徒歩6分

その他待遇

  • 交通費全額支給
  • 自己研鑽手当1万円/月(全正社員対象)
  • 住宅手当有り:オフィスから3km圏内に住んでいる場合は3万円/月、配偶者有りの場合は5万円/月(パートナーシップも対象)
  • 各種社会保険完備(関東ITソフトウェア健康保険組合)
  • 海外カンファレンス参加費/渡航費補助
  • ソフトウェア、書籍購入補助
  • オンライン英会話学習補助
  • セミナー/カンファレンス参加費補助
  • PC(Mac)、マウス、キーボード、ディスプレイを選べる制度
  • 高級チェア利用可能(オカムラのシルフィー)
  • 社員旅行、各種交流イベント多数実施