Data Engineer / データエンジニア

Job Description

About the Organization/Team・組織/チームについて

The assigned organization is primarily advancing projects related to a next-generation digital financial platform. Our team takes the lead in designing, building, and operating modern data engineering infrastructure from scratch to enable data-driven innovation across the group.

※ After joining the company, you are expected to be seconded to PayPay Bank as a member of the above project.

配属先組織は、次世代型のデジタル金融プラットフォームに関わるデータ基盤プロジェクトをメインに進めています。
グループ全体のデータ活用を加速させるため、モダンなデータ技術を用いた信頼性・拡張性の高いデータエンジニアリング基盤の設計・構築・運用を1からリードする組織です。

※入社後に上記プロジェクトメンバーとしてPayPay銀行への出向を予定しています。

 

Background of Recruitment・募集の背景

As the business continues to grow rapidly, the importance of data utilization across both PayPay Bank and the broader PayPay Group is increasing. To support product enhancements, marketing initiatives, and fraud detection, establishing a robust data engineering foundation that delivers high reliability, security, and scalability is an urgent task.

事業の急激な成長に伴い、PayPay銀行およびPayPayグループにおけるデータ活用の重要性はますます高まっています。プロダクト改善、マーケティング、不正検知などの各種施策を高度化させるため、高い信頼性・セキュリティ・拡張性を兼ね備えたデータエンジニアリング基盤の体制強化が急務とされています。

 

Job Responsibilities・具体的な業務内容

• Design, develop, and operate robust and scalable data ingestion pipelines using technologies such as Databricks, AWS DMS, and Terraform
• Develop large-scale data processing workflows using Spark, Python, and SQL
• Design and build data integration platforms that connect banking services, payment systems, internal business applications, and external data sources
• Optimize data pipelines by combining Change Data Capture (CDC), streaming, and batch processing architectures
• Build and maintain data lakehouse and data catalog platforms leveraging Databricks Lakehouse and Unity Catalog
• Design and operate data governance capabilities, including data quality management, metadata management, data lineage, access control, and audit logging
• Improve performance, optimize costs, and enhance reliability for large-scale data processing environments
• Implement SRE and observability practices for data platforms, including monitoring, alerting, dashboards, and incident response
• Build, automate, and standardize data infrastructure using Infrastructure as Code (IaC) technologies such as Terraform
• Develop and maintain shared frameworks, tools, templates, and CI/CD pipelines to improve the efficiency and consistency of data engineering operations
• Partner with product, analytics, risk management, security, compliance teams, and other PayPay Group companies to drive data utilization and business value
• Operate and enhance data platforms in compliance with the security, privacy, regulatory, and internal control requirements expected of a financial institution
  
  
• Databricks、AWS DMS、Terraformなどを活用した、堅牢でスケーラブルなデータ取り込みパイプラインの設計・開発・運用
• Spark / Python / SQLを用いた大規模データ処理ワークフローの開発
• 銀行サービス、決済連携、業務システム、外部データソースなどからのデータ連携基盤の設計・構築
• Change Data Capture、ストリーミング処理、バッチ処理を組み合わせたデータパイプラインの最適化
• Databricks Lakehouse、Unity Catalogなどを活用したデータレイクハウスおよびデータカタログの整備
• データ品質、メタデータ管理、データリネージ、アクセス制御、監査ログなど、データガバナンス機能の設計・運用
• 大規模データ処理におけるパフォーマンスチューニング、コスト最適化、信頼性向上
• モニタリング、アラート、ダッシュボード、インシデント対応など、データ基盤におけるSRE / Observabilityの実践
• TerraformなどのIaCを用いたデータ基盤インフラの構築・自動化・標準化
• データエンジニアリング業務を効率化するための共通フレームワーク、ツール、テンプレート、CI/CDパイプラインの整備
• プロダクト、アナリティクス、リスク管理、セキュリティ、コンプライアンス、PayPayグループ各社との連携によるデータ活用推進
• 金融機関として求められるセキュリティ、個人情報保護、規制対応、内部統制を踏まえたデータ基盤運用

Tech Stack

• Cloud: AWS
• Data Platform: Databricks, Snowflake, Delta Lake, Data Lakehouse
• Processing: Apache Spark, Scala, Python, SQL
• Orchestration: Airflow, Dagster, Prefect
• Streaming / Ingestion: Kafka, CDC tools
• Infrastructure: Terraform, GitOps, CI/CD
• Governance: Unity Catalog, AWS Lake Formation, Data Catalog, Metadata Management
• Observability: Prometheus, Grafana, CloudWatch, Datadog
• Collaboration: GitHub, Jira, Confluence, Slack など

※実際の利用技術は、配属チームやプロジェクトにより異なる場合があります。

 

Attractiveness of This Position・本ポジションの魅力

• At PayPay Bank, Data Engineers do far more than simply collect and process data. This role is about building the data foundation that powers the next generation of digital financial services by combining the reliability and trust required of a bank with the speed, scale, and user reach of the PayPay Group.
• You will have the opportunity to drive data-enabled innovation that directly supports product development and business growth, while meeting the stringent security, governance, compliance, and auditability requirements expected of a financial institution. Leveraging modern data technologies such as Databricks and Lakehouse architectures, you will help establish a scalable and trusted data platform that enables the organization to make better decisions and deliver better customer experiences.
• PayPay Bank’s strengths lie in its ability to develop products in-house from concept through implementation, its marketing capabilities that deliver value to tens of millions of users, and its robust financial and corporate foundations that maintain the trust expected of critical social infrastructure. As a Data Engineer, you will play a key role in supporting these strengths across the organization and contribute to the challenge of redefining what a bank can be in the digital era.
  
  
• PayPay銀行のデータエンジニアは、単にデータを蓄積・加工する役割ではありません。銀行としての高い信頼性と、PayPayグループのスピード感・ユーザー基盤を掛け合わせ、次世代のデジタル金融を支えるデータ基盤そのものをつくるポジションです。
• 金融機関として求められる厳格なセキュリティ、ガバナンス、監査性を満たしながら、DatabricksやLakehouseアーキテクチャなどのモダンなデータ技術を活用し、プロダクト開発や事業成長に直結するデータ活用を推進できます。
• また、企画から開発までを内製化するプロダクト開発力、数千万人規模のユーザーに価値を届けるマーケティング力、社会インフラとしての信頼を守る金融・コーポレート基盤を強み