[대규모 인턴십] Data warehouse engineer | 카카오페이증권

[대규모 인턴십] Data warehouse engineer | 카카오페이증권

[대규모 인턴십] Data warehouse engineer | 카카오페이증권 | Data | 신입 | 인턴 | | 마감 13일 전

포지션 상세 • 고용형태 : 전환형 인턴 • 계약기간 : 6개월 (3개월 단위로 평가가 진행될 예정이며, 6개월 기간 후 정규직 심사를 진행해요.) 직무소개 업무 내용 • 카카오페이증권 서비스 내/외에서 발생하는 다양한 데이터를 수집/가공하여 데이터 기반 의사결정을 지원하는 데이터플랫폼을 구축하고 개발해요.• 대용량 데이터 파이프라인을 설계, 개발 및 운영해요.• 빠르고 유연하며 안정적으로 확장할 수 있는 데이터 파이프라인 모듈 및 시스템을 개발해요.• 데이터 정합성 및 데이터 파이프라인 메타데이터 관리를 할 수 있는 프로세스/시스템을 개발해요.• 데이터플랫폼 개선과 관련한 신규 기술을 리서치하고 도입해요. 자격요건(필수) • SQL 통한 데이터 추출, 집계, 분석이 능숙하신 분을 찾아요.• Python/Java 중 하나 이상의 프로그래밍 언어에 능숙하신 분을 찾아요.• Kafka, Spark, Hadoop, Airflow 등 대용량 데이터 처리 기술에 대한 이해와 활용 경험이 있으신 분을 찾아요.• 분석 및 대시보드에 필요한 데이터 마트 설계 및 개발 경험이 있으신 분을 찾아요.• 데이터 거버넌스와 데이터 정합성/파이프라인 메타데이터 관리에 대한 이해가 있으신 분을 찾아요. 우대사항(선택)• Airflow, Spark 기반 배치 데이터 파이프라인 (ETL, 마트) 개발 및 운영 경험이 있으신 분이면 좋아요.• 도커 및 k8s 환경에서 데이터 파이프라인 및 시스템 개발 경험이 있으신 분이면 좋아요.• Frontend/Backend 기술을 이용하여 데이터 관련 툴을 개발해보신 경험이 있으신 분이면 좋아요.• 클라우드 및 on-premise 환경에서 개발 경험이 있으신 분이면 좋아요.• 다양한 상황에서 최적의 솔루션을 찾을 수 있는 문제해결 능력과 원활한 커뮤니케이션 역량이 있으신 분이면 좋아요.• 데이터 정합성/파이프라인 메타데이터 관리에 대한 니즈를 이해하고 관련 지표를 수립하고 개선시킨 경험이 있으신 분이면 좋아요.• 데이터 분석 관련 프로세스/시스템을 구축하고 분석 업무 생산성을 개선시킨 경험이 있으신 분이면 좋아요. 채용 프로세스 • 서류전형 → 과제전형 → 인터뷰 → 최종합격 * 과제전형 상세 안내• 프로그래머스를 통해 1/4(토)~1/5(일)에 진행될 예정이에요. • 코딩테스트(소요시간 30분)과 서술형 과제(소요시간 6시간)으로 구성되어 있어요. • 과제는 docker compose 기반 데이터베이스 및 스파크 클러스터를 구성하고 스파크(pyspark) 기반 데이터베이스 간 데이터를 집계 및 ETL 하는 파이프라인 개발이 주어질 예정이에요. 💻 카카오페이증권 기술 블로그 • 카카오페이증권 기술 블로그 보러 가기