Vertex-AI 와 Python SDK를 활용한 사내 오픈소스를 개발
📍 프로젝트 주제
- Google Cloud 환경 내에서 사용할 수 있는 ML 프로덕트인 Vertex-AI, BigQuery가 존재하지만 모델 종류에 따라 학습하는 방법이 산발적이고 러닝 커브가 존재
- 하나의 통합된 스크립트로 다양한 케이스의 모델을 학습시킬 수 있도록 사내용 Training Pipeline 오픈소스를 Python SDK를 활용해 주도적으로 개발
📍 프로젝트 참여 인원
- 2명
- ML Engineer 1명
- DevOps Engineer 1명(본인이 개발한 오픈소스를 CI/CD에 통합시킬 때 협업)
📍 프로젝트 기간
📍 담당 역할
- 모델의 버전 관리, 모델의 메타 데이터, 학습 소스코드의 버전 관리, 학습 완료 시 알람, 모델의 Validation 성능 정보 제공 등 다양한 기능을 자체 개발
- DevOps 엔지니어와 협업하여 사내 오픈소스로 개발한 Training Pipeline을 통해 학습된 모델이 CI/CD 프로세스에 통합되도록 진행
📍 기술 스택
- OS : MacOS, Linux
- 언어 : Python, Bash
- 프레임워크 : Vertex-AI SDK, BigQuery SDK, gcloud SDK
- CI/CD : Jenkins, ArgoCD
- 협업관리 : Github, Confluence
📍 느낀 점
- Vertex-AI, BigQuery 라는 프로덕트의 사용법을 매우 깊게 살펴보고 Python SDK를 사용해서 커스텀하게 활용해 자체 개발할 수 있었던 경험