사전 준비

• gcp 프로젝트 구성 및 iam role이 부여되어 있어야 함. → 참고

• service 계정이 있으며 아래와 같이 키를 발급받아 GOOGLE_APPLICATION_CREDENTIALS 환경변수에 키 경로를 저장해야 함 → 참고

  

• Artifact들을 저장할 수 있는 Cloud Storage가 있어야 함

필수 패키지 설치

pip install google-cloud-pipeline-components google-cloud-aiplatform kfp

파이프라인 구축

아래 환경 변수에 값을 bashrc 나 zshrc 에 세팅해준다.

• PROJECT_ID: gcp project id
• PIPELINE_ROOT_PATH: gs://~로 시작하는 Cloud Storage URI.
• PROJECT_REGION: 이 파이프라인이 실행되는 리전

export PROJECT_ID=""
export PIPELINE_ROOT_PATH=""
export PROJECT_REGION=""

kfp.dsl 패키지를 이용하여 Workflow를 정의하고 yaml 파일로 컴파일 해준 후, yaml 파일을 submit한다.

• sample code

[결과]

submit후 아래와 같이 job의 주소가 뜨며 바로 이동하여 확인할 수 있고

혹은 직접 Pipeline 대시보드로 이동하여 확인할 수 있다.

Pipeline Detail 화면