공식 Doc

Boto3 Doc

AWS은 boto3를 이용하여 SDK를 사용하도록 권장하고 있다.

boto3 설치

pip install boto3

로그인

• boto3를 이용하기 위해서도 AWS CLI를 이용하여 로그인을 하거나

aws configure
AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [None]: us-west-2
Default output format [None]: ENTER

아래와 같이 boto3.resource나 boto3.client 매개변수에 넣기

import boto3

ws = boto3.resource(
    storage_name,
    aws_access_key_id=os.environ["AWS_ACCESS_KEY"],
    aws_secret_access_key=os.environ["AWS_SECRET_KEY"],
)

버킷으로부터 데이터 복사

• dataset_name: 복사할 폴더 명

import boto3

ws = boto3.resource(
    storage_name,
    aws_access_key_id=os.environ["AWS_ACCESS_KEY"],
    aws_secret_access_key=os.environ["AWS_SECRET_KEY"],
)

bucket = ws.Bucket("mlops-dev-workspace")
for object in bucket.objects.filter(Prefix=dataset_name):
    file_name = os.path.basename(object.key)
    bucket.download_file(object.key, os.path.join(target_path, file_name))

버킷에 데이터 업로드

• 버킷에 올릴 파일 경로는 sub dir가 포함되어도 알아서 만들어서 올려줌

import boto3

ws = boto3.resource(
    storage_name,
    aws_access_key_id=os.environ["AWS_ACCESS_KEY"],
    aws_secret_access_key=os.environ["AWS_SECRET_KEY"],
)

ws.meta.client.upload_file(
	<업로드할 local 파일 경로>,
	"aimmo-ml-models",
	<버킷에 올릴 파일 경로>
)