배포

<aside> 💡 Github에 배포 코드(score.py)가 있다고 가정

</aside>

mlops-onboarding-shelley/yolov4-csp-driving/docker/deployment 경로에서 도커 빌드

sudo docker build . --no-cache -t deploy:v1 --build-arg GIT_TOKEN=[여기에 git token]

위에서 빌드한 도커 이미지로 도커 Run

• -v: 도커 볼륨 마운트. 필요시 사용
• worker_count: 병렬 처리 worker 개수. 개수가 클수록 GPU 자원을 많이 소비

sudo docker run -it --gpus all -p 5001:5001 -v /mnt/data:/app --name test_model deploy:v1 /bin/bash -c 'azmlinfsrv --entry_script score.py --model_dir ./azureml-models --worker_count 1'

[필요시] local에서 수동으로 돌려보기

pip install azureml-inference-server-http

azmlinfsrv --entry_script score.py --model_dir [serving model 경로] --worker_count 1

Serving Model Structure

.
└── yolov4-csp-driving
    └── 1
        └── serving_model
            ├── label_map.json
            └── saved_model
                ├── class.names
                ├── keras_metadata.pb
                ├── saved_model.pb
                ├── saved_model.pdtxt
                └── variables
                    ├── variables.data-00000-of-00001
                    └── variables.index

label_map.json

{
	"1": "car",
	"2": "bus",
	"3": "pedestrian",
	"4": "cycle",
	"5": "truck",
	"6": "motorcycle",
	"7": "train",
	"8": "rider",
	"9": "traffic sign",
	"10": "traffic signal"
}

Reqest example

• model_id: 위에서 만든 Structure로 되어있는 Serving 모델
• endpoint: AzureML을 통해 서빙되고 있는 추론 서버의 url. 로컬에서 test시 127.0.0.1:5001

curl -X POST [endpoint]/score \
     -H "Authorization: Bearer [Azureml 토큰]" \
     -H "Content-Type: application/json" \
     -d '{
    "model_id": "yolov4-csp-driving:1",
		"threshold": 0.5,
    "image_urls": {
        "5aaaa000001": "<https://imagescdn.gettyimagesbank.com/500/201902/jv11341010.jpg>",
        "5aaaa000002": "<https://imagescdn.gettyimagesbank.com/500/201902/jv11341012.jpg>",
        "5aaaa000003": "<https://imagescdn.gettyimagesbank.com/500/201902/jv11341026.jpg>"
    },
    "include_classes": ["car", "bus", "pedestrian", "cycle", "truck", "motorcycle", "train", "rider", "traffic sign", "traffic signal"],
    "point_density": 1.0
}'  --silent | jq