ssh 설정이 적용이 안되는 현상

• 현상: /etc/ssh/sshd_config 파일 열어서 아래와 같은 설정을 해주고 sudo systemctl restart ssh 를 실행해줬음에도 불구하고 ssh 접속시 비밀번호로 접속이 안되고 Permission denied (publickey). 라고 뜬다.

  PermitRootLogin yes
  PasswordAuthentication yes
  

• 원인: cloud에서 vm을 생성한 경우 다른 ssh 파일이 위 설정을 덮어 씌울수도 있다.

  어떤 파일이 덮어씌우는 지 확인해서 해당 파일 수정하기(Cloud에서 생생성한 VM일 경우, /etc/ssh/sshd_config.d/60-cloudimg-settings.conf 이런 파일들이 덮어씌우고 있을 확률이 높음)

  grep -r PasswordAuthentication /etc/ssh/
  

  아래와 같이 /etc/ssh/sshd_config.d/60-cloudimg-settings.conf:PasswordAuthentication no 라고 뜨는 걸로 보아 /etc/ssh/sshd_config.d/60-cloudimg-settings.conf 파일에서 덮어씌우고 있다. 이 파일을 지우던지 이 파일의 설정을 변경해준 후, sudo systemctl restart ssh

  

pod didn't trigger scale-up: 2 max cluster cpu, memory limit reached site:stackoverflow.com

• 현상: gke gpu node에 auto scaling을 적용했음에도 불구하고 노드가 자동으로 생성되지 않음

  • google 공식 문서에서는 nvidia.smi 개수를 limit에 명시하고 gpu 타입은 node selector나 node affinity를 통해 명시하면 된다고함.

    "cloud.google.com/gke-accelerator": "nvidia-tesla-t4"
    

  • 1.22 version에서는 되고

    

  • 1.21, 1.24 version에서는 아래와 같은 에러가 뜸

    pod didn't trigger scale-up: 2 max cluster cpu, memory limit reached site:stackoverflow.com
    

• 해결: 1.22.15-gke.100버전을 사용하니 잘됨

The gcp auth plugin has been removed ~ instead

• 현상: gcloud 명령어 사용시 발생한 에러

• 에러

  error: The gcp auth plugin has been removed.
  Please use the "gke-gcloud-auth-plugin" kubectl/client-go credential plugin instead.
  See <https://cloud.google.com/blog/products/containers-kubernetes/kubectl-auth-changes-in-gke> for further details
  

• 해결 → 참고

  # Set env in bashrc or zshrc
  export USE_GKE_GCLOUD_AUTH_PLUGIN=True
  
  # Run the following command: 
  source ~/.bashrc
  
  # Install or Update gcloud to the latest version.
  gcloud components install gke-gcloud-auth-plugin
  gcloud components update
  
  # Run the following command: 
  gcloud container clusters get-credentials CLUSTER_NAME
  

특정 Image들만 nvidia-smi 를 인식하지 못하는 현상

• 현상: nvidia/cuda:11.5.1-cudnn8-runtime-ubuntu20.04를 T4 노드에 프로비저닝하면 nvidia-smi 호출이 잘 되는데, pytorch/pytorch:1.11.0-cuda11.3-cudnn8-runtime를 사용하면 안됨

  

  torch.cuda.is_available()은 True로 뜸

  

• 해결: runtime 대신 devel을 이용하니까 됨

kubernetes.io/csi: attacher.MountDevice failed to create newCsiDriverClient: driver name csi-sshfs not found in the list of registered CSI drivers

• 현상: sshfs 로 마운트하는 pod를 프로비저닝할 때 발생한 에러

• 원인: gpu 노드는 taint가 붙어서 nvidia.com/gpu 가 없으면 팟 스케쥴링이 안되게 되어 있었음. 그래서 csi-nodeplugin-sshfs 데몬셋이 설치가 안됨

  

• 해결: gcp에서 팟 스케쥴링이 안되게 하는 걸 해제함. 그러면 바로 daemonset 설치됨

  kubectl taint nodes <node 이름> nvidia.com/gpu-
  

/home/kubernetes/bin/nvidia is not a directory

• 현상: gke에 새로 gpu node 올리고 nvidia-gpu exporter daemonset에서 발생한 에러
• 원인: 해당 노드가 ubuntu_containred로 설치되어서??