跳到主要內容

如何在 local 端使用 kubectl 操作 private GKE 叢集


如何在 local 端使用 kubectl 操作 private GKE 叢集

Private GKE cluster set up with bastion vm

 

基於安全考量,  通常在創建 GKE 叢集時, 會選擇 Private Cluster 的部署方式, 將 Control Plan 藏在內網裡, 若想要在 local 端使用 kubectl 來操作 GKE 的話, 會須要一個跳板機(Bastion Host) 將請求 轉送給內網的 Control Plan, 架構如下


然而這個做法有個安全疑慮, 就是當對外 IP 不小心被洩露了, 駭客就能透過它連進跳板機來進行惡意的操作



比較好的做法是,  Cloud IAP + Private 的 Bastion Host 

透過 IAP 的TCP 轉送功能, 就不需要分配對外 IP 給 Bastion Host


實際做法如下


環境建立


Step 1. 建立一個新的 Subnet 給 GKE Cluster 使用

gcloud compute networks create k8s-proxy \
  --subnet-mode=custom \
  --project=backend
gcloud compute networks subnets create subnet-cluster \
    --network=k8s-proxy \
    --range=10.50.0.0/16 \
    --region=us-central1
gcloud compute firewall-rules create k8s-proxy-ssh \
    --network k8s-proxy \
    --allow tcp:22

因為 Cloud IAP 會從 35.235.240.0/20 這個網段連進內網, 所以防火牆需要開放從從 35.235.240.0/20 過來的流量



gcloud compute firewall-rules create allow-ssh-ingress-from-iap \
  --direction=INGRESS \
  --action=allow \
  --rules=tcp:22 \
  --source-ranges=35.235.240.0/20


Step 2. 建立跳板機


gcloud compute instances create --subnet=subnet-cluster \
    --scopes cloud-platform proxy-temp --zone=us-central1-c
CLIENT_IP=$(gcloud compute instances describe proxy-temp \
    --format="value(networkInterfaces[0].networkIP)" \
    --zone=us-central1-c)


Step 3. 建立 GKE Cluster


注意: 建立時要記得設定  master-authorized-networks, 這樣的話從跳板機連到 Control Plan 才不會被擋住

gcloud container clusters create frobnitz  \
    --master-ipv4-cidr=172.16.0.64/28 \
    --network k8s-proxy \
    --subnetwork=subnet-cluster \
    --enable-ip-alias \
    --enable-private-nodes \
    --enable-private-endpoint \
    --master-authorized-networks ${CLIENT_IP}/32 \
    --enable-master-authorized-networks \
    --region=us-central1


Step 4. SSH forwarding proxy 


建立 SSH Tunnel, 透過跳板機將地端 Port 8443 與 Control Plan 用的 Port 443 接起來

gcloud beta compute --project backend ssh --zone us-central1-a "proxy-temp"  -- -N -L 8443:172.16.0.66:443


Step 5. 修改 kube config


注意:要將 IP 改成 kubernetes.default:8443, 讓 kubectl 使用 https://kubernetes.default:8443 來連 Control Plan, 不然會出現憑證錯誤的訊息


# 先取得 GKE 的 kube config
gcloud container clusters get-credentials frobnitz \
--region us-central1 

# 取代原始 IP, 改用 kubernetes.default:8334
sed -e 's/172\.16\.0\.66/kubernetes\.default\:8443/g' ~/.kube/config > newconfig


Step 6. 修改 /etc/hosts

修改 /etc/hosts 檔案, 加入以下內容

127.0.0.1 kubernetes kubernetes.default


指令:

sudo echo   "127.0.0.1 kubernetes kubernetes.default"  >> /etc/hosts 


/etc/hosts 能夠設定 Custom Domain 使其映射到任何想要的 IP 位址, 所以當加入以上的設定後, kubectl 就會以 127.0.0.1:8443 的 IP 位址跟 GKE 連線


Step 7. 測試


KUBECONFIG=~/.kube/newconfig kubectl get pod --all-namespaces

 


https://gitlab.com/sysops9/gke-private-net.git

留言

這個網誌中的熱門文章

[解決方法] docker: permission denied

前言 當我們執行docker 指令時若出現以下錯誤訊息 docker: Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Post http://%2Fvar%2Frun%2Fdocker.sock/v1.26/containers/create: dial unix /var/run/docker.sock: connect: permission denied. See 'docker run --help'. 表示目前的使用者身分沒有權限去存取docker engine, 因為docker的服務基本上都是以root的身分在執行的, 所以在指令前加sudo就能成功執行指令 但每次實行docker指令(就連docker ps)都還要加sudo實在有點麻煩, 正確的解法是 我們可以把目前使用者加到docker群組裡面, 當docker service 起來時, 會以這個群組的成員來初始化相關服務 sudo groupadd docker sudo usermod -aG docker $USER 需要退出重新登錄後才會生效 Workaround 因為問題是出在權限不足, 如果以上方法都不管用的話, 可以手動修改權限來解決這個問題 sudo chmod 777 /var/run/docker.sock https://docs.docker.com/install/linux/linux-postinstall/

[C#] Visual Studio, 如何在10分鐘內快速更改命名專案名稱

前言: 由於工作需要, 而且懶得再重寫類似的專案, 所以常常將之前寫的專案複製一份加料後, 再重新命名編譯 假設今天我有一個專案HolyUWP, 我想把它重新命名成 BestUWP 時該怎麼做? 以下是幾個簡單的的步驟 使用Visual Studio 2017 備份原來專案 更改Solution名稱 更改Assembly name, Default namespce 更改每支程式碼的Namespace 更改專案資料夾名稱 備份原來專案 由於怕改壞掉, 所以在改之前先備份 更改Solution名稱 更改sln的名稱, 這邊我改成BestUWP.sln 使用Visual Studio打開你的.sln, 右鍵點擊Solution後選擇Rename, 這邊我把它重新命名成BestUWP(跟檔案名稱一致) 必要的話可以順便修改Porject名稱 更改Assembly name, Default namespce 進入 Project > OOXX Properties    修改Assembly Name, Default namesapce 更改每支程式碼的Namespace 基本上隨便挑一支有用到預設Namesapce(HolyUWP)的程式碼來改就好了 重新命名後點擊Apply,  這個動作做完後所有用到舊Namespace的程式碼都會被改成新的 更改專案資料夾名稱 以上動作做完後, 基本上就可以把專案編譯出來測看看了~

[解決方法] mac 作業系統上無法使用 docker

  錯誤訊息 Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running? 原因 因為 docker 的設計是走 client-server 的架構,  如果少裝了 server 的部分就會出現以上的錯誤訊息 解決方法 因為 docker daemon 需要使用 linux kernel 上的某些功能, 所以若想要在 mac 的 OS X 上使用 docker 必須額外起一台 linux VM 給 docker daemon 用  Step 1. 安裝 virtual box $ brew install virtualbox --cask   Step 2. 安裝 docker machine $ brew install docker-machine --cask   Step 3. 設定 使用 docker-machine 建立 VM 跑容器 $docker-machine create --driver virtualbox default $docker-machine restart   輸出環境變數 $docker-machine env default 如果執行以上的指令出現錯誤訊息 Error checking TLS connection: ...  可以執行以下指令重新產生憑證 $docker-machine regenerate-certs 最後套用環境變數, 讓 docker 知道要怎麼去跟這台 VM 溝通  $eval $(docker-machine env default)   測試 若做完以上的步驟沒噴錯誤訊息的話, 可以跑個 hello-world 看看 docker daemon 有沒有起來 $docker run hello-world Unable to find image 'hello-world:latest' locally latest: Pulling from library/hello-world 0e03bdcc26d7: Pull complete Digest: sha256:95ddb6c31407e84e91a986b004aee40975cb0