跳到主要內容

如何使用 Cloud VPN 跨專案存取私有 GKE 叢集

 

如何跨專案存取私有 GKE 叢集 


在 GKE 的 Control Plane 沒有提供外部 IP  的情況下,  維運人員若想要操作 GKE  則必需走 VPN 的方式才能訪問到 Control Plane  的 API Server





以下示範, 如何在不同的專案底下建立跳板機跟 GKE 叢集,  並透過 VPN 的方式在跳板機上去操作另一個專案下的 GKE 叢集


在 Project A 建立 VPC #1

variable "gke_project" {
  default = "prj-1"
}
variable "gke_network_name" {
  default = "net-1"
}
variable "gke_subnet_name" {
  default = "subnet-1"
}

resource "google_compute_network" "gke_vpc_network" {
  project                 = var.gke_project
  name                    = var.gke_network_name
  auto_create_subnetworks = false
}

resource "google_compute_subnetwork" "gke_vpc_subnet" {
  project                 = var.gke_project
  name          = var.gke_subnet_name
  ip_cidr_range = "10.51.0.0/23"
  region        = "us-central1"
  network       = google_compute_network.gke_vpc_network.id
}





在 Project B 建立 VPC #2

vvariable "proxy_project" {
  default = "prj-2"
}
variable "proxy_network_name" {
  default = "net-2"
}
variable "proxy_subnet_name" {
  default = "subnet-2"
}

resource "google_compute_network" "proxy_vpc_network" {
  project                 = var.proxy_project
  name                    = var.proxy_network_name
  auto_create_subnetworks = false
}

resource "google_compute_subnetwork" "proxy_vpc_subnet" {
  project       = var.proxy_project

  name          = var.proxy_subnet_name
  ip_cidr_range = "10.49.0.0/28"
  region        = "us-central1"
  network       = google_compute_network.proxy_vpc_network.id
  private_ip_google_access = true
}


建立 GKE 叢集

variable "gke_cluster_name" {
  default = "gke"
}
variable "cluster_secondary_range_name" {
  default = "10.104.0.0/14"
}
variable "services_secondary_range_name" {
  default = "10.108.0.0/20"
}

resource "google_container_cluster" "gke_cluster" {
  project            = var.gke_project
  name               = var.gke_cluster_name
  location           = "us-central1"
  initial_node_count = 3
  
  node_config {
    oauth_scopes = [
      "https://www.googleapis.com/auth/cloud-platform"
    ]
    labels = {
      env = "beta"
    }
    tags = ["gke-playsee-node"]
  }
    
  timeouts {
    create = "30m"
    update = "40m"
  }
  network = var.gke_network_name
  subnetwork = var.gke_subnet_name

  master_authorized_networks_config {
    cidr_blocks {
        cidr_block   = "10.49.0.0/28"
        display_name = "Bastion Host access"
    }
  }
    
  private_cluster_config {
    enable_private_endpoint = true
    enable_private_nodes    = true
    master_ipv4_cidr_block  = "172.16.0.64/28"
  }

  ip_allocation_policy {
    cluster_ipv4_cidr_block = var.cluster_secondary_range_name
    services_ipv4_cidr_block  = var.services_secondary_range_name
  }

  addons_config {
    horizontal_pod_autoscaling {
       disabled = false
    }
  }
  lifecycle {
    # prevent_destroy  = true
  }
}


建立跳板機


resource "google_service_account" "bastion_host_vm_sc" {
  project      = var.proxy_project
  account_id   = "bastion-host-vm-sc"
  display_name = "bastion_host_vm Service Account"
}

resource "google_project_iam_member" "svr_iam_member_owner_role" {
    project = var.proxy_project
    role    = "roles/owner"
    member  = "serviceAccount:${google_service_account.bastion_host_vm_sc.email}"
}

resource "google_compute_instance" "bastion_host_vm" {
  project      = var.proxy_project
  name         = "bastion-host"
  machine_type = "n2-standard-4"
  zone         = "us-central1-c"
  tags = ["bastion"]
  boot_disk {
    initialize_params {
      image = "debian-cloud/debian-10"
    }
  }
  scratch_disk {
    interface = "SCSI"
  }
  network_interface {
     network = google_compute_network.proxy_vpc_network.id
     subnetwork = google_compute_subnetwork.proxy_vpc_subnet.id
  }
 service_account {
    email  = google_service_account.bastion_host_vm_sc.email
    scopes = ["cloud-platform"]
  }
  allow_stopping_for_update = true
  metadata_startup_script = <<-EOF
              #!/bin/bash
              apt-get install google-cloud-sdk-gke-gcloud-auth-plugin
              apt-get install kubectl            
  EOF
}


建立 VPN

需要在兩個網路上各自建立 VPN Gateway 作為各自網路能夠互相連接的入口

resource "google_compute_ha_vpn_gateway" "gke_ha_vpn_gateway" {
 project = var.gke_project
 region  = "us-central1"
 name    = "gke-ha-vpn-gw"
 network = google_compute_network.gke_vpc_network.id
}

resource "google_compute_ha_vpn_gateway" "repo_ha_vpn_gateway" {
 project = "repo-backend"
 region  = "us-central1"
 name    = "proxy-ha-vpn-gw"
 network = google_compute_network.proxy_vpc_network.id
}


除此之外還需建立 Router, VPN Tunnel, Router Interface, Router Peer, 並在 Router Peer 中設定 advertised_ip_ranges 為 Control Plane 的內網 IP, 這樣的話跳板機才可透過 VPN 在網路中使用這個 IP 去訪問 GKE




resource "google_compute_ha_vpn_gateway" "gke_ha_vpn_gateway" {
 project = var.gke_project
 region  = "us-central1"
 name    = "gke-ha-vpn-gw"
 network = google_compute_network.gke_vpc_network.id
}

resource "google_compute_ha_vpn_gateway" "repo_ha_vpn_gateway" {
 project = "repo-backend"
 region  = "us-central1"
 name    = "proxy-ha-vpn-gw"
 network = google_compute_network.proxy_vpc_network.id
}


module "gke_ha_vpn" {
 source      =  "./terraform/_modules/ha-vpn-tunnel"   
 project_id  =  var.gke_project
 region      =  "us-central1"
 ha_vpn_gateway_name = google_compute_ha_vpn_gateway.gke_ha_vpn_gateway.name
 ha_vpn_gateway_router_bpg  = 64514
 vpc_network = google_compute_network.gke_vpc_network
 gateway_router_inf_ip_range_ha01 = "169.254.0.1/30"
 gateway_router_inf_ip_range_ha02 = "169.254.1.2/30"
 router_peer_advertised_ip_ranges = "172.16.0.66"
 peer_gcp_gateway_id  = google_compute_ha_vpn_gateway.repo_ha_vpn_gateway.id
 peer_ip_address_ha01 = "169.254.0.2"
 peer_ip_address_ha02 = "169.254.1.1"
 peer_asn_ha01 = "64515"
 peer_asn_ha02 = "64515"
}


module "repo_ha_vpn" {
 source      =  "./terraform/_modules/ha-vpn-tunnel"   
 project_id  =  var.proxy_project
 region      =  "us-central1"
 ha_vpn_gateway_name              = google_compute_ha_vpn_gateway.repo_ha_vpn_gateway.name
 ha_vpn_gateway_router_bpg        = 64515
 vpc_network                      = google_compute_network.proxy_vpc_network
 gateway_router_inf_ip_range_ha01 = "169.254.0.2/30"
 gateway_router_inf_ip_range_ha02 = "169.254.1.1/30"
 router_peer_advertised_ip_ranges = "10.150.0.0/20"
    
 peer_gcp_gateway_id  = google_compute_ha_vpn_gateway.gke_ha_vpn_gateway.id
 peer_ip_address_ha01 = "169.254.0.1"
 peer_ip_address_ha02 = "169.254.1.2"
 peer_asn_ha01 = "64514"
 peer_asn_ha02 = "64514"
}


ref:git@gitlab.com:sysinfra/terraform-private-gke-and-vpn-tunnel.git



標籤：

留言

張貼留言

這個網誌中的熱門文章

如何在 QNAP QuTS hero 上設定共享資料夾與 NFS 存取權限

如何在 QNAP QuTS hero 上設定共享資料夾與 NFS 存取權限 How to Set Up Shared Folders and NFS Access on QNAP QuTS Hero QNAP 的 QuTS hero 是一個強大的儲存解決方案，結合 ZFS 檔案系統，提供高效能和高可靠性的數據管理功能。如果您需要在 QuTS hero 上建立共享資料夾並啟用 NFS 存取權限，以下是完整的教學步驟，適合用於數據密集型工作負載。 步驟 1：建立共享資料夾並設定儲存屬性 首先，透過以下指令建立一個名為 test123 的共享資料夾，同時設定壓縮啟用、快速複製 (Fast Clone)、以及適合 VDI 或資料庫的 4KB 記錄大小： # 建立共享資料夾並設定儲存屬性 qcli_sharedfolder -s sharename=test123 poolID=1 \ compress=1 \ dedup=0 \ read_cache=0 \ fast_clone=1 \ sync=0 \ record_size=4 \ type=1 \ worm_type=0 \ size=107374182400 參數說明： compress=1 ：啟用壓縮以節省存儲空間。 dedup=0 ：關閉重複數據刪除以降低系統負擔。 record_size=4 ：設定 4KB 記錄大小，適合資料庫應用。 fast_clone=1 ：啟用快速複製以提升數據處理效率。 size=107374182400: 100 Gb 步驟 2：啟用並設定 NFS 存取 共享資料夾建立完成後，接下來啟用 NFS 存取，並設定所有主機 ( * ) 皆具有讀寫權限： # 啟用 NFS 存取 qcli_sharedfolder -N sharename=test123 Access=Enabled qcli_sharedfolder -U sharename=test123 userrw=guest # 為所有主機設定 NFS 權限 qcli_sharedfolder -K sharename=test123 remove_HostIP="*" qcli_sharedfolder -T sharename=test123 HostIP="*...
張貼留言
閱讀完整內容

[解決方法] docker: permission denied

前言 當我們執行docker 指令時若出現以下錯誤訊息 docker: Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Post http://%2Fvar%2Frun%2Fdocker.sock/v1.26/containers/create: dial unix /var/run/docker.sock: connect: permission denied. See 'docker run --help'. 表示目前的使用者身分沒有權限去存取docker engine, 因為docker的服務基本上都是以root的身分在執行的, 所以在指令前加sudo就能成功執行指令 但每次實行docker指令(就連docker ps)都還要加sudo實在有點麻煩, 正確的解法是 我們可以把目前使用者加到docker群組裡面, 當docker service 起來時, 會以這個群組的成員來初始化相關服務 sudo groupadd docker sudo usermod -aG docker $USER 需要退出重新登錄後才會生效 Workaround 因為問題是出在權限不足, 如果以上方法都不管用的話, 可以手動修改權限來解決這個問題 sudo chmod 777 /var/run/docker.sock https://docs.docker.com/install/linux/linux-postinstall/
張貼留言
閱讀完整內容

[C#] Visual Studio, 如何在10分鐘內快速更改命名專案名稱

前言: 由於工作需要, 而且懶得再重寫類似的專案, 所以常常將之前寫的專案複製一份加料後, 再重新命名編譯 假設今天我有一個專案HolyUWP, 我想把它重新命名成 BestUWP 時該怎麼做? 以下是幾個簡單的的步驟 使用Visual Studio 2017 備份原來專案 更改Solution名稱 更改Assembly name, Default namespce 更改每支程式碼的Namespace 更改專案資料夾名稱 備份原來專案 由於怕改壞掉, 所以在改之前先備份 更改Solution名稱 更改sln的名稱, 這邊我改成BestUWP.sln 使用Visual Studio打開你的.sln, 右鍵點擊Solution後選擇Rename, 這邊我把它重新命名成BestUWP(跟檔案名稱一致) 必要的話可以順便修改Porject名稱 更改Assembly name, Default namespce 進入 Project > OOXX Properties    修改Assembly Name, Default namesapce 更改每支程式碼的Namespace 基本上隨便挑一支有用到預設Namesapce(HolyUWP)的程式碼來改就好了 重新命名後點擊Apply,  這個動作做完後所有用到舊Namespace的程式碼都會被改成新的 更改專案資料夾名稱 以上動作做完後, 基本上就可以把專案編譯出來測看看了~
2 則留言
閱讀完整內容