k8sでのクラスタ運用のためのコード

.gitignore

@@ -144,3 +144,9 @@ config/contest.yml
 uploads/
 coverage/
 __pycache__/
+
+# k8s provisoning_k8s
+.envrc
+var.yml
+deploy_ready_output
+env.yaml

k8s/.envrc.sample

@@ -0,0 +1,3 @@
+export SAKURACLOUD_ACCESS_TOKEN=hoge
+export SAKURACLOUD_ACCESS_TOKEN_SECRET=piyo
+export SAKURACLOUD_ZONE=is1b

k8s/10-kubeadm.template.conf

@@ -0,0 +1,13 @@
+# Note: This dropin only works with kubeadm and kubelet v1.11+
+[Service]
+Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
+Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
+Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=cgroupfs"
+Environment="KUBELET_SYSTEM_PODS_ARGS=--pod-manifest-path=/etc/kubernetes/manifests --fail-swap-on=false"
+# This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically
+EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
+# This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use
+# the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file.
+EnvironmentFile=-/etc/default/kubelet
+ExecStart=
+ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS $KUBELET_SYSTEM_PODS_ARGS $KUBELET_CGROUP_ARGS

k8s/Pipfile

@@ -0,0 +1,13 @@
+[[source]]
+name = "pypi"
+url = "https://pypi.org/simple"
+verify_ssl = true
+
+[dev-packages]
+
+[packages]
+pyyaml = "*"
+oyaml = "*"
+
+[requires]
+python_version = "3.7"

k8s/README.md

@@ -0,0 +1,111 @@
+# k8s setup
+* required
+    * terraform(0.12.5 <= x)
+    * ansible(2.8.3 <= x)
+    * terraform-provider-sakuracloud(1.15.2 <= x)
+    * direnv
+    * pipenv & python3.7
+hint: [Terraform for さくらのクラウド](https://sacloud.github.io/terraform-provider-sakuracloud/installation/)
+## claster setup
+* 全て実行はこのカレントディレクトリで行ってください
+* 事前準備
+    * `.envrc` にさくらのクラウドのアクセストークンとシークレットとゾーンを書く。 `.envrc.sample` に例があるのでそこの `hoge` とかの変数をいい感じに埋めよう
+    * 埋めたら `direnv allow` で適用される。このカレントディレクトリでその環境変数が適用される。
+    * `var.yml`に ansibleで作成したいuserを書く。 `var.sample.yml` に例があるのでパスワードとかをいい感じに変えよう
+    * `wget https://raw.githubusercontent.com/jetstack/cert-manager/release-0.9/deploy/manifests/00-crds.yaml` を `cluster_provisioning`のディレクトリでしておく
+    * api.yamlとui.yamlの以下のような部分をよしなに直そう。使い方は、ここのmetadataのnameをingress.yamlのpathに指定しよう
+```
+# api.yaml
+apiVersion: v1
+kind: Service
+metadata:
+  name: api-production-bind-svc　#<name>-<namespace>-bind-svcのフォーマットで書きましょう
+spec:
+  type: ExternalName
+  externalName: api.production.svc.cluster.local #<name>.<namespace>.svc~~~のフォーマットで書きましょう
+
+# ingress.yaml
+http:
+    paths:
+    - path: /
+        backend:
+        serviceName: ui-production-bind-svc
+        servicePort: 3000
+    - path: /api
+          backend:
+            serviceName: api-production-bind-svc
+            servicePort: 3000
+```
+
+* `terraform apply -auto-approve` をしてVMが上がるのを待とう。生成された `id_rsa` は `user:ubuntu` 向けに作られているものです
+* `sh inventry.sh` でinventryfileを作成
+* `ssh-keygen  -f ~/.ssh/ictsc` でこの名前の鍵を作成
+* `ansible-playbook -u ubuntu --private-key=./id_rsa -i hosts setup.yml --extra-vars "ansible_sudo_pass=PUT_YOUR_PASSWORD_HERE"` でAnsibleを実行して、ictsc user作成とdocker install, k8s installが行なわれる
+    * これで`ssh -i ictsc ictsc@xxx.xxx.xxx.xxx` みたいな感じでログインできるようになります。
+* masterになるサーバーにログインして`sudo kubeadm init --apiserver-advertise-address=192.168.100.1 --pod-network-cidr=10.244.0.0/16`をしよう。そこから出てきた情報をコピーして（`kubeadm join~~~`みたいなのがある）nodeになるサーバーに対してアクセスして貼り付けてsudoで実行しましょう。また、`mkdir -p $HOME/.kube`　みたいなのもコンソールに表示されていてコピペできるようになってるのでmasterサーバでやってください。これでkubectlが使えるようになります。
+
+## application setup
+* `env.yaml`を作り、各パラメーターを埋める。 `env.sample.yaml` にテンプレートがあるのでパスワードとかFQDNをいい感じに変えよう
+  * 別途FQDNの設定は自分でよしなにしておく必要があります。
+* `pipenv install` をしたあと `pipenv shell` でサブシェルに入って `python deploy_ready.py` を叩く。これで各パラメーターを入れたk8sのmanifestが出来上がる。
+* ここのカレントディレクトリで `scp -i ictsc -r ./deploy_ready_output ictsc@xxx.xxx.xxx.xxx:/home/ictsc`でmasterサーバーにファイルを転送する
+  * ここでいうmasterServerというのは　`k8s-master-01-server` のことです。
+* `https://helm.sh/docs/using_helm/#installing-helm` をしていい感じにinstallしてほしい
+
+### Try kubectl apply!
+kubectl applyした時に前後関係があるので気持ち1~2秒ずつ打っていくといいです
+<!--（TODO: 最初に数字を書いて前後の順番をつけておくと良さそう） -->
+```sh
+# flannelをinstall
+# 全体の構成に必須なので一度のみ  
+kubectl apply -f kube-flannel.yml
+
+# nginx ingressをinstall
+# 全体の構成に必須なので一度のみ  
+kubectl apply -f mandatory.yaml
+
+# cert-managerをinstall
+# 全体の構成に必須なので一度のみ  
+kubectl apply -f 00-crds.yaml
+kubectl create namespace cert-manager
+kubectl label namespace cert-manager certmanager.k8s.io/disable-validation=true
+helm repo add jetstack https://charts.jetstack.io
+helm repo update
+helm install \
+  --name cert-manager \
+  --namespace cert-manager \
+  --version v0.9.1 \
+  jetstack/cert-manager
+kubectl apply -f 00-crds.yaml
+
+# cert-managerで動く証明書の設定
+kubectl apply -f secret_cloudflare.yaml 
+kubectl apply -f cluster-issuer.yaml
+kubectl apply -f cretificate.yaml
+kubectl apply -f ingress.yaml
+
+# applicationのinstall
+kubectl -f redis.yaml,ui.yaml,db.yaml,api.yaml,service-nodeport.yaml
+```
+
+これを通じて無事立ち上げることができました！
+
+あとは
+*  `kubectl exec -it pod/api-5f9cd6794-9z9sr rails db:setup`みたいな感じで初期データ流し込みをする
+* `http://xxx.xxx.xxx.xxx:/`にアクセスできてloginができたら無事一通り立ってる感じ。おめでとう！
+
+## その他
+* `kubectl apply -f monitering_manifests.yaml` で同一クラスタ内にnodeexpoterなどの諸々監視を実行することができます
+
+## TroubleShooting & Tips
+* `terraform apply`が失敗したら`terraform destroy -force` とかで削除してから立て直す。
+* playbookを書き換えたら`ansible-playbook --private-key=./id_rsa -i hosts setup.yml --syntax-check` でいい感じに事前に構文チェックをしておくと良い。
+* kubeadmでコピー忘れたら雑に `kubeadm reset` でjoinやinitしてた情報ごと削除できる
+* `kubectl delete -f redis.yaml,ui.yaml,db.yaml,api.yaml`で削除。
+    * もしマニフェストファイルを変更する場合は削除してから書き換えて適用する方が良い。
+* `kubectl get all` で上がってるかどうかとか見れる。READYが1/1ならあがっているということ。0/1ならログを見てみたりしよう。
+  * `kubectl logs <pod name>`で可能
+* 時々DBが上がるのが失敗したりするのでそのときはログ(ex. kubectl logsやkubectl describe pod)見てから kubectl deleteしてapplyをして見てみる
+* [https://wiki.icttoracon.net/knowledge/score-server](https://wiki.icttoracon.net/knowledge/score-server)を参考にしている
+* 接続先わかんなくなったら `terraform output`で接続先が確認できます。
+* 雑にクラスタを作るための物なのでterraformのパラメーターやディフォルトパスワードとして設定してる `PUT_YOUR_PASSWORD_HERE`とかはよしなに変えることとをお勧めします。（普通に利用する分にはその都度生成される秘密鍵のみの接続になるので問題はないです）

k8s/ansible.cfg

@@ -0,0 +1,7 @@
+[defaults]
+forks = 10
+
+[ssh_connection]
+ssh_args = -o ControlMaster=auto -o ControlPersist=60s -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null
+retry_files_enabled=False
+callback_whitelist=profile_tasks

k8s/apps/api.yaml

@@ -0,0 +1,73 @@
+apiVersion: extensions/v1beta1
+kind: Deployment
+metadata:
+    namespace: __VAR__NAMESPACE
+    name: api
+    labels:
+      app: api
+spec:
+  replicas: 1
+  template:
+    metadata:
+      matchLabels:
+      labels:
+        app: api
+    spec:
+      # restartPolicy: OnFailure
+      initContainers:
+      - name: waitdb
+        image: jwilder/dockerize
+        args: ['sh', '-c', 'dockerize -wait tcp://redis:6379 -timeout 100s', 'dockerize -wait tcp://db:5432 -timeout 100s']
+      containers:
+      - image: __VAR__API_IMAGE
+        imagePullPolicy: Always
+        name: api
+        ports:
+          - containerPort: 3000
+        envFrom:
+          - configMapRef:
+              name: api-env
+        args:
+          - sh
+          - -c
+          - " if [ -f \"tmp/pids/server.pid\" ]; then rm tmp/pids/server.pid; fi\n
+           bundle exec rails server -b 0.0.0.0;"
+---
+apiVersion: v1
+kind: ConfigMap
+metadata:
+  name: api-env
+  namespace: __VAR__NAMESPACE
+data:
+  TZ: __VAR__TZ
+  API_STAFF_PASSWORD: __VAR__API_STAFF_PASSWORD
+  API_SESSION_EXPIRE_MINUTES: __VAR__API_SESSION_EXPIRE_MINUTES
+  POSTGRES_HOST: __VAR__POSTGRES_HOST
+  POSTGRES_USER: __VAR__POSTGRES_USER
+  POSTGRES_PASSWORD: __VAR__POSTGRES_PASSWORD
+  POSTGRES_MAX_CONNECTIONS: __VAR__POSTGRES_MAX_CONNECTIONS
+  POSTGRES_SHARED_BUFFERS: __VAR__POSTGRES_SHARED_BUFFERS
+  POSTGRES_WORK_MEM: __VAR__POSTGRES_WORK_MEM
+  RAILS_ENV: __VAR__STAGE_ENV
+  NODE_ENV: __VAR__STAGE_ENV
+  REDIS_URL: __VAR__REDIS_URL
+---
+apiVersion: v1
+kind: Service
+metadata:
+  namespace: __VAR__NAMESPACE
+  name: api
+spec:
+  selector:
+    app: api
+  type: ClusterIP
+  ports:
+    - port: 3000
+---
+apiVersion: v1
+kind: Service
+metadata:
+  name: api-production-bind-svc
+spec:
+  type: ExternalName
+  externalName: api.production.svc.cluster.local