Envoy の gRPC-JSON transcoder を利用する場合のアクセスログで元の HTTP method を出力したい

Envoy gRPC

Envoy の gRPC-JSON transcoder を使っているときにアクセスログでハマったのでメモっておきます。

gRPC-JSON transcoder というのは、簡単にいうとRESTful な JSON API としてリクエストすると gRPC の形式に変換した上で upstream のサーバーにプロキシしてくれて、レスポンスについても gRPC の形式から JSON に戻してくれるという機能です。

www.envoyproxy.io

例えばこのような protobuf を定義して Envoy に取り込むと GET /shoes/{item_id} という JSON API のエンドポイントが有効になりリクエストを送れるようになります。

syntax = "proto3";

package shoes;

import "google/api/annotations.proto";

service Shoes {
  rpc GetShoeInfo(GetShoeInfoRequest) returns (ShoeInfo) {
    option (google.api.http) = {
      get : "/shoes/{item_id}"
    };
  }
}

message GetShoeInfoRequest { string item_id = 1; }

message ShoeInfo {
  string item_id = 1;
  string name = 2;
  string type = 3;
  repeated string size_labels = 4;
}

で、実際にリクエストを送ってみると以下のようなアクセスログが出力されました。パスが正しいので見落としていたのですがよく見ると GET でリクエストしたにも関わらず POST と出力されているのに気付き、調べてみることにしました。

$ curl -v http://localhost:8080/shoes/123456
> GET /shoes/123456 HTTP/1.1

---
[2021-02-20T06:56:41.536Z] "POST /shoes/123456 HTTP/1.1" 200 - 0 120 19 15 "-" "curl/7.64.1" "7f86f233-e658-400d-bb8f-999dea810924" "localhost:8080" "172.19.0.2:50051"

2021-01-02

2020年個人的振り返り

雑記 web開発

明けましておめでとうございます。早いもので2021年を迎えてしまいました。いつも年末に書いてる振り返りですが今回は少々遅れてやることにします。

去年のはこれです。

www.blogaomu.com

2020-12-14

ALB で gRPC を利用する on EKS

AWS EKS Kubernetes gRPC HTTP/2

先日、Application Load Balancer (ALB)が HTTP/2 および gRPC に対応するようになったという発表がありました。これをEKS上で稼働するアプリケーションにも適用できるかを試してみました。

ALB の HTTP/2 および gRPC 対応

ALB の HTTP/2 および gRPC 対応についてはこの辺が分かりやすい
- [アップデート] ALBでエンドツーエンドのHTTP/2サポートによりgRPCワークロードが可能になりました | Developers.IO
- ALBでgRPCを使う際にターゲット側もTLSしてみた | Developers.IO

EKS で ALB を利用するには？

以前は ALB Ingress Controller と呼ばれるものを利用したが、最近 AWS Load Balancer Controller となった(後継のバージョン扱い)
- AWS ALB Ingress Controllerを使ってEKSからALBを作成してみた | Developers.IO
- AWS Load Balancer Controller の紹介
gRPCのサポートは v2.1.0 で入った Release v2.1.0 · kubernetes-sigs/aws-load-balancer-controller
- Supports gRPC workloads with end to end HTTP/2 for ALB
- このバージョンを使って試してみた

想定構成

f:id:TAKAyuki_atkwsk:20201214103446p:plain

2つのService
- helloworld service
  - grpc-go レポジトリの例を利用した https://github.com/grpc/grpc-go/blob/master/examples/helloworld
  - type: NodePort
- routeguide service
  - こちらも grpc-go レポジトリの例を利用した https://github.com/grpc/grpc-go/blob/master/examples/route_guide
  - type: NodePort
ドメインは共通
ALBでパスによってルーティング

作成手順

EKS クラスターが作成済みという前提で...
- バージョンは 1.18
aws-load-balancer-controllerのインストール
- ここの手順に沿って行った Installation Guide - AWS LoadBalancer Controller

$ eksctl utils associate-iam-oidc-provider \
  --region ap-northeast-1 \
  --cluster floral-mongoose-1607656608 \
  --approve
 [ℹ]  eksctl version 0.32.0
 [ℹ]  using region ap-northeast-1
 [ℹ]  will create IAM Open ID Connect provider for cluster "floral-mongoose-1607656608" in "ap-northeast-1"
 [✔]  created IAM Open ID Connect provider for cluster "floral-mongoose-1607656608" in "ap-northeast-1"
 
# AWS Load Balancer Controller 用 IAM Policy の作成
$ curl -o iam-policy.json https://raw.githubusercontent.com/kubernetes-sigs/aws-load-balancer-controller/v2.1.0/docs/install/iam_policy.json
 
$ aws iam create-policy \
     --policy-name AWSLoadBalancerControllerIAMPolicy \
     --policy-document file://iam-policy.json
 {
     "Policy": {
         "PolicyName": "AWSLoadBalancerControllerIAMPolicy",
         "PolicyId": "ANPA3TVC4QV7DOBMICOZQ",
         "Arn": "arn:aws:iam::accoundid:policy/AWSLoadBalancerControllerIAMPolicy",
         "Path": "/",
         "DefaultVersionId": "v1",
         "AttachmentCount": 0,
         "PermissionsBoundaryUsageCount": 0,
         "IsAttachable": true,
         "CreateDate": "2020-12-11T03:40:45+00:00",
         "UpdateDate": "2020-12-11T03:40:45+00:00"
     }
 }

# 先ほど作成した IAM Policy にひもづける ServiceAccount を作成
$ eksctl create iamserviceaccount \
  --cluster=floral-mongoose-1607656608 \
  --namespace=kube-system \
  --name=aws-load-balancer-controller \
  --attach-policy-arn=arn:aws:iam::accountid:policy/AWSLoadBalancerControllerIAMPolicy \
  --approve
 [ℹ]  eksctl version 0.32.0
 [ℹ]  using region ap-northeast-1
 [ℹ]  1 existing iamserviceaccount(s) (kube-system/aws-node) will be excluded
 [ℹ]  1 iamserviceaccount (kube-system/aws-load-balancer-controller) was included (based on the include/exclude rules)
 [ℹ]  1 iamserviceaccount (kube-system/aws-node) was excluded (based on the include/exclude rules)
 [!]  serviceaccounts that exists in Kubernetes will be excluded, use --override-existing-serviceaccounts to override
 [ℹ]  1 task: { 2 sequential sub-tasks: { create IAM role for serviceaccount "kube-system/aws-load-balancer-controller", create serviceaccount "kube-system/aws-load-balancer-controller" } }
 [ℹ]  building iamserviceaccount stack "eksctl-floral-mongoose-1607656608-addon-iamserviceaccount-kube-system-aws-load-balancer-controller"
 [ℹ]  deploying stack "eksctl-floral-mongoose-1607656608-addon-iamserviceaccount-kube-system-aws-load-balancer-controller"
 [ℹ]  created serviceaccount "kube-system/aws-load-balancer-controller"
 
# Controller をクラスターにインストール
$ helm repo add eks https://aws.github.io/eks-charts
 "eks" has been added to your repositories
 
$ kubectl apply -k "github.com/aws/eks-charts/stable/aws-load-balancer-controller//crds?ref=master"
 customresourcedefinition.apiextensions.k8s.io/targetgroupbindings.elbv2.k8s.aws created
 
# helm install eks/aws-load-balancer-controller だと上手くいかなかった...
# see https://github.com/aws/eks-charts/tree/master/stable/aws-load-balancer-controller
$ helm upgrade \
    -i aws-load-balancer-controller \
    eks/aws-load-balancer-controller \
    -n kube-system \
    --set clusterName=floral-mongoose-1607656608 \
    --set serviceAccount.create=false \
    --set serviceAccount.name=aws-load-balancer-controller
 Release "aws-load-balancer-controller" does not exist. Installing it now.
 NAME: aws-load-balancer-controller
 LAST DEPLOYED: Fri Dec 11 12:52:57 2020
 NAMESPACE: kube-system
 STATUS: deployed
 REVISION: 1
 TEST SUITE: None
 NOTES:
 AWS Load Balancer controller installed!

ACM で TLS証明書の作成
- ALB で gRPC を利用する場合はリスナープロトコルを HTTPS にする必要がある
  - Target groups for your Application Load Balancers - Elastic Load Balancing
  - Considerations for the gRPC protocol version
    The only supported listener protocol is HTTPS.
- このため ACM で証明書を用意した

# --validation-method は DNS も選べるが、今回は都合によりeメール認証を選んだ
# この ARN を後ほど使うのでコピーしておく
$ aws acm request-certificate --domain-name albgrpcsample.niboshino-tech.net --validation-method EMAIL
 {
     "CertificateArn": "arn:aws:acm:ap-northeast-1:accountid:certificate/f49ed98b-935e-4adc-ab82-b7f35c293f9c"
 }

manifest作成、適用

# helloworld.yml
apiVersion: v1
kind: Service
metadata:
  name: helloworld
spec:
  selector:
    app: helloworld
  ports:
    - port: 50051
      targetPort: 50051
  type: NodePort
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: helloworld
spec:
  selector:
    matchLabels:
      app: helloworld
  template:
    metadata:
      labels:
        app: helloworld
    spec:
      containers:
        - name: helloworld
          image: accountid.dkr.ecr.ap-northeast-1.amazonaws.com/albgrpcsample/helloworld:v0.0.1
          resources:
            limits:
              memory: "128Mi"
              cpu: "500m"
          ports:
            - containerPort: 50051

# routeguide.yml
apiVersion: v1
kind: Service
metadata:
  name: routeguide
spec:
  selector:
    app: routeguide
  ports:
    - port: 10000
      targetPort: 10000
  type: NodePort
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: routeguide
spec:
  selector:
    matchLabels:
      app: routeguide
  template:
    metadata:
      labels:
        app: routeguide
    spec:
      containers:
        - name: routeguide
          image: accountid.dkr.ecr.ap-northeast-1.amazonaws.com/albgrpcsample/route_guide:v0.0.1
          resources:
            limits:
              memory: "128Mi"
              cpu: "500m"
          ports:
            - containerPort: 10000

# alb-grpc-sample-ingress.yml
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: alb-grpc-sample
  annotations:
    kubernetes.io/ingress.class: alb
    alb.ingress.kubernetes.io/scheme: internet-facing
    alb.ingress.kubernetes.io/backend-protocol-version: GRPC
    # このアノテーションがあることでリスナープロトコルのデフォルトが HTTPS (443) になる
    # see https://kubernetes-sigs.github.io/aws-load-balancer-controller/latest/guide/ingress/annotations/#listen-ports
    alb.ingress.kubernetes.io/certificate-arn: arn:aws:acm:ap-northeast-1:accountid:certificate/f49ed98b-935e-4adc-ab82-b7f35c293f9c
spec:
  rules:
    - http:
        paths:
          - backend:
              serviceName: helloworld
              servicePort: 50051
            path: /helloworld.Greeter/*
          - backend:
              serviceName: routeguide
              servicePort: 10000
            path: /routeguide.RouteGuide/*

これらを適用したところ ALB が作成された

f:id:TAKAyuki_atkwsk:20201213102923p:plain

動作確認
- ドメインの管理が Route53 以外で行われているので /etc/hosts を編集して確認した
- 正常にレスポンスが返ってくることを確認できた

# /etc/hostsを書き換えるため、ALBのIPアドレスを取得
$ dig k8s-default-albgrpcs-5fb02487bb-383351884.ap-northeast-1.elb.amazonaws.com +short
 
 52.198.135.63
 18.182.181.161
 13.230.14.197
 
$ sudo vi /etc/hosts
 # 以下追加
 52.198.135.63 albgrpcsample.niboshino-tech.net
 
$ grpcurl -d '{"name": "foo"}' -proto helloworld/helloworld/helloworld.proto albgrpcsample.niboshino-tech.net:443 helloworld.Greeter/SayHello
 {
   "message": "Hello foo"
 }
 
$ grpcurl -d '{"latitude": 407838351, "longitude": -746143763}' -proto route_guide/routeguide/route_guide.proto albgrpcsample.niboshino-tech.net:443 routeguide.RouteGuide/GetFeature
 {
   "name": "Patriots Path, Mendham, NJ 07945, USA",
   "location": {
     "latitude": 407838351,
     "longitude": -746143763
   }
 }

まとめ

AWS Load Balancer Controller をインストールして Ingress に特定の annotation を追加したものを適用すると ALB が作成されることが分かりました。Ingress で指定したパスごとにターゲットグループが対応しているので理解しやすく感じました。EKS で gRPC を利用するシステムにおいてルーティングや負荷分散を担う要素として選択肢の一つになりそうです。

2020-12-04

ExternalDNS の policy を軽く調べたメモ

Kubernetes ExternalDNS AWS EKS

AWS の EKS 上で ExternalDNS を利用する際に policy という概念が分からなかったので、動かしながら簡単に調べてみたメモです。

policyって？

https://github.com/kubernetes-sigs/external-dns/blob/master/pkg/apis/externaldns/types.go#L410

Modify how DNS records are synchronized between sources and providers

マニフェストファイルで定義されるものとDNSプロバイダー間でDNSレコードがどのように同期が取られるかというのを設定する
sync, upsert-only, create-only の3種類のうちどれか
- 鋭い方ならこの時点である程度想像付くかと思う

AWS Route53と連携する場合

こちらを参照。 https://github.com/kubernetes-sigs/external-dns/blob/master/docs/tutorials/aws.md#deploy-externaldns

ExternalDNSの引数として --policy=upsert-only が例示されている

would prevent ExternalDNS from deleting any records, omit to enable full synchronization

またこの引数のコメントとして、(upsert-onlyは)レコードを削除するのを防ぐ、完全な同期を行う場合は(引数を)省略する、ということを言っている
読んで一瞬分からなかったため動かしながら確かめたという経緯

それぞれのpolicyによる働き

動作を確認するために、DNSレコード作成→変更→削除という流れを想定した操作を行った
- Serivce(type: LoadBalancer)を2つ用意する
- 1つ目のサービスにアノテーションを付与する(=レコードが作成される想定)
- 1つ目のサービスからアノテーションを削除し、2つ目のサービスにアノテーションを付与する(=レコードの値が置き換わる想定)
- 2つ目のサービスからアノテーションを削除する(=レコードが削除される想定)

事前準備

話に関わる部分だけ掻い摘んで紹介。基本的には external-dns/aws.md at master · kubernetes-sigs/external-dns · GitHub で紹介されている方法で行った。

external-dns-test.niboshino-tech.net. という hosted zone を作成。

$ aws route53 create-hosted-zone --name "external-dns-test.niboshino-tech.net." --caller-reference "external-dns-test-$(date +%s)"
 {
     "Location": "https://route53.amazonaws.com/2013-04-01/hostedzone/Z0608323LFWKCVBOP5JV",
     "HostedZone": {
         "Id": "/hostedzone/Z0608323LFWKCVBOP5JV",
         "Name": "external-dns-test.niboshino-tech.net.",
         "CallerReference": "external-dns-test-1606996869",
         "Config": {
             "PrivateZone": false
         },
         "ResourceRecordSetCount": 2
     },
     "ChangeInfo": {
         "Id": "/change/C067512728AL1CJFU0BF9",
         "Status": "PENDING",
         "SubmittedAt": "2020-12-03T12:01:11.058000+00:00"
     },
     "DelegationSet": {
         "NameServers": [
             "ns-131.awsdns-16.com",
             "ns-1855.awsdns-39.co.uk",
             "ns-1374.awsdns-43.org",
             "ns-903.awsdns-48.net"
         ]
     }
 }
$ hosted_zone_id='/hostedzone/Z0608323LFWKCVBOP5JV'

external-dns deployment コンテナ args の --policy 値を変えながら確認。ポリシーを切り替える時には以下手順で生成されるDNSレコードを削除しながら行った。

# external-dns.yml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: external-dns
spec:
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app: external-dns
  template:
    metadata:
      labels:
        app: external-dns
    spec:
      serviceAccountName: external-dns
      containers:
      - name: external-dns
        image: k8s.gcr.io/external-dns/external-dns:v0.7.3
        args:
        - --source=service
        - --source=ingress
        - --domain-filter=external-dns-test.niboshino-tech.net
        - --provider=aws
        - --policy=sync # ここを変えながら確認する
        - --aws-zone-type=public
        - --registry=txt
        - --txt-owner-id=my-hostedzone-identifier
        - --log-level=debug
      securityContext:
        fsGroup: 65534 # For ExternalDNS to be able to read Kubernetes and AWS token files

2つの service と nginx deployment。コメントアウトしているアノテーションをいじりながら確認。

# sample-service.yml
apiVersion: v1
kind: Service
metadata:
  name: nginx-1
    #annotations:
    #  external-dns.alpha.kubernetes.io/hostname: nginx.external-dns-test.niboshino-tech.net
spec:
  type: LoadBalancer
  ports:
  - port: 80
    name: http
    targetPort: 80
  selector:
    app: nginx
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-2
    #annotations:
    #  external-dns.alpha.kubernetes.io/hostname: nginx.external-dns-test.niboshino-tech.net
spec:
  type: LoadBalancer
  ports:
  - port: 80
    name: http
    targetPort: 80
  selector:
    app: nginx
---

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
spec:
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - image: nginx
        name: nginx
        ports:
        - containerPort: 80
          name: http

これを適用して2つのELBとひもづくサービスが生成されたのを確認。

$ kubectl apply -f sample-service.yml
service/nginx-1 created
service/nginx-2 created
deployment.apps/nginx created

$ kubectl describe svc nginx-1 | grep -i ingress
LoadBalancer Ingress:     a99a72c973d704f21b37154b784f9e42-511373786.ap-northeast-1.elb.amazonaws.com

$ kubectl describe svc nginx-2 | grep -i ingress
LoadBalancer Ingress:     a6779323f48a9429896681eff5889292-1848281942.ap-northeast-1.elb.amazonaws.com

sync

全てのアノテーション操作がDNSレコードと同期された。

# nginx-1 にアノテーション付与
$ kubectl logs external-dns-xxxxx
time="2020-12-03T13:12:54Z" level=debug msg="Considering zone: /hostedzone/Z0608323LFWKCVBOP5JV (domain: external-dns-test.niboshino-tech.net.)"
time="2020-12-03T13:12:54Z" level=debug msg="No endpoints could be generated from service kube-system/kube-dns"
time="2020-12-03T13:12:54Z" level=debug msg="No endpoints could be generated from service default/nginx-2"
time="2020-12-03T13:12:54Z" level=debug msg="Endpoints generated from service: default/nginx-1: [nginx.external-dns-test.niboshino-tech.net 0 IN CNAME  a99a72c973d704f21b37154b784f9e42-511373786.ap-northeast-1.elb.amazonaws.com []]"
time="2020-12-03T13:12:54Z" level=debug msg="No endpoints could be generated from service default/kubernetes"
time="2020-12-03T13:12:55Z" level=debug msg="Considering zone: /hostedzone/Z0608323LFWKCVBOP5JV (domain: external-dns-test.niboshino-tech.net.)"
time="2020-12-03T13:12:55Z" level=debug msg="Adding nginx.external-dns-test.niboshino-tech.net. to zone external-dns-test.niboshino-tech.net. [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:12:55Z" level=debug msg="Adding nginx.external-dns-test.niboshino-tech.net. to zone external-dns-test.niboshino-tech.net. [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:12:55Z" level=info msg="Desired change: CREATE nginx.external-dns-test.niboshino-tech.net A [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:12:55Z" level=info msg="Desired change: CREATE nginx.external-dns-test.niboshino-tech.net TXT [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:12:55Z" level=info msg="2 record(s) in zone external-dns-test.niboshino-tech.net. [Id: /hostedzone/Z0608323LFWKCVBOP5JV] were successfully updated"

# ターゲットがnginx-1のロードバランサーであるAliasレコードが作成された
$ aws route53 list-resource-record-sets --output json --hosted-zone-id $hosted_zone_id \
    --query "ResourceRecordSets[?Name == 'nginx.external-dns-test.niboshino-tech.net.']|[?Type == 'A']"
[
    {
        "Name": "nginx.external-dns-test.niboshino-tech.net.",
        "Type": "A",
        "AliasTarget": {
            "HostedZoneId": "Z14GRHDCWA56QT",
            "DNSName": "a99a72c973d704f21b37154b784f9e42-511373786.ap-northeast-1.elb.amazonaws.com.",
            "EvaluateTargetHealth": true
        }
    }
]

# nginx-1からアノテーションを削除しnginx-2にアノテーションを付与
$ kubectl logs external-dns-xxxxx
time="2020-12-03T13:14:56Z" level=debug msg="Considering zone: /hostedzone/Z0608323LFWKCVBOP5JV (domain: external-dns-test.niboshino-tech.net.)"
time="2020-12-03T13:14:56Z" level=debug msg="No endpoints could be generated from service default/kubernetes"
time="2020-12-03T13:14:56Z" level=debug msg="No endpoints could be generated from service kube-system/kube-dns"
time="2020-12-03T13:14:56Z" level=debug msg="Endpoints generated from service: default/nginx-2: [nginx.external-dns-test.niboshino-tech.net 0 IN CNAME  a6779323f48a9429896681eff5889292-1848281942.ap-northeast-1.elb.amazonaws.com []]"
time="2020-12-03T13:14:56Z" level=debug msg="No endpoints could be generated from service default/nginx-1"
time="2020-12-03T13:14:56Z" level=debug msg="Considering zone: /hostedzone/Z0608323LFWKCVBOP5JV (domain: external-dns-test.niboshino-tech.net.)"
time="2020-12-03T13:14:56Z" level=debug msg="Adding nginx.external-dns-test.niboshino-tech.net. to zone external-dns-test.niboshino-tech.net. [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:14:56Z" level=debug msg="Adding nginx.external-dns-test.niboshino-tech.net. to zone external-dns-test.niboshino-tech.net. [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:14:56Z" level=info msg="Desired change: UPSERT nginx.external-dns-test.niboshino-tech.net A [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:14:56Z" level=info msg="Desired change: UPSERT nginx.external-dns-test.niboshino-tech.net TXT [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:14:57Z" level=info msg="2 record(s) in zone external-dns-test.niboshino-tech.net. [Id: /hostedzone/Z0608323LFWKCVBOP5JV] were successfully updated"

# nginx-2のロードバランサーがターゲットに変更された
$ aws route53 list-resource-record-sets --output json --hosted-zone-id $hosted_zone_id \
    --query "ResourceRecordSets[?Name == 'nginx.external-dns-test.niboshino-tech.net.']|[?Type == 'A']"
[
    {
        "Name": "nginx.external-dns-test.niboshino-tech.net.",
        "Type": "A",
        "AliasTarget": {
            "HostedZoneId": "Z14GRHDCWA56QT",
            "DNSName": "a6779323f48a9429896681eff5889292-1848281942.ap-northeast-1.elb.amazonaws.com.",
            "EvaluateTargetHealth": true
        }
    }
]

# nginx-2からアノテーションを削除
time="2020-12-03T13:17:58Z" level=debug msg="Considering zone: /hostedzone/Z0608323LFWKCVBOP5JV (domain: external-dns-test.niboshino-tech.net.)"
time="2020-12-03T13:17:58Z" level=debug msg="No endpoints could be generated from service kube-system/kube-dns"
time="2020-12-03T13:17:58Z" level=debug msg="No endpoints could be generated from service default/nginx-2"
time="2020-12-03T13:17:58Z" level=debug msg="No endpoints could be generated from service default/nginx-1"
time="2020-12-03T13:17:58Z" level=debug msg="No endpoints could be generated from service default/kubernetes"
time="2020-12-03T13:17:58Z" level=debug msg="Considering zone: /hostedzone/Z0608323LFWKCVBOP5JV (domain: external-dns-test.niboshino-tech.net.)"
time="2020-12-03T13:17:58Z" level=debug msg="Adding nginx.external-dns-test.niboshino-tech.net. to zone external-dns-test.niboshino-tech.net. [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:17:58Z" level=debug msg="Adding nginx.external-dns-test.niboshino-tech.net. to zone external-dns-test.niboshino-tech.net. [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:17:58Z" level=info msg="Desired change: DELETE nginx.external-dns-test.niboshino-tech.net A [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:17:58Z" level=info msg="Desired change: DELETE nginx.external-dns-test.niboshino-tech.net TXT [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:17:59Z" level=info msg="2 record(s) in zone external-dns-test.niboshino-tech.net. [Id: /hostedzone/Z0608323LFWKCVBOP5JV] were successfully updated"

# Aliasレコードが消えているのを確認
$ aws route53 list-resource-record-sets --output json --hosted-zone-id $hosted_zone_id \
    --query "ResourceRecordSets[?Name == 'nginx.external-dns-test.niboshino-tech.net.']|[?Type == 'A']"
[]

upsert-only

作成、変更のアノテーション操作のみがDNSレコードと同期された。

# nginx-1 にアノテーション付与
time="2020-12-03T13:21:23Z" level=debug msg="Considering zone: /hostedzone/Z0608323LFWKCVBOP5JV (domain: external-dns-test.niboshino-tech.net.)"
time="2020-12-03T13:21:23Z" level=debug msg="No endpoints could be generated from service default/nginx-2"
time="2020-12-03T13:21:23Z" level=debug msg="Endpoints generated from service: default/nginx-1: [nginx.external-dns-test.niboshino-tech.net 0 IN CNAME  a99a72c973d704f21b37154b784f9e42-511373786.ap-northeast-1.elb.amazonaws.com []]"
time="2020-12-03T13:21:23Z" level=debug msg="No endpoints could be generated from service default/kubernetes"
time="2020-12-03T13:21:23Z" level=debug msg="No endpoints could be generated from service kube-system/kube-dns"
time="2020-12-03T13:21:24Z" level=debug msg="Considering zone: /hostedzone/Z0608323LFWKCVBOP5JV (domain: external-dns-test.niboshino-tech.net.)"
time="2020-12-03T13:21:24Z" level=debug msg="Adding nginx.external-dns-test.niboshino-tech.net. to zone external-dns-test.niboshino-tech.net. [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:21:24Z" level=debug msg="Adding nginx.external-dns-test.niboshino-tech.net. to zone external-dns-test.niboshino-tech.net. [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:21:24Z" level=info msg="Desired change: CREATE nginx.external-dns-test.niboshino-tech.net A [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:21:24Z" level=info msg="Desired change: CREATE nginx.external-dns-test.niboshino-tech.net TXT [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:21:24Z" level=info msg="2 record(s) in zone external-dns-test.niboshino-tech.net. [Id: /hostedzone/Z0608323LFWKCVBOP5JV] were successfully updated"

# ターゲットがnginx-1のロードバランサーであるAliasレコードが作成された
aws route53 list-resource-record-sets --output json --hosted-zone-id $hosted_zone_id \
    --query "ResourceRecordSets[?Name == 'nginx.external-dns-test.niboshino-tech.net.']|[?Type == 'A']"
[
    {
        "Name": "nginx.external-dns-test.niboshino-tech.net.",
        "Type": "A",
        "AliasTarget": {
            "HostedZoneId": "Z14GRHDCWA56QT",
            "DNSName": "a99a72c973d704f21b37154b784f9e42-511373786.ap-northeast-1.elb.amazonaws.com.",
            "EvaluateTargetHealth": true
        }
    }
]

# nginx-1からアノテーションを削除しnginx-2にアノテーションを付与
time="2020-12-03T13:23:25Z" level=debug msg="Considering zone: /hostedzone/Z0608323LFWKCVBOP5JV (domain: external-dns-test.niboshino-tech.net.)"
time="2020-12-03T13:23:25Z" level=debug msg="Endpoints generated from service: default/nginx-2: [nginx.external-dns-test.niboshino-tech.net 0 IN CNAME  a6779323f48a9429896681eff5889292-1848281942.ap-northeast-1.elb.amazonaws.com []]"
time="2020-12-03T13:23:25Z" level=debug msg="No endpoints could be generated from service default/nginx-1"
time="2020-12-03T13:23:25Z" level=debug msg="No endpoints could be generated from service default/kubernetes"
time="2020-12-03T13:23:25Z" level=debug msg="No endpoints could be generated from service kube-system/kube-dns"
time="2020-12-03T13:23:26Z" level=debug msg="Considering zone: /hostedzone/Z0608323LFWKCVBOP5JV (domain: external-dns-test.niboshino-tech.net.)"
time="2020-12-03T13:23:26Z" level=debug msg="Adding nginx.external-dns-test.niboshino-tech.net. to zone external-dns-test.niboshino-tech.net. [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:23:26Z" level=debug msg="Adding nginx.external-dns-test.niboshino-tech.net. to zone external-dns-test.niboshino-tech.net. [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:23:26Z" level=info msg="Desired change: UPSERT nginx.external-dns-test.niboshino-tech.net A [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:23:26Z" level=info msg="Desired change: UPSERT nginx.external-dns-test.niboshino-tech.net TXT [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:23:26Z" level=info msg="2 record(s) in zone external-dns-test.niboshino-tech.net. [Id: /hostedzone/Z0608323LFWKCVBOP5JV] were successfully updated"

# nginx-2のロードバランサーがターゲットに変更された
aws route53 list-resource-record-sets --output json --hosted-zone-id $hosted_zone_id \
    --query "ResourceRecordSets[?Name == 'nginx.external-dns-test.niboshino-tech.net.']|[?Type == 'A']"
[
    {
        "Name": "nginx.external-dns-test.niboshino-tech.net.",
        "Type": "A",
        "AliasTarget": {
            "HostedZoneId": "Z14GRHDCWA56QT",
            "DNSName": "a6779323f48a9429896681eff5889292-1848281942.ap-northeast-1.elb.amazonaws.com.",
            "EvaluateTargetHealth": true
        }
    }
]

# nginx-2からアノテーションを削除
# nginx-1, nginx-2 からエンドポイントが生成されていないが All records are already up to date となっていた
time="2020-12-03T13:25:26Z" level=debug msg="Considering zone: /hostedzone/Z0608323LFWKCVBOP5JV (domain: external-dns-test.niboshino-tech.net.)"
time="2020-12-03T13:25:26Z" level=debug msg="No endpoints could be generated from service default/nginx-2"
time="2020-12-03T13:25:26Z" level=debug msg="No endpoints could be generated from service default/nginx-1"
time="2020-12-03T13:25:26Z" level=debug msg="No endpoints could be generated from service default/kubernetes"
time="2020-12-03T13:25:26Z" level=debug msg="No endpoints could be generated from service kube-system/kube-dns"
time="2020-12-03T13:25:27Z" level=debug msg="Considering zone: /hostedzone/Z0608323LFWKCVBOP5JV (domain: external-dns-test.niboshino-tech.net.)"
time="2020-12-03T13:25:27Z" level=info msg="All records are already up to date"
 
# nginx-2のロードバランサーがターゲットのまま変更なし
aws route53 list-resource-record-sets --output json --hosted-zone-id $hosted_zone_id \
    --query "ResourceRecordSets[?Name == 'nginx.external-dns-test.niboshino-tech.net.']|[?Type == 'A']"
[
    {
        "Name": "nginx.external-dns-test.niboshino-tech.net.",
        "Type": "A",
        "AliasTarget": {
            "HostedZoneId": "Z14GRHDCWA56QT",
            "DNSName": "a6779323f48a9429896681eff5889292-1848281942.ap-northeast-1.elb.amazonaws.com.",
            "EvaluateTargetHealth": true
        }
    }
]

create-only

作成のアノテーション操作のみがDNSレコードと同期された。

# nginx-1 にアノテーション付与
time="2020-12-03T13:31:13Z" level=debug msg="Considering zone: /hostedzone/Z0608323LFWKCVBOP5JV (domain: external-dns-test.niboshino-tech.net.)"
time="2020-12-03T13:31:13Z" level=debug msg="No endpoints could be generated from service kube-system/kube-dns"
time="2020-12-03T13:31:13Z" level=debug msg="No endpoints could be generated from service default/nginx-2"
time="2020-12-03T13:31:13Z" level=debug msg="Endpoints generated from service: default/nginx-1: [nginx.external-dns-test.niboshino-tech.net 0 IN CNAME  a99a72c973d704f21b37154b784f9e42-511373786.ap-northeast-1.elb.amazonaws.com []]"
time="2020-12-03T13:31:13Z" level=debug msg="No endpoints could be generated from service default/kubernetes"
time="2020-12-03T13:31:13Z" level=debug msg="Considering zone: /hostedzone/Z0608323LFWKCVBOP5JV (domain: external-dns-test.niboshino-tech.net.)"
time="2020-12-03T13:31:13Z" level=debug msg="Adding nginx.external-dns-test.niboshino-tech.net. to zone external-dns-test.niboshino-tech.net. [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:31:13Z" level=debug msg="Adding nginx.external-dns-test.niboshino-tech.net. to zone external-dns-test.niboshino-tech.net. [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:31:13Z" level=info msg="Desired change: CREATE nginx.external-dns-test.niboshino-tech.net A [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:31:13Z" level=info msg="Desired change: CREATE nginx.external-dns-test.niboshino-tech.net TXT [Id: /hostedzone/Z0608323LFWKCVBOP5JV]"
time="2020-12-03T13:31:14Z" level=info msg="2 record(s) in zone external-dns-test.niboshino-tech.net. [Id: /hostedzone/Z0608323LFWKCVBOP5JV] were successfully updated"

# ターゲットがnginx-1のロードバランサーであるAliasレコードが作成された
aws route53 list-resource-record-sets --output json --hosted-zone-id $hosted_zone_id \
    --query "ResourceRecordSets[?Name == 'nginx.external-dns-test.niboshino-tech.net.']|[?Type == 'A']"
[
    {
        "Name": "nginx.external-dns-test.niboshino-tech.net.",
        "Type": "A",
        "AliasTarget": {
            "HostedZoneId": "Z14GRHDCWA56QT",
            "DNSName": "a99a72c973d704f21b37154b784f9e42-511373786.ap-northeast-1.elb.amazonaws.com.",
            "EvaluateTargetHealth": true
        }
    }
]

# nginx-1からアノテーションを削除しnginx-2にアノテーションを付与
time="2020-12-03T13:33:15Z" level=debug msg="Considering zone: /hostedzone/Z0608323LFWKCVBOP5JV (domain: external-dns-test.niboshino-tech.net.)"
time="2020-12-03T13:33:15Z" level=debug msg="No endpoints could be generated from service default/nginx-1"
time="2020-12-03T13:33:15Z" level=debug msg="No endpoints could be generated from service default/kubernetes"
time="2020-12-03T13:33:15Z" level=debug msg="No endpoints could be generated from service kube-system/kube-dns"
time="2020-12-03T13:33:15Z" level=debug msg="Endpoints generated from service: default/nginx-2: [nginx.external-dns-test.niboshino-tech.net 0 IN CNAME  a6779323f48a9429896681eff5889292-1848281942.ap-northeast-1.elb.amazonaws.com []]"
time="2020-12-03T13:33:15Z" level=debug msg="Considering zone: /hostedzone/Z0608323LFWKCVBOP5JV (domain: external-dns-test.niboshino-tech.net.)"
time="2020-12-03T13:33:15Z" level=info msg="All records are already up to date"

# nginx-1のロードバランサーがターゲットのまま変更なし
aws route53 list-resource-record-sets --output json --hosted-zone-id $hosted_zone_id \
     --query "ResourceRecordSets[?Name == 'nginx.external-dns-test.niboshino-tech.net.']|[?Type == 'A']"
 [
     {
         "Name": "nginx.external-dns-test.niboshino-tech.net.",
         "Type": "A",
         "AliasTarget": {
             "HostedZoneId": "Z14GRHDCWA56QT",
             "DNSName": "a99a72c973d704f21b37154b784f9e42-511373786.ap-northeast-1.elb.amazonaws.com.",
             "EvaluateTargetHealth": true
         }
     }
 ]
 
# nginx-2からアノテーションを削除
time="2020-12-03T13:35:16Z" level=debug msg="Considering zone: /hostedzone/Z0608323LFWKCVBOP5JV (domain: external-dns-test.niboshino-tech.net.)"
time="2020-12-03T13:35:16Z" level=debug msg="No endpoints could be generated from service default/kubernetes"
time="2020-12-03T13:35:16Z" level=debug msg="No endpoints could be generated from service kube-system/kube-dns"
time="2020-12-03T13:35:16Z" level=debug msg="No endpoints could be generated from service default/nginx-2"
time="2020-12-03T13:35:16Z" level=debug msg="No endpoints could be generated from service default/nginx-1"
time="2020-12-03T13:35:16Z" level=debug msg="Considering zone: /hostedzone/Z0608323LFWKCVBOP5JV (domain: external-dns-test.niboshino-tech.net.)"
time="2020-12-03T13:35:16Z" level=info msg="All records are already up to date"

# nginx-1のロードバランサーがターゲットのまま変更なし
aws route53 list-resource-record-sets --output json --hosted-zone-id $hosted_zone_id \
    --query "ResourceRecordSets[?Name == 'nginx.external-dns-test.niboshino-tech.net.']|[?Type == 'A']"
[
    {
        "Name": "nginx.external-dns-test.niboshino-tech.net.",
        "Type": "A",
        "AliasTarget": {
            "HostedZoneId": "Z14GRHDCWA56QT",
            "DNSName": "a99a72c973d704f21b37154b784f9e42-511373786.ap-northeast-1.elb.amazonaws.com.",
            "EvaluateTargetHealth": true
        }
    }
]

調査まとめ

policy の名前通りにDNSレコードが同期されることが分かりました(素晴らしいネーミング！)。誤ってアノテーションを消してしまうようなオペレーションミスのことを考えると、ドキュメントに例示されているように upsert-only もしくは create-only を設定するのがベターな印象を受けました。

2020-07-15

私が最近知ったGitHubのいくつかの便利機能

GitHub

こんにちは。Webシステム開発や各種ソフトウェア開発において GitHub を利用する場面は多いかと思いますが、私が最近知った便利な機能をメモがてらいくつか紹介しようと思います。

Issue を Pull Request と関連付けて自動的にクローズさせる

docs.github.com

ある issue に対して Pull Request(以下PR)を作るというのは良くあることですが、PRを作る際に特定のキーワード(close, fix, resolve など詳しくはドキュメント参照)と対象のissue番号を書いておくと issue と PR が関連付けられます(画像1枚目, 2枚目)。右側のメニューに Linked issues という項目がありここに関連付けた issue が表示されます。

この状態でPRがマージされると関連付けた issue が自動的にクローズされます！(画像3枚目, 4枚目) issue にはどのPRによってクローズされたかが明記され、また Linked pull requests という項目でも記録されます。

これまではマージして自分で(もしくは他の誰かが) issue をクローズするという一手間がありましたが、自動化されるので楽できますね。あとは明示的に issue と特定のPRが関連しているというのが示されるのも後々振り返るときに便利だと思います。

複数の issue テンプレート作成

docs.github.com

レポジトリの issue テンプレートを複数作成できる機能について紹介します。

レポジトリの Settings から Features という項目内の Set up templates ボタンをクリック。

いくつかテンプレートの種類が用意されています。今回は既存のテンプレートを全て有効にしました。

Propose changes ボタンをクリックするとコミット操作メニューが表示されます。設定がレポジトリのコードとして含まれることが予想されます。

上記のメニューからコミットしたところ、 .github/ISSUE_TEMPLATE というディレクトリができておりその中にはテンプレートごとのmarkdownファイルが生成されていました。このファイルを編集するとテンプレートの内容を変更できました。

この状態で新しく issue を作成すると以下のようにテンプレートを選択できるようになっていました。リストの下には小さく open blank issue というリンクがあり、これまで同様の空の issue 編集ページに飛ぶことも可能です。

試しに Feature request というテンプレートを選択すると予め決められたフォーマットで文言がセットされた状態の編集ページが表示されました。

issue の体裁がある程度決まっているとメンテナンスする人にとっては情報を把握しやすくなり、issue を報告した人とのコミュニケーションの質が高まるため良いプラクティスだと思っています。テンプレート自体は以前から機能としてあったと思いますが、複数種類のテンプレートを用意できるのは助かるケースも多いのかなと思います。技術コミュニティの運営で issue を使って管理することがあり meetup を開催するに当たって毎回テンプレート的な issue をいくつか作成するため、こういう使い方にも応用できそうだなと思います。

コミット署名の必須化

docs.github.com

ブランチの保護に関してコミットに署名が付いたもののみマージを許可する設定が可能です。

レポジトリの Settings > Branches から Branch protection rules を追加します。Branch name patternは必須だったので、一旦ワイルドカードにして Require signed commits にチェックをいれ更新します。

この設定後、これまで通りローカルで新しいブランチを作成後コミット、プッシュしてPRを作成したところマージがブロックされました。

ということで署名方法の一つであるGPGを使ってコミットしてみます。GPGについては詳しくありませんので作成方法等は以下のドキュメントを参照してください。

docs.github.com

GPGを設定してコミットを行いPRを作成しました。コミットには verify マークが付与され、またマージもできるようになりました。

コミット署名によってコミットのなりすまし・偽装を防ぐことが期待されます。ぱっと見でこのユーザーのコミットだから信頼できると感じることはあるので署名によって担保しておくのは仕組みとして良いと思います。ローカルで署名の設定が少し手間取った(個人の感想)のでプロジェクトに導入する際はメンバー内で合意が取れているのと周知が必要になりそうです。

まとめ

GitHubに備わっているいくつかの便利な機能を紹介しました。使っていてちょっと不便というか自動化されてたら嬉しいということがいつの間にか実装されていてとてもありがたいです。いつも通り使っていても新しい機能や改善に気付かないこともあるので、自らに管理権限のあるレポジトリを作成して気が向いたときにいろいろ動かしてみることをオススメします。

今回調査のために作ったレポジトリです。 github.com

2020-04-26

Kanazawa.rb meetup #92 に参加しました #kzrb

Meetup Ruby CloudFormation AWS

今回もオンライン開催のmeetupでした。

meetup.kzrb.org

kzrb.doorkeeper.jp

もくもく会

今回は、CloudFormation用JSON SchemaをVSCodeで利用しているのですがエラーが出ているので調査していました。現象については以下にまとめました。そこまで致命的なエラーというわけではないです。

github.com

JSON Schemaでは $ref というキーワードを使い特定のスキーマを参照できます。今回の問題ではこの参照先がファイル内に存在しないことでエラーが出ている模様でした。$ref に関しては以下を参照。

json-schema.org

具体的には AWS::ResourceGroups::Group の Tags という定義で、もくもく会のときに見たときは List of JSON というタイプだった記憶があるのですがこの記事書いている時点では List of Tag というより具体的なタイプになっています。もしかするとJSON Schema側を更新すれば解決するかもしれないですね。

docs.aws.amazon.com

作業環境とお題について

話は変わってもくもく会時の手元の作業環境ですが左半分にブラウザを、右半分の上部にSlack、下部にZoomをそれぞれ配置していました。本当はZoomを全画面にしてというのが理想的ですが作業しながら他の人の顔も見たかったのでこんな感じにしていました。別モニターにZoomを常時表示するのもいいかもしれませんね。

この画面をキャプチャしたのはもう一つ意図があります。作業中に「もくもく会でやることを毎回悩むのだけどみなさんどうやって見つけてますか？」という質問があり、私はまさにこのキャプチャ内のやりたいことリストというのを用意しています。調べてみたいことや作りたいことを思いついたときにメモしておいて、もくもく会当日にリストから選ぶという運用をしています。選ぶ基準はその時の気分ですw

f:id:TAKAyuki_atkwsk:20200426110102p:plain

他の人の話を聞いた感想など

Rubyの右代入演算子について(http://secret-garden.hatenablog.com/entry/2020/04/10/195207)
- アイデアはとても興味深い
- プログラム書く側の考え方として、メソッドチェーンして最後に値を変数に入れるというのが新鮮だった
  - もしかすると日本語的な世界観？？？
- irbなどのreplではざっと書いたものを逐次実行するので有用なのではと思う
  - 要するにコードスタイルはともかく実行結果がほしいので
  - ファイルに書くときは可読性の問題で左に変数があるスタイルで統一されている方がよいと思った
Rust
- 学習コンテンツ(https://doc.rust-lang.org/book/index.html)
  - 本のようなフォーマットできれいだなと思っていたらmdBookというツールで作られているとのこと
    - Rust製
    - 章立てされていてある程度量のあるドキュメンテーションに向いてそう
- 変数は基本的にイミュータブルという話が出てきて、驚いている参加者が多い印象があって逆に驚いた
  - たぶん慣れの問題で、私はScalaや関数型言語を触る機会が多いので一般的な感覚だった
  - 最近出ているプログラミング言語はイミュータブルな変数を採用しているものが多い気がする
  - こういうのは極論になりがちだけど、適材適所だと思う(私は基本的にはイミュータブルにしておいてループ内とか局所的にミュータブルな変数を使うというのはあり派)
  - 少しだけこの話(ミュータブルの方がいい例)に触れている発表がScalaMatsuri 2019で行われたので興味ある方はどうぞ
    - Functional Object-Oriented Imperative Scala / 関数型オブジェクト指向命令型 Scala by Sébastien Doeraene
    - 動画 10:16〜
    - スライド
Cuprite - Headless Chrome driver for Capybara
- 気になる

懇親会

懇親会は引き続きZoom上で行われました。途中退出したりまた戻ってきたりできて自由度が高くて良いですね。

f:id:TAKAyuki_atkwsk:20200426094132p:plain

2020-04-12

作業用EC2インスタンスを cloud-init で準備する

AWS EC2

AWS環境で単発の作業用サーバー(例: 負荷テストツールの実行用)を楽に準備したくて cloud-init を利用する方法を調べました。EC2インスタンスの起動時にユーザーが定義した設定を行ってくれる仕組み(= cloud-init)があり、この設定をユーザーデータという形でEC2インスタンスに渡すことができます。

cloudinit.readthedocs.io

https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/user-data.html

要件

プライベートサブネットに配置
- パブリックサブネットにはインターネットゲートウェイ、NATゲートウェイ、踏み台サーバーが設置済み
デフォルトの ec2-user ではなくて、特定のユーザーでSSHログインしたい(公開鍵認証)
OpenJDK8 と sbt がインストール済み
- Gatling という負荷テストツールを利用する想定
- amazon-corretto のインストールで良い方法が見つからなかったので OpenJDK にしています

ユーザー作成

まず、SSHログインするためのユーザーアカウントを作成します。ログインするために公開鍵を登録するというのがポイントになります。cloud-init の users 設定で行います。

#cloud-config
cloud_final_modules:
    - [users-groups, always]
users:
    - name: takagi
      groups: [wheel]
      sudo: ["ALL=(ALL) NOPASSWD:ALL"]
      shell: /bin/bash
      ssh-authorized-keys:
          - ssh-rsa publickey # 公開鍵をセットする

この設定は以下資料を参考にしました。

aws.amazon.com

EC2インスタンス作成時に上記の設定内容をユーザーデータに渡しインスタンスが起動するとSSHログインできるようになります。踏み台サーバー経由でログインするために以下のような設定を行います。鍵は簡易的に踏み台サーバーと同じものを利用しています。諸々の設定が上手くいけば ssh working-server でログイン可能です。

# ~/.ssh/config
Host bastion # 踏み台サーバー
    HostName x.x.x.x # public IPアドレス
    User takagi
    IdentityFile /Users/takayuki_atkwsk/.ssh/id_rsa
Host working-server # 作業用サーバー
    HostName 192.168.2.73 # private IPアドレス
    User takagi
    IdentityFile /Users/takayuki_atkwsk/.ssh/id_rsa
    ProxyCommand ssh -W %h:%p bastion

パッケージのインストール

次に必要なパッケージをインストール済みの状態にします。上記でSSHログインできるようになった段階で yum install コマンドを打っても良いのですが、時間が空いて別の作業用インスタンスを起動したときに再度打つのも面倒くさいので cloud-init に任せてしまいます。今回は OpenJDK と sbt をインストールします。注意点としては、パッケージのインストールはインスタンスのライフサイクルで一度しか行われないため、上記の設定でインスタンスを起動した場合は一度終了(stop ではなく terminate)してパッケージの設定を追加した新しいインスタンスを作り直しましょう。

sbt に関しては以下のインストール方法に記されている方法の内、RPMレポジトリをパッケージマネージャに追加する方法で行います。

curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos.d/bintray-sbt-rpm.repo
sudo yum install sbt

www.scala-sbt.org

cloud-init で対応するには yum_repos という設定を利用します。各設定値には上記の sbt RPM URLから得られるデータに含まれる値を使います。こちらがダウンロードしたデータです。

#bintray--sbt-rpm - packages by  from Bintray
[bintray--sbt-rpm]
name=bintray--sbt-rpm
baseurl=https://sbt.bintray.com/rpm
gpgcheck=0
repo_gpgcheck=0
enabled=1

それぞれの値を yum_repos に当てはめると以下の cloud-init 設定になります。これでパッケージマネージャにレポジトリを追加できます。後は yum install でインストールしたいパッケージ名を packages の値に書き込みます。

yum_repos:
    bintray--sbt-rpm:
        baseurl: https://sbt.bintray.com/rpm
        name: bintray--sbt-rpm
        enabled: true
        gpgcheck: false
packages:
    - java-1.8.0-openjdk-devel
    - sbt

yum_repos: https://cloudinit.readthedocs.io/en/latest/topics/modules.html#yum-add-repo

packages: https://cloudinit.readthedocs.io/en/latest/topics/modules.html#package-update-upgrade-install

この設定をユーザーデータに含めてインスタンスを起動すると、OpenJDK および sbt がインストールされた状態になっています。これで Gatling シミュレーションを含んだソースコードをローカルから scp すれば実行できるようになります。

[takagi@ip-192-168-2-73 ~]$ which java
/usr/bin/java
[takagi@ip-192-168-2-73 ~]$ which sbt
/usr/bin/sbt
[takagi@ip-192-168-2-73 ~]$ java -version
openjdk version "1.8.0_242"
OpenJDK Runtime Environment (build 1.8.0_242-b08)
OpenJDK 64-Bit Server VM (build 25.242-b08, mixed mode)

まとめ

用意した cloud-init 設定全体を以下に示します。今回は単発でEC2インスタンスを利用する(=定常的に稼働しないまたは他の人が利用しない)用途だったのでこのくらいの簡潔さが丁度良いなと感じました。組織でEC2インスタンスの構成管理を行いたい場合になると Chef や Ansible などのツールを使う方が上手く運用できるのかもしれません。

#cloud-config
cloud_final_modules:
    - [users-groups, always]
users:
    - name: takagi
      groups: [wheel]
      sudo: ["ALL=(ALL) NOPASSWD:ALL"]
      shell: /bin/bash
      ssh-authorized-keys:
          - ssh-rsa publickey # 公開鍵をセットする
yum_repos:
    bintray--sbt-rpm:
        baseurl: https://sbt.bintray.com/rpm
        name: bintray--sbt-rpm
        enabled: true
        gpgcheck: false
packages:
    - java-1.8.0-openjdk-devel
    - sbt

Blogaomu

WEBアプリケーション開発とその周辺のメモをゆるふわに書いていきます。

Envoy の gRPC-JSON transcoder を利用する場合のアクセスログで元の HTTP method を出力したい

2020年個人的振り返り

ALB で gRPC を利用する on EKS

ALB の HTTP/2 および gRPC 対応

EKS で ALB を利用するには？

想定構成

作成手順

まとめ

ExternalDNS の policy を軽く調べたメモ

policyって？

AWS Route53と連携する場合

それぞれのpolicyによる働き

事前準備

sync

upsert-only

create-only

調査まとめ

私が最近知ったGitHubのいくつかの便利機能

Issue を Pull Request と関連付けて自動的にクローズさせる

複数の issue テンプレート作成

コミット署名の必須化

まとめ

Kanazawa.rb meetup #92 に参加しました #kzrb

もくもく会

作業環境とお題について

他の人の話を聞いた感想など

懇親会

作業用EC2インスタンスを cloud-init で準備する

要件

ユーザー作成

パッケージのインストール

まとめ