Iter 23-24

.gitignore

@@ -33,4 +33,4 @@ vendor/
 .DS_Store
 
 # Public/private keys for communications encryption
-build/keys
+build/keys

.golangci.yaml

@@ -27,6 +27,7 @@ linters:
     - interfacer
     - ireturn
     - maligned
+    - musttag
     - nlreturn
     - nosnakecase
     - rowserrcheck
@@ -38,6 +39,7 @@ linters:
     - varcheck
     - varnamelen
     - wastedassign
+    - wrapcheck
 
     # FIXME (alkurbatov): Enable when we add parallelism to the tests.
     - paralleltest
@@ -47,19 +49,3 @@ issues:
     - path: '(.+)_test\.go'
       linters:
         - noctx
-
-    - path: '(.+)_mock\.go'
-      linters:
-        - wrapcheck
-
-    - path: 'internal/compression/.*.go'
-      linters:
-        - wrapcheck
-
-    - path: 'internal/exporter/exporter.go'
-      linters:
-        - wrapcheck
-
-    - path: 'internal/handlers/marshal.go'
-      linters:
-        - wrapcheck

.pre-commit-config.yaml

@@ -7,6 +7,6 @@ repos:
     exclude: ^docs/api
 
   - repo: https://github.com/golangci/golangci-lint
-    rev: v1.51.2
+    rev: v1.51.1
     hooks:
       - id: golangci-lint

Makefile

@@ -3,8 +3,12 @@ E2E_TEST = test/devopstest
 API_DOCS = docs/api
 KEY_PATH = build/keys
 
-AGENT_VERSION ?= 0.22.0
-SERVER_VERSION ?= 0.22.0
+PROTO_SRC = api/proto
+PROTO_FILES = health metrics
+PROTO_DST = pkg/grpcapi
+
+AGENT_VERSION ?= 0.24.0
+SERVER_VERSION ?= 0.24.0
 
 BUILD_DATE ?= $(shell date +%F\ %H:%M:%S)
 BUILD_COMMIT ?= $(shell git rev-parse --short HEAD)
@@ -22,13 +26,27 @@ install-tools: $(E2E_TEST) ## Install additional linters and test tools
 $(E2E_TEST):
 	@echo Installing $@
 	curl -sSfL \
-		https://github.com/Yandex-Practicum/go-autotests/releases/download/v0.7.14/devopstest-darwin-amd64 \
+		https://github.com/Yandex-Practicum/go-autotests/releases/download/v0.9.6/devopstest-darwin-amd64 \
 		-o $@
 	@chmod +x $(E2E_TEST)
 
-build: $(COMPONENTS) ## Build whole project
+build: proto $(COMPONENTS) ## Build whole project
 .PHONY: build
 
+proto: $(PROTO_FILES) ## Generate gRPC protobuf bindings
+.PHONY: proto
+
+$(PROTO_FILES): %: $(PROTO_DST)/%
+
+$(PROTO_DST)/%:
+	protoc \
+		--proto_path=$(PROTO_SRC) \
+		--go_out=$(PROTO_DST) \
+		--go_opt=paths=source_relative \
+		--go-grpc_out=$(PROTO_DST) \
+		--go-grpc_opt=paths=source_relative \
+		$(PROTO_SRC)/$(notdir $@).proto
+
 agent: ## Build agent
 	go build \
 		-ldflags "\
@@ -42,7 +60,7 @@ agent: ## Build agent
 
 server: ## Build metrics server
 	rm -rf $(API_DOCS)
-	swag init -g ./internal/handlers/router.go --output $(API_DOCS)
+	swag init -g ./internal/httpbackend/router.go --output $(API_DOCS)
 
 	go build \
 		-ldflags "\
@@ -55,7 +73,7 @@ server: ## Build metrics server
 .PHONY: server
 
 staticlint: ## Build static lint utility
-	go build $(CCFLAGS) -o cmd/$@/$@ cmd/$@/*.go
+	go build -o cmd/$@/$@ cmd/$@/*.go
 .PHONY: staticlint
 
 clean: ## Remove build artifacts and downloaded test tools
@@ -64,12 +82,12 @@ clean: ## Remove build artifacts and downloaded test tools
 
 lint: ## Run linters on the source code
 	golangci-lint run
-	./cmd/staticlint/staticlint ./cmd/... ./internal/... ./pkg/...
+	go list -buildvcs=false ./... | grep -F -v -e docs | xargs ./cmd/staticlint/staticlint
 .PHONY: lint
 
 unit-tests: ## Run unit tests
 	@go test -v -race ./... -coverprofile=coverage.out.tmp -covermode atomic
-	@cat coverage.out.tmp | grep -v "_mock.go" > coverage.out
+	@cat coverage.out.tmp | grep -v -E "(_mock|.pb).go" > coverage.out
 	@go tool cover -html=coverage.out -o coverage.html
 	@go tool cover -func=coverage.out
 .PHONY: unit-tests

README.md

@@ -27,6 +27,8 @@
 20. [Инкремент 20 (шифрование агент -> сервер)](./docs/tasks/increment20.md)
 21. [Инкремент 21 (конфигурационные файлы)](./docs/tasks/increment21.md)
 22. [Инкремент 22 (штатное завершение работы)](./docs/tasks/increment22.md)
+23. [Инкремент 23 (блокировка запросов из недоверенной подсети)](./docs/tasks/increment23.md)
+24. [Инкремент 24 (gRPC)](./docs/tasks/increment24.md)
 
 ## Разработка и тестирование
 Для получения полного списка доступных команд выполните:
@@ -45,6 +47,13 @@ make help
 make install-tools
 ```
 
+#### protoc
+Для генерации `gRPC` кода необходимо установить [protoc](https://grpc.io/docs/protoc-installation/), а также плагины для `Go`:
+```bash
+go install google.golang.org/protobuf/cmd/protoc-gen-go@latest
+go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@latest
+```
+
 #### migrate
 Для работы с миграциями БД необходимо установить утилиту [golang-migrate](https://github.com/golang-migrate/migrate):
 ```bash
@@ -92,9 +101,12 @@ migrate -database ${DATABASE_DSN} -path ./migrations down -all
 (!) Переменные окружения имеют приоритет перед опциями командной строки.
 
 ```bash
-# Адрес и порт, по которым доступно API сервера:
+# Адрес и порт, по которым доступно HTTP API сервера:
 export ADDRESS=0.0.0.0:8080
 
+# Адрес и порт, по которым доступно gRPC API сервера:
+export GRPC_ADDRESS=0.0.0.0:50051
+
 # Интервал времени в секундах, по истечении которого текущие показания
 # сервера сбрасываются на диск (значение 0 — делает запись синхронной):
 export STORE_INTERVAL=300s
@@ -114,6 +126,10 @@ export KEY=
 # Ключ должен быть сохранен в PEM формате.
 export CRYPTO_KEY=
 
+# Доверенная подсеть в CIDR нотации (по умолчанию не задана).
+# Если эта переменная задана, сервер блокирует запросы, отправленные не из доверенной подсети.
+export TRUSTED_SUBNET=
+
 # Полный URL для установления соединения с базой (по умолчанию не задан).
 # Сервер автоматически запустит все необходимые миграции после установления соединения с базой.
 # (!) Поддерживается только Postgres.
@@ -152,6 +168,9 @@ export CONFIG=
 # Адрес и порт сервера, агрегирующего метрики:
 export ADDRESS=0.0.0.0:8080
 
+# Тип транспорта используемого для сбора метрик (http или gRPC):
+export TRANSPORT=http
+
 # Интервал опроса метрик (в секундах):
 export POLL_INTERVAL=2s
 

api/kreya/local.krenv

@@ -0,0 +1,7 @@
+{
+  "id": "5cf6f40c-e242-418f-a8f3-2cf627269ad0",
+  "color": "#60A5FA",
+  "globalContent": {
+    "grpc_endpoint": "::50051"
+  }
+}

api/kreya/metrics-collectors.krproj

@@ -0,0 +1,19 @@
+{
+  "id": "1391c613-27e1-4895-9db8-2af74f3edee3",
+  "importStreams": [
+    {
+      "id": "8697db12-5cc2-4fb7-a80b-5579c72e685c",
+      "name": "grpc-proto",
+      "importerName": "ProtoFile",
+      "createMissingOperations": true,
+      "options": {
+        "files": [
+          "../proto"
+        ],
+        "importPaths": []
+      }
+    }
+  ],
+  "authConfigs": [],
+  "certificates": []
+}

api/kreya/metrics/collector/v1/Health/Ping-request.json

@@ -0,0 +1 @@
+{}

api/kreya/metrics/collector/v1/Health/Ping.krop

@@ -0,0 +1,13 @@
+{
+  "details": {
+    "methodFqn": "metrics.collector.v1.Health.Ping"
+  },
+  "requests": [
+    {
+      "location": "Ping-request.json"
+    }
+  ],
+  "operationType": "unary",
+  "invokerName": "grpc",
+  "importStreamId": "8697db12-5cc2-4fb7-a80b-5579c72e685c"
+}

api/kreya/metrics/collector/v1/Metrics/BatchUpdate-request.json

@@ -0,0 +1,14 @@
+{
+  "data": [
+    {
+      "id": "PollCount",
+      "mtype": "counter",
+      "delta": 452
+    },
+    {
+      "id": "Alloc",
+      "mtype": "gauge",
+      "value": 568.2049356225625
+    }
+  ]
+}

api/kreya/metrics/collector/v1/Metrics/BatchUpdate.krop

@@ -0,0 +1,13 @@
+{
+  "details": {
+    "methodFqn": "metrics.collector.v1.Metrics.BatchUpdate"
+  },
+  "requests": [
+    {
+      "location": "BatchUpdate-request.json"
+    }
+  ],
+  "operationType": "unary",
+  "invokerName": "grpc",
+  "importStreamId": "8697db12-5cc2-4fb7-a80b-5579c72e685c"
+}

api/kreya/metrics/collector/v1/Metrics/Get-request.json

@@ -0,0 +1,4 @@
+{
+  "id": "MyTest",
+  "mtype": "gauge"
+}

api/kreya/metrics/collector/v1/Metrics/Get.krop

@@ -0,0 +1,13 @@
+{
+  "details": {
+    "methodFqn": "metrics.collector.v1.Metrics.Get"
+  },
+  "requests": [
+    {
+      "location": "Get-request.json"
+    }
+  ],
+  "operationType": "unary",
+  "invokerName": "grpc",
+  "importStreamId": "8697db12-5cc2-4fb7-a80b-5579c72e685c"
+}

api/kreya/metrics/collector/v1/Metrics/Update-request.json

@@ -0,0 +1,6 @@
+{
+  "id": "MyTest",
+  "mtype": "gauge",
+  "delta": "72",
+  "value": 670.4969946687745
+}

api/kreya/metrics/collector/v1/Metrics/Update.krop

@@ -0,0 +1,13 @@
+{
+  "details": {
+    "methodFqn": "metrics.collector.v1.Metrics.Update"
+  },
+  "requests": [
+    {
+      "location": "Update-request.json"
+    }
+  ],
+  "operationType": "unary",
+  "invokerName": "grpc",
+  "importStreamId": "8697db12-5cc2-4fb7-a80b-5579c72e685c"
+}

api/kreya/metrics/directory.krpref

@@ -0,0 +1,24 @@
+{
+  "settings": [
+    {
+      "options": {
+        "rest": {
+          "pathParams": []
+        }
+      }
+    },
+    {
+      "environmentId": "5cf6f40c-e242-418f-a8f3-2cf627269ad0",
+      "options": {
+        "grpc": {
+          "endpoint": "http://localhost:50051",
+          "mode": "grpc",
+          "disableServerCertificateValidation": true
+        },
+        "rest": {
+          "pathParams": []
+        }
+      }
+    }
+  ]
+}

api/proto/health.proto

@@ -0,0 +1,10 @@
+syntax = "proto3";
+
+package metrics.collector.v1;
+option go_package = "github.com/alkurbatov/metrics-collector/grpcapi";
+
+import "google/protobuf/empty.proto";
+
+service Health {
+  rpc Ping(google.protobuf.Empty) returns (google.protobuf.Empty);
+}

api/proto/metrics.proto

@@ -0,0 +1,34 @@
+syntax = "proto3";
+
+package metrics.collector.v1;
+option go_package = "github.com/alkurbatov/metrics-collector/grpcapi";
+
+// NB (alkurbatov): The name was intentionally choosen to match the similar structure
+// from HTTP API for convenience.
+message MetricReq {
+  string id = 1;
+  string mtype = 2;
+  int64 delta = 3;
+  double value = 4;
+  string hash = 5;
+}
+
+message GetMetricRequest {
+  string id = 1;
+  string mtype = 2;
+}
+
+message BatchUpdateRequest {
+  repeated MetricReq data = 1;
+}
+
+message BatchUpdateResponse {
+  repeated MetricReq data = 1;
+}
+
+service Metrics {
+  rpc Update(MetricReq) returns (MetricReq);
+  rpc BatchUpdate(BatchUpdateRequest) returns (BatchUpdateResponse);
+
+  rpc Get(GetMetricRequest) returns (MetricReq);
+}

configs/agent.example.json

@@ -1,5 +1,6 @@
 {
   "address": "localhost:8080",
+  "transport": "http",
   "report_interval": "1s",
   "poll_interval": "1s",
   "crypto_key": "./build/keys/public.pem",

configs/server.example.json

@@ -1,9 +1,11 @@
 {
   "address": "localhost:8080",
+  "grpc_address": "localhost:8080",
   "restore": true,
   "store_interval": "1s",
   "store_file": "/path/to/file.db",
   "database_dsn": "",
   "crypto_key": "./build/keys/private.pem",
+  "trusted_subnet": "192.168.0.0/16",
   "debug": true
 }