merge mytonctrl2_controller into mytonctrl2_dev

docs/en/controllers.md

@@ -0,0 +1,94 @@
+# Controllers
+
+## Launching a Validator in Controller Mode
+
+1. Prepare the hardware for the validator - 32 virtual cores, 64GB of memory, 1TB SSD, fixed IP address, and 1Gb/s internet speed.
+
+   To maintain network stability, it is recommended to place validators in different locations around the world, rather than concentrating them in a single data center. You can use [this site](https://status.toncenter.com/) to determine the load on various locations. According to the map, there is a high load on data centers in Europe, especially in Finland, Germany, and Paris. Therefore, using providers such as Hetzner and OVH is not recommended.
+
+   > Ensure your hardware meets or exceeds the specified configuration. Running the validator on inappropriate hardware can harm the network and result in penalties.
+   > Since May 2021, Hetzner has prohibited mining on its servers. This rule currently applies to both PoW and PoS algorithms. Even installing a regular node will be considered a breach of contract.
+
+2. Install and synchronize **mytonctrl** according to the description in [this instruction](https://github.com/ton-blockchain/mytonctrl/blob/master/docs/en/manual-ubuntu.md) — follow **only** paragraphs 1, 2, and 3.
+
+   You can also refer to this [Video Tutorial](https://docs.ton.org/participate/run-nodes/full-node#installation) for additional help.
+
+3. Transfer 1 TON to the validator wallet address, which is displayed in the `wl` list.
+
+4. Use the `aw` command to activate the validator's wallet.
+
+5. Transfer enough TON to the validator wallet address.
+
+6. Enable the ton-http-api service:
+	```
+	mytonctrl -> installer -> enable THA
+	```
+	Exit installer mode with `Ctrl+D`
+
+7. Set the liquid pool address, which will lend TON for validation:
+   ```
+   set liquid_pool_addr <liquid-pool-address>
+   ```
+
+8. Set the lending parameters that acceptable to you:
+   ```
+   set min_loan 41000
+   set max_loan 43000
+   set max_interest_percent 1.5
+   ```
+
+   where 
+* `41000` is the minimum loan amount we are willing to receive from the liquid pool,
+* `43000` is the maximum loan amount we are willing to receive from the liquid pool,
+*   `1.5` 1.5 is the maximum interest rate value for the liquid pool per validation cycle, which we have agreed upon.
+
+9. Display the annual percentage of profit from the liquid pool:
+	```
+	calculate_annual_controller_percentage
+	```
+
+10. Create two controllers with a single command:
+
+   ```
+   new_controllers
+   ```
+
+11. Enter `controllers_list` to display the controller addresses:
+
+   ```
+   controllers_list
+   Address                                             Status  Balance
+   kf89KYOeRPRRDyjt_3bPsz92cKSghRqw64efNr8mT1eeHDaS    active  0.704345
+   kf_lT8QNykLh5PN5ictNX22maiyIf9iK787fXg6nJ_zB-jbN    active  0.720866
+   ```
+
+12. Make a validator deposit in each controller:
+
+
+```
+deposit_to_controller kf89KYOeRPRRDyjt_3bPsz92cKSghRqw64efNr8mT1eeHDaS 10000
+deposit_to_controller kf_lT8QNykLh5PN5ictNX22maiyIf9iK787fXg6nJ_zB-jbN 10000
+```
+
+
+where `10000` TON is the deposit amount.
+
+13. Get approval for the controllers. Each pool may have its own approval issuance policy, check with the operator.
+
+14. Set controller mode:
+
+ ```bash
+ set useController true
+ set stake null
+ ```
+
+> (!) If you were previously using nominator pools, do not forget to disable them using the `set usePool false` command.
+
+
+## Switching a Regular Validator to Controller Operating Mode
+
+1. Enter `set stake 0` to stop participating in elections.
+
+2. Wait until both of your deposits have been returned from the Elector.
+
+3. Follow the instructions under "Launching a Validator in Controller Mode", beginning with **Step 6**.

docs/ru/controllers.md

@@ -0,0 +1,93 @@
+# Контроллеры
+
+## Запуск валидатора в режиме работы контроллеров
+
+1. Подготовьте аппаратное обеспечение для валидатора - 32 виртуальных ядер, 64GB памяти, 1TB SSD, фиксированный IP-адрес, скорость интернета 1Gb/s.
+
+   Для поддержания стабильности сети рекомендуется разместить валидаторы в различных местах по всему миру, а не концентрировать их в одном дата-центре. Вы можете использовать [этот сайт](https://status.toncenter.com/) для определения нагрузки на различные места. Согласно карте, высокая нагрузка на дата-центры в Европе, особенно в Финляндии, Германии и Париже. Поэтому использование провайдеров, таких как Hetzner и OVH, не рекомендуется.
+
+   > Ваше оборудование должно соответствовать указанной конфигурации или быть выше. Запуск валидатора на слабом оборудовании негативно влияет на сеть и может привести к штрафам.
+
+   > С мая 2021 года Hetzner запретил майнинг на своих серверах, в настоящее время под это правило попадают алгоритмы PoW и PoS. Установка даже обычного узла будет считаться нарушением условий договора.
+
+2. Установите и синхронизируйте **mytonctrl** в соответствии с описанием в [этой инструкции](https://github.com/ton-blockchain/mytonctrl/blob/master/docs/ru/manual-ubuntu.md) — следуйте **только** пунктам 1, 2 и 3.
+
+   Вы также можете обратиться к этой [Видеоинструкции](https://docs.ton.org/participate/run-nodes/full-node#installation) для дополнительной помощи.
+
+3. Переведите 1 TON на адрес кошелька валидатора, который отображается в списке `wl`.
+
+4. Используйте команду `aw` для активации кошелька валидатора.
+
+5. Переведите достаточно TON на адрес кошелька валидатора.
+
+6. Включите ton-http-api службу:
+	```
+	mytonctrl -> installer -> enable THA
+	```
+	Выйдите из режима установщика сочетанием клавиш `Ctrl+D`
+
+7. Задайте адрес ликвидного пула, который будет одалживать TON для валидации:
+	```
+	set liquid_pool_addr <liquid-pool-address>
+	```
+
+8. Задайте параметры кредитования, которые вам подходят:
+	```
+	set min_loan 41000
+	set max_loan 43000
+	set max_interest_percent 1.5
+	```
+
+	где 
+* `41000` - это минимальная сумма кредита который мы готовы получить у ликвидного пула,
+*	`43000` - это максимальная сумма кредита который мы готовы получить у ликвидного пула,
+*	`1.5` - это максимальная процентная ставка ликвидного пула за один цикл валидации на которую мы согласны.
+
+9. Отобразите годовой процент прибыли от ликвидного пула:
+	```
+	calculate_annual_controller_percentage
+	```
+
+10. Создайте два контроллера одной командой:
+
+   ```
+   new_controllers
+   ```
+
+11. Введите `controllers_list` чтобы отобразить адреса контроллеров:
+
+   ```
+   controllers_list
+   Address                                             Status  Balance
+   kf89KYOeRPRRDyjt_3bPsz92cKSghRqw64efNr8mT1eeHDaS    active  0.704345
+   kf_lT8QNykLh5PN5ictNX22maiyIf9iK787fXg6nJ_zB-jbN    active  0.720866
+   ```
+
+12. Совершите депозит валидатора в каждый контроллер:
+
+   ```
+   deposit_to_controller kf89KYOeRPRRDyjt_3bPsz92cKSghRqw64efNr8mT1eeHDaS 10000
+   deposit_to_controller kf_lT8QNykLh5PN5ictNX22maiyIf9iK787fXg6nJ_zB-jbN 10000
+   ```
+
+   где `10000` TON - это сумма депозита.
+
+13. Получите аппрувал контроллеров. У каждого пула может быть своя политика выдачи аппруволов, уточняйте у оператора.
+
+14. Активируйте режим работы контроллеров:
+
+    ```bash
+    set useController true
+    set stake null
+    ```
+
+	> (!) Если до этого вы использовали номинатор-пулы, не забудьте отключить их использование командой `set usePool false`.
+
+
+## Переключение обычного валидатора в режим работы контроллеров
+
+1. Введите `set stake 0`, чтобы отключить участие в выборах.
+
+2. Дождитесь, когда оба ваших депозита вернутся от электора.
+
+3. Следуйте инструкциям "Запуск валидатора в режиме работы контроллеров", начиная с **6-го шага**.

functions/session_stats.py

@@ -0,0 +1,136 @@
+#!/usr/bin/env python3
+# -*- coding: utf_8 -*-
+
+import os
+import sys
+import time
+import json
+sys.path.append("/usr/src/mytonctrl/")
+from mypylib.mypylib import Dict
+
+def read_session_stats(need_time_period):
+	#print(f"read_session_stats: {need_time_period}")
+	file_path = "/var/ton-work/log.session-stats"
+	average_block_time = calculate_average_block_time(file_path)
+	need_blocks = int(need_time_period/average_block_time)
+
+	lines = read_last_lines(file_path, need_lines=need_blocks)
+	#lines = read_all_lines(file_path)
+	data = lines2data(lines)
+
+	result = Dict()
+	result.my_blocks = 0
+	result.my_need_blocks = 0
+	result.all_master_blocks = 0
+	result.all_blocks = len(data)
+	for buff in data:
+		if buff.id.workchain == -1:
+			result.all_master_blocks += 1
+		first_producer = buff.rounds[0].producers[0]
+		if buff.self != first_producer.id:
+			continue
+		result.my_need_blocks += 1
+		if buff.self == buff.creator:
+			result.my_blocks += 1
+	#end for
+	return result
+#end define
+
+def calculate_average_block_time(file_path):
+	blocks = 100
+	lines = read_last_lines(file_path, need_lines=blocks)
+	data = lines2data(lines)
+	first_block, last_block = get_first_last_block(data)
+
+	diff = int(last_block.timestamp) - int(first_block.timestamp)
+	average_block_time = round(diff/blocks, 2)
+	#print("average_block_time:", average_block_time)
+	return average_block_time
+#end define
+
+def get_first_last_block(data, last_index=-1):
+	first_block = data[0]
+	last_block = data[last_index]
+	if first_block.id.workchain == last_block.id.workchain:
+		blocks = int(last_block.id.seqno) - int(first_block.id.seqno)
+	else:
+		first_block, last_block = get_first_last_block(data, last_index=last_index-1)
+	return first_block, last_block
+#end define
+
+def lines2data(lines):
+	#start = time.time()
+	data = list()
+	for line in lines:
+		try:
+			buff = json.loads(line)
+			data.append(Dict(buff))
+		except json.decoder.JSONDecodeError:
+			pass
+	#end for
+
+	#end = time.time()
+	#diff = round(end - start, 2)
+	#print(f"lines2data completed in {diff} seconds")
+	return data
+#end define
+
+def read_all_lines(file_path):
+	#start = time.time()
+	with open(file_path, 'rt') as file:
+		text = file.read()
+	#end with
+	lines = text.split('\n')
+
+	#end = time.time()
+	#diff = round(end - start, 2)
+	#print(f"read_all_lines completed in {diff} seconds")
+	return lines
+#end define
+
+def read_last_lines(file_path, need_lines):
+	lines = list()
+	max_lines = 30000
+	if need_lines < 1:
+		return lines
+	elif need_lines > max_lines:
+		need_lines = max_lines
+	#print(f"read_last_lines: {need_lines}")
+	#start = time.time()
+	with open(file_path, 'rb') as file:
+		find_last_lines(file, need_lines)
+		for i in range(need_lines):
+			line = file.readline().decode()
+			lines.append(line)
+	#end with
+
+
+	#end = time.time()
+	#diff = round(end - start, 2)
+	#print(f"read_last_lines {len(lines)} completed in {diff} seconds")
+	return lines
+#end define
+
+def find_last_lines(file, need_lines):
+	# catch OSError in case of a one line file 
+	try:
+		find_lines = 0
+		#file.seek(-2, os.SEEK_END)
+		#while find_lines != need_lines:
+		#	if file.read(1) == b'\n':
+		#		find_lines += 1
+		#	file.seek(-2, os.SEEK_CUR)
+
+		file.seek(-100, os.SEEK_END)
+		while find_lines != need_lines:
+			if b'\n' in file.read(100):
+				find_lines += 1
+			file.seek(-200, os.SEEK_CUR)
+	except OSError:
+		file.seek(0)
+#end define
+
+
+
+
+