Делаем каскадный сетап из цепочки связанных серверов на базе @bivlked (split-tunneling RU трафика - настроим тоже).

[glfenix]

Опишу как работает схема у меня. Может кому будет интересно. Или автор пакета, решит попробовать эти "письмена" автоматизировать.

Исходные данные.

2 сервера (у меня debian13 со всеми обновлениями в качестве ОС). На других ОС не тестил.
российский хостинг: имя AWG0, сетевая enp3s0. Подсеть AWG0 сервера для клиентов 172.16.17.1/24
забугорье хостинг: имя AWG1, сетевая ens3. Подсеть AWG1 сервера для клиентов 172.16.61.1/24

Архитектура (как смог нарисовал)

Подготовка к старту

Для начала нужно понимать, что на оба сервера ставим пакет @bivlked.
Я ставлю без ipv6, и в режиме пресета для мобильных клиентов, поэтому в конфигах как клиента, так и сервера его нет.
После установки, у нас появляется системный юнит /etc/amnezia/amneziawg/awg0.conf , управляемый через
systemctl start awg-quick@awg0.service
запускаем его на AWG1 сервере и добавляем его в автозагрузку - и далее мы с ним ничего не делаем
systemctl enable awg-quick@awg0.service
Предварительно сгенерируем на AWG1 сервере клиента, на пример с именем "ru_host".
По умолчанию, его конфиг лежит в /root/awg/ru_host.conf - уносим его на AWG0 сервер.

на AWG0 сервере - стопаем, и выключаем автозагрузку сервиса
systemctl stop --disable now awg-quick@awg0.service

вся соль, и остальная работа - на AWG0 сервере, который напомню, раположен в РУ сегменте.
Нужно понимать, что на нём уже лежит /etc/amnezia/amneziawg/awg0.conf
Следующим шагом, рядом с ним, положить клиентский конфиг, с AWG1 сервера, с правильным названием, и выдать ему такие же права (600), путем обычного копирования
cp ru_host.conf /etc/amnezia/amneziawg/awg1.conf
права выставляем
chmod 600 /etc/amnezia/amneziawg/awg1.conf

редактируем его, путём добавления 1 строки, после секции (я не стал параметры обфускации тут указывать, сохраняйте свои, которые были сгенерированы сервером AWG1)
Jc =
Jmin
Jmax
S1 =
S2 =
S3 =
S4 =
H1 =
H2 =
H3 =
H4 =
I1 =
Table = off < -- сюда эту строку

сохраняем.
не мешает, для теста запустить соединие,
systemctl start awg-quick@awg1.service
оно должно подняться, но без маршрутизации, трафик в него заворачиваться не будет. Хотя пинг шлюза AWG1, а это 172.16.61.1/24 - должен работать. ну и статус
awg show на обоих серверах, должно показывать активность.
посмотрели, и выключаем
systemctl stop awg-quick@awg1.service
далее, проверяем, ставим пакеты, если не стоит, у меня сейчас такое:
iproute2/stable,now 6.15.0-1 amd64 [installed]
ipset/stable,now 7.22-1+b1 amd64 [installed]
iptables/stable,now 1.8.11-2 amd64 [installed,automatic]
через
apt install resolvconf ipset iproute2 iptables
выключаем, если активен файрволл поднятый пакетом @bivlked
ufs disable
теперь надо настроить роутинг на AWG0.
правим конфиг /etc/amnezia/amneziawg/awg0.conf
приводим строки

PostUp = iptables -I FORWARD -i %i -j ACCEPT; iptables -t nat -A POSTROUTING -o enp3s0 -j MASQUERADE
PostDown = iptables -D FORWARD -i %i -j ACCEPT; iptables -t nat -D POSTROUTING -o enp3s0 -j MASQUERADE

к виду (в одну строку, каждый из 2 параметров), где меняем подсеть на свою (смотри архитектуру выше).

PostUp = iptables -A FORWARD -i %i -o awg1 -j ACCEPT; iptables -A FORWARD -o %i -i awg1 -m state --state RELATED,ESTABLISHED -j ACCEPT; iptables -t nat -A POSTROUTING -s 172.16.17.0/24 -o awg1 -j MASQUERADE
PostDown = iptables -D FORWARD -i %i -o awg1 -j ACCEPT; iptables -D FORWARD -o %i -i awg1 -m state --state RELATED,ESTABLISHED -j ACCEPT; iptables -t nat -D POSTROUTING -s 172.16.17.0/24 -o awg1 -j MASQUERADE

сохраняем.
далее команды на AWG0

mkdir -p /etc/iproute2
cat > /etc/iproute2/rt_tables << 'EOF'
100 awg1
EOF

далее создаем баш скрипт

cat /root/awg/awg-routing.sh
#!/bin/bash

# шаг 1
#systemctl start awg-quick@awg1.service
# шаг 2
#systemctl start awg-quick@awg0.service
# загрузка и применение ipset листа
curl -o /root/awg/ru.zone https://www.ipdeny.com/ipblocks/data/aggregated/ru-aggregated.zone
ipset create ru hash:net -exist

# загрузка списка RU сетей
if [ -f /root/awg/ru.zone ]; then
ipset flush ru
while read net; do
  ipset add ru $net
done < /root/awg/ru.zone
fi

# Настройка routing table
ip route replace default dev awg1 table 100

# rule
ip rule add fwmark 1 table 100

# iptables
ip route add [внешний IP AWG1 сервера] via [внешний IP шлюза AWG0 сервера] dev enp3s0
# очищаем правила
iptables -t mangle -F PREROUTING
# включаем маршрут для RU сетей, через AWG0 default GW
iptables -t mangle -A PREROUTING -i awg0 -m set --match-set ru dst -j RETURN
# остальные сети маркируем
iptables -t mangle -A PREROUTING -i awg0 -j MARK --set-mark 1
# включаем NAT на клиентов AWG0 сервера
iptables -t nat -A POSTROUTING -s 172.16.17.0/24 -o enp3s0 -j MASQUERADE

запуск

нужно понимать, что автозапуск сервисов на AWG0, не стоит делать.. будет зависание, нужна строгая последовательность.

1. должен быть доступен для сервера AWG0 сервис AWG1 сервера (мы его включали 1 раз выше и его далее не трогали) + должна быть сетевая доступность от AWG0 -> AWG1 по портам указанным в сервисах.
2. стартуем внешнее клиенское подключение с сервера AWG0 -> AWG1
   systemctl start awg-quick@awg1.service
   проверяем
   awg show
3. стартуем сервер для клиентов AmneziaWG/VPN на AWG0
   systemctl start awg-quick@awg0.service
   проверяем.
   awg show

затем стартуем баш скрипт, которому дали права на запуск, я его положил в /root/awg, где и ipset ru зоны.
после загрузки и отработки скрипта, трафик уже должен заворачиваться правильно.
это можно проверить

проверяем связность, к примеру так
ip route get 8.8.8.8 mark 1
8.8.8.8 dev awg1 table awg1 src 172.16.61.12 mark 1 uid 0
ip route get 77.88.44.242 (любой русский IP)
77.88.44.242 via [IP шлюза AWG0 сервера] dev enp3s0 src [внешний IP сервера AWG0] uid 0

диагностика
коннектимся любым AmneziaWG/VPN клиентом -> AWG0 серверу.
трафик должен разделятся.

дополнительные проверки.

iptables -t mangle -L PREROUTING -n -v

Chain PREROUTING (policy ACCEPT 283M packets, 254G bytes)
 pkts bytes target     prot opt in     out     source               destination         
  15M 3667M RETURN     all  --  awg0   *       0.0.0.0/0            0.0.0.0/0            match-set ru dst
  33M 5863M MARK       all  --  awg0   *       0.0.0.0/0            0.0.0.0/0            MARK set 0x1

видим, что счетчики растут

или ещё
iptables -t nat -L -n -v --line-numbers

Chain PREROUTING (policy ACCEPT 0 packets, 0 bytes)
num   pkts bytes target     prot opt in     out     source               destination         

Chain INPUT (policy ACCEPT 0 packets, 0 bytes)
num   pkts bytes target     prot opt in     out     source               destination         

Chain OUTPUT (policy ACCEPT 0 packets, 0 bytes)
num   pkts bytes target     prot opt in     out     source               destination         

Chain POSTROUTING (policy ACCEPT 1662 packets, 130K bytes)
num   pkts bytes target     prot opt in     out     source               destination         
1     667K  100M MASQUERADE  all  --  *      awg1    172.16.17.0/24       0.0.0.0/0           
2     197K   24M MASQUERADE  all  --  *      enp3s0  172.16.17.0/24       0.0.0.0/0 

тоже видим что счетчики растут

ip rule show

0:      from all lookup local
32765:  from all fwmark 0x1 lookup awg1
32766:  from all lookup main
32767:  from all lookup default

итоговая правильная таблица маршрутизации
ip r
default via [IP шлюза AWG0 сервера] dev enp3s0
[IP подсеть AWG0] dev enp3s0 proto kernel scope link src [внешний IP сервера AWG0]
172.16.17.0/24 dev awg0 proto kernel scope link src 172.16.17.1
[внешний IP сервера AWG1] via [IP шлюза AWG0 сервера] dev enp3s0

Эпилог

Схема отработана, у меня на 2 инсталляциях - завелась сразу. Если соблюдать описанную последовательность в блоке "запуск", то все должно у вас получится. Как я уже выше сказал, автозапуск служб на AWG0 сервере - ломает маршруты, так как есть созависимость у сервисов и таблиц маршрутизации.

в случае ребута, нужно зайти, и ручками аккуратно все поднять.
Может быть, когда-то, я автоматизирую это, но.. как и любому админу, лень.

update: поправил пару путей, где раъехалось

[bivlked]

Слушай, отличный разбор, спасибо - прямо готовый рецепт для раздельного выхода RU и забугора. Буду кидать ссылку, когда спрашивают про каскад.

В сам установщик это тащить не буду: каскад из нескольких серверов другой масштаб, чем одна коробка, в скрипте такое не удержать. А вот собрать из твоей схемы отдельную страницу-референс, с твоим авторством - с радостью, заодно поправим пару мест. Если ты за, я займусь.

Сначала про твою боль с ребутом - лечится. Маршруты рвутся из-за гонки: awg-quick@awg0 и таблицы встают раньше скрипта. Заверни его в один oneshot-юнит после обоих туннелей:

[Unit]
After=awg-quick@awg0.service awg-quick@awg1.service network-online.target
Requires=awg-quick@awg0.service awg-quick@awg1.service
Wants=network-online.target
[Service]
Type=oneshot
RemainAfterExit=yes
ExecStart=/root/awg/awg-routing.sh
[Install]
WantedBy=multi-user.target

enable - и awg0/awg1 поднимутся сами, а ipset с правилами применятся уже после них, без ручного вмешательства после ребута. network-online.target я добавил из-за curl за ru.zone, но он гарантирует только поднятый интерфейс, не доступность до хоста, так что скрипту не помешает переживать неудачную загрузку - оставлять прошлый ru.zone, а не обнулять сет. И если потом руками рестартишь туннель - дёрни и сам routing-юнит, он не перезапустится следом.

Пара мест в скрипте, если кто-то будет копировать один в один:

• Пути ru.zone разъехались: curl кладёт в /root/awg/ru.zone, а проверка читает if [ -f /etc/awg/ru.zone ] - другой каталог. На чистой машине этого файла нет, блок ipset пропускается, и сет ru остаётся пустым. А пустой ru - правило RETURN ничего не ловит, и в awg1 уходит вообще всё, включая русский трафик. У тебя-то работает (видно по счётчикам), а у копирующего сплит молча развалится. Свести к одному пути.
• Рядом мелочь: rt_tables пишется в /etc/iproute2//etc/rt_tables - лишний /etc, файл уходит не туда. По номеру table 100 всё работает, а имя awg1 не зарезолвится. Правильный путь /etc/iproute2/rt_tables.
• Повторный прогон: mangle ты флушишь (-F), там чисто. А ip rule add fwmark 1 и nat -A MASQUERADE со второго раза задвоятся - их в delete-then-add, и правилу стоит задать явный priority, иначе порядок выберется сам и может конфликтнуть с существующими. А ip route add endpoint не задвоится, а упадёт с File exists и оставит старый адрес - поэтому replace. Сам этот маршрут важен: держит трафик к AWG1 вне туннеля, иначе пакеты к нему закольцуются в awg1.

И два момента про сам RU-узел. ufw disable оставляет его вообще без фаервола - я бы не гасил целиком, а оставил нужное для форварда и закрыл остальное. И помни, что AWG0 видит весь трафик клиентов до ухода в awg1 - точка доверия.

Схема рабочая и аккуратная. Скажи, если по гайду за - возьму твою основу, доведём вместе.

[glfenix]

enable - и awg0/awg1 поднимутся сами
Слушай, отличный разбор, спасибо - прямо готовый рецепт для раздельного выхода RU и забугора. Буду кидать ссылку, когда спрашивают про каскад.

• пожалуйста. все это, ради общего дела.

В сам установщик это тащить не буду: каскад из нескольких серверов другой масштаб, чем одна коробка, в скрипте такое не удержать. А вот собрать из твоей схемы отдельную страницу-референс, с твоим авторством - с радостью, заодно поправим пару мест. Если ты за, я займусь.

• конечно, пожалуйста.

Сначала про твою боль с ребутом - лечится. Маршруты рвутся из-за гонки: awg-quick@awg0 и таблицы встают раньше скрипта. Заверни его в один oneshot-юнит после обоих туннелей:

Схема рабочая и аккуратная. Скажи, если по гайду за - возьму твою основу, доведём вместе.

Да конечно, пожалуйста.
-важно, чтобы в ОС AWG0 сервера, клиент поднимающий /etc/amnezia/amneziawg/awg1.conf, поднимался раньше чем /etc/amnezia/amneziawg/awg0.conf . так как, в awg0 есть привязки к нему в команде postroute.

• да, ты прав, повторный запуск баш скрипта, сломает роутинг. я не адаптировал его к работе через возможность запустить несколько раз.
• ipset да, надо закачивать во временный файл ipset, и уже сравнивать его с ранее скаченным, при изменении - замена, эта логика тоже будет полезна.
• ufs disable - согласен. почему написал, думал что он задушит как-то производительность. Так как эта сборка каскада, требует всего 200мбайт памяти и 1 ядро у каждого сервера.

[bivlked]

Отлично, тогда беру твою схему за основу и собираю отдельную страницу-референс с твоим авторством. Как будет черновик - скину сюда на сверку, чтобы ничего не переврать.

Про порядок подъёма ты прав, это и есть ключевая зависимость: awg1 должен встать раньше awg0, потому что в PostUp у awg0 уже стоит ссылка на интерфейс awg1 (-o awg1 в FORWARD), и без него правила не лягут. В systemd это удобнее повесить drop-in'ом на сам awg0, а не держать порядок только в скрипте:

# /etc/systemd/system/awg-quick@awg0.service.d/after-awg1.conf
[Unit]
After=awg-quick@awg1.service
Requires=awg-quick@awg1.service

After задаёт порядок, Requires подтягивает awg1 при старте awg0. Requires жёсткий: если awg1 упадёт, остановится и awg0 - хочешь помягче, ставь Wants. Дальше enable обоих сервисов плюс oneshot со скриптом после них, и цепочка awg1 -> awg0 -> роутинг поднимается сама, без ручных шагов после ребута.

ufw из-за скорости гасить не стоит: на твоём профиле (одно ядро, простой набор правил) он влияет незаметно. Это те же netfilter-хуки, через которые и так идут твои iptables-правила, отдельного слоя нет. Нагрузку тут даёт шифрование AWG и пересылка трафика, а не фаервол. Так что оставь минимум - форвард и нужные порты, остальное закрой, по скорости ничего не потеряешь.

Про ipset согласен: качать во временный файл и подменять рабочий сет только после успешной загрузки. Тогда сорванный curl не обнулит живой ru и сплит не развалится на ровном месте.

Соберу всё вместе - порядок юнитов, фиксы путей, идемпотентный скрипт - и вернусь с черновиком.

[bivlked]

Готово, собрал из твоей схемы отдельную страницу-референс - как обещал, с твоим авторством. Черновик на сверку:

• сам гайд: https://github.com/bivlked/amneziawg-installer/blob/docs/cascade-guide/CASCADE.md (EN-версия рядом, CASCADE.en.md)
• весь diff: PR docs: two-server cascade split-tunnel guide (CASCADE.md/.en.md) #124

Прогнал всю схему на стенде из двух серверов (чистый Debian 13): сплит делит правильно (российские сети напрямую, остальное через выход), после ребута всё встаёт само, большие файлы через двойной туннель идут без потерь.

Что поправил относительно опубликованного скрипта, чтобы у копирующих один в один тоже работало:

• Пути ru.zone свёл к одному (у тебя curl клал в /root/awg, а проверка читала /etc/awg - на чистой машине сет оставался пустым и весь трафик уходил за границу).
• Убрал rt_tables совсем - таблицу адресую по номеру (100), так на один источник ошибок меньше.
• Сделал скрипт идемпотентным: ip rule и nat в delete-then-add, маршрут к endpoint через replace, список грузится во временный сет и подменяется атомарно (сорванная загрузка не обнуляет рабочий).
• Интерфейс и шлюз определяю автоматически по маршруту до endpoint, не хардкодом.

И один момент по автозапуску оказался проще, чем в твоём разборе. У меня awg0.conf от установщика не трогается, и в нём нет привязок к awg1 (форвард и NAT там общие). Поэтому отдельный порядок awg1 -> awg0 не нужен: достаточно одного oneshot-юнита с роутингом, привязанного к обоим туннелям - он и так стартует после них. Бонусом awg0 (к нему подключаются клиенты) не падает, если выход вдруг недоступен.

Глянь, всё ли совпадает с тем, как у тебя в бою, особенно если где-то делаешь иначе. Как скажешь ок или подскажешь правки - выложу в основную ветку и опубликую страницу на сайте.

[glfenix]

Прогнал всю схему на стенде из двух серверов (чистый Debian 13): сплит делит правильно (российские сети напрямую, остальное через выход), после ребута всё встаёт само, большие файлы через двойной туннель идут без потерь.

Правильно я понял, что ты сам попробовал автоматизацию, и у тебя - все заработало? я смогу на стенде у себя проверить позже.

По логике и архитектуре - с виду всё ОК, и во многом, твой способ лучше, многие вещи проверяются, и автоматизация.
ещё я заметил, что из AWG0 - сервера awg0, правила post-up/down ты убрал в скрипт - отлично! Будет время, проверю в деле.
Благодарю за красоту!

По правкам - я бы предложил тебе рассмотреть возможность, хранить в гите у себя и отдавать вместе со скриптом файл ipset ru. Может быть, обновлять его раз в полгода-год. Мало ли, сайт распространяющий этот список - станет не доступен по разным причинам. И если ты согласен - то подкрутить скрипт, чтобы работал с учётом этого.

В остальном, отличная работа! Не вижу причин, мешающих опубликовать это для всех. В самом деле, если ру подсети заменить другими сетями.. можно в других странах применять эту схему, причем все будет работать из коробки - удобно!

[bivlked]

Спасибо, что глянул и дал добро. Выложил в основную ветку, страница уже на сайте: https://bivlked.github.io/amneziawg-installer/ru/cascade/ - гайд целиком в репо (CASCADE.md, EN-версия рядом). Авторство твоё стоит и вверху, и в конце, со ссылкой на это обсуждение.

Про ru.zone - мысль верная, забираю. Список с ipdeny может в любой момент стать недоступен или попасть под блок, а на чистой машине без него сплит просто не поднимется. Сделаю так: положу снимок зоны в репо, а скрипт научу откатываться на него, если живая загрузка не прошла. Тогда первый запуск переживёт недоступность ipdeny. Оформлю отдельным апдейтом, чтобы сейчас гайд не задерживать.

И про переносимость точно подмечено: меняешь российские сети на сети другой страны - и схема работает там же, без переделки. Допишу это в раздел про применение, пусть будет на виду.

Ещё раз спасибо за схему и за подробный разбор.

[o2me]

Интересная ветка, хотелось бы её продвижения.

[bivlked]

Спасибо! Соберу из схемы @glfenix отдельную страницу-референс по каскаду - так и ветка будет на виду, и повторить схему станет проще.