AWSでのリージョン間接続 その3 BGP冗長構成(VPN/VyOS)

こんにちは、cloudpack の 佐藤 です。

AWSリージョン間接続 BGP

VyOS でリージョン間のVPNを構築する。
冗長構成をBGPとSerfで実装する。

構成図

ルーティング

• 拠点間をeBGPにてピア接続を行う。
• 同一拠点間をiBGPにてピア接続を行う。
• Front SubnetのネットワークはStatic経路をBGPに再配布することによって経路公告を行う
• VyOS SubnetのネットワークはConnect経路をBGPに再配布することによって経路公告を行う
• BGPTimerは[Hello:4秒][Dead:12秒]とし検知12秒 切替1秒
• MTUは1414
• IPSec/GREでトンネルを構築
• AWSのルーティング切り替えはSerfを利用する

AWS設定

• AmazonLinux 最新版のAMI
  • →RoutingTableに「対向のネットワークアドレス：VyOSのENI(Active)」を設定する
• VyOS コミュニティAMIの最新版(Version 1.1.0)
  • →source dest checkを無効にする
  • →EIPを付与する
• セキュリティグループ
  • →対向のEIP宛の通信を許可しておく

Config

set system host-name [hostname]

set vpn ipsec ipsec-interfaces interface [if:eth0]

set vpn ipsec ike-group ike lifetime 3600
set vpn ipsec ike-group ike proposal 1 encryption aes128
set vpn ipsec ike-group ike proposal 1 hash sha1

set vpn ipsec esp-group esp lifetime 1800
set vpn ipsec esp-group esp proposal 1 encryption aes128
set vpn ipsec esp-group esp proposal 1 hash sha1

set vpn ipsec site-to-site peer [対向EIP] authentication mode pre-shared-secret
set vpn ipsec site-to-site peer [対向EIP] authentication pre-shared-secret [パスワード文字列]

set vpn ipsec site-to-site peer [対向EIP] authentication id [自身のID]
set vpn ipsec site-to-site peer [対向EIP] authentication remote-id [対向のID]

set vpn ipsec site-to-site peer [対向EIP] default-esp-group esp
set vpn ipsec site-to-site peer [対向EIP] ike-group ike
set vpn ipsec site-to-site peer [対向EIP] local-address [ローカルIP]
set vpn ipsec site-to-site peer [対向EIP] tunnel 1 local prefix [LoopbackIP]
set vpn ipsec site-to-site peer [対向EIP] tunnel 1 remote prefix [対向LoopbackIP]

set interfaces loopback lo address [LoopbackIP]
set interfaces tunnel tun0 address [VPN用アドレス/30]
set interfaces tunnel tun0 local-ip [LoopbackIP]
set interfaces tunnel tun0 remote-ip [対向LoopbackIP]
set interfaces tunnel tun0 mtu 1414
set interfaces tunnel tun0 encapsulation gre

#別リージョンのeBGPピア
set protocols bgp [自AS番号] neighbor [対向VPN用アドレス/30] remote-as 65001
set protocols bgp [自AS番号] neighbor [対向VPN用アドレス/30] soft-reconfiguration inbound
set protocols bgp [自AS番号] neighbor [対向VPN用アドレス/30] update-source tun0
set protocols bgp [自AS番号] network [VPN用ネットワークアドレス/30]
set protocols bgp [自AS番号] network [LoopbackIP]
set protocols bgp [自AS番号] timers holdtime 12
set protocols bgp [自AS番号] timers keepalive 4
set protocols bgp [自AS番号] parameters log-neighbor-changes

#同一AS内のiBGPピア
set protocols bgp [自AS番号] neighbor [同一AS内Standby側アドレス] remote-as [自AS番号]
set protocols bgp [自AS番号] neighbor [同一AS内Standby側アドレス] soft-reconfiguration inbound
set protocols bgp [自AS番号] neighbor [同一AS内Standby側アドレス] nexthop-self

#Connectルートの再配布設定
set policy prefix-list prefix-connect-to-bgp rule 10 action permit
set policy prefix-list prefix-connect-to-bgp rule 10 prefix [VyOS Subnet]
set policy route-map routemap-connect-to-bgp rule 1 action permit
set policy route-map routemap-connect-to-bgp rule 1 match ip address prefix-list prefix-connect-to-bgp
set protocols bgp [自AS番号] network [VyOS Subnet] route-map routemap-connect-to-bgp


#Staticルートの再配布設定
set policy prefix-list prefix-static-to-bgp rule 10 action permit
set policy prefix-list prefix-static-to-bgp rule 10 prefix [Front Subnet]
set policy route-map routemap-static-to-bgp rule 1 action permit
set policy route-map routemap-static-to-bgp rule 1 match ip address prefix-list prefix-static-to-bgp
set protocols bgp [自AS番号] redistribute static route-map routemap-static-to-bgp
set protocols static route [Front Subnet] next-hop [AWS DefaultGW]

#Standby側のみの設定(再配布する際にMetric付与)
set policy route-map routemap-connect-to-bgp rule 1 set metric 100
set policy route-map routemap-static-to-bgp rule 1 set metric 100

Serf

インストール

こちらからバイナリをダウンロードして、お好きなところに配置。
Downloads – Serf by HashiCorp

起動用スクリプトを記載

/usr/local/bin/serf agent -bind=[PrivateIP] -config-dir=/etc/serf.conf

Serf Conf

{
  "node_name": "[hostname]",
  "tags": {
    "role": "[rolename]"
  },
#BGPタイマーと同じになるように設定
  "reconnect_interval": "4s",
  "reconnect_timeout": "12s",
  "tombstone_timeout": "12s",
#メンバーから外れたらシェルを起動(Standby側のみ)
  "event_handlers": [
    "member-failed,member-leave=bash /opt/serf/ssh.sh >> /var/log/ssh.log 2>&1"
  ]
}

フェールオーバー用のスクリプト作成(Standby側)

VyOSのスタンバイ側のみに設定
VyOSにパッケージの追加等を極力行いたくないためAWS-SDKが実行可能なホストのshellを起動する。

#!/bin/bash

ssh ${NAME} /opt/serf/change_eni.sh -h ${NAME}
result=$?
if [ ! $result -eq 0 ] ; then
  exit 1
fi

SSH先に仕込んでおく。

#!/bin/bash

aws ec2 delete-route --route-table-id ${ROUTETABLE} --destination-cidr-block ${NETWORK} --region ${REGION}
result=$?
if [ ! $result -eq 0 ] ; then
  exit 1
fi

aws ec2 create-route --route-table-id ${ROUTETABLE} --destination-cidr-block ${NETWORK} --instance-id ${INSTANCE} --region ${REGION}
result=$?
if [ ! $result -eq 0 ] ; then
  exit 1
fi

起動

起動時は自分でjoinを行う。

serf join [同一AS内PrivateIP]

障害時

• Active側のインスタンスに障害が発生した場合、Serfが検知しAWSのルーティングを操作しStandby側へ。(検知12秒)
• Active側のインターネットに障害が発生した場合、BGPが検知しルーティングを切り替える。(検知12秒)

切り戻しのタイミングは運用に合わせるので、手動にした。

etc…

できればVRRPを実装したかったのだが、AWSではマルチキャスト通信が行えないため実装ができない。
以下等を実装したかったのだが、技術力が足りないせいもあり実装ができなかった。

• Multicastが出来ないならUnicastすればいいじゃない
• EC2でkeepalived+LVS(DSR)

KeepAlivedの最新版はUnicastに対応している模様で、VyOSに組み込む方法がVPN構成の一番綺麗だと思う。

以上

元記事はこちらです。
「AWSでのリージョン間接続 その3 BGP冗長構成(VPN/VyOS)」