最速レビュー！　日本で GA された Transfer Appliance を使い倒す

要旨

クラウドで、エンジニアがおもちゃにしたいサービスは何か？と考えると、やっぱり物理デバイスが手元にあるサービスじゃないかと思います。

IoT でドローンと連携したり、衛星と通信したり。　夢がありますね。

今回は、そんな夢のひとつ、Google Cloud の大規模データ転送デバイス『Transfer Appliance』を使い倒したので、日本での事情も含めてメリットや気になる点などをレビューしたいと思います。

実際の注文方法や利用方法は長くなるため別記事にまとめたいと思います。
この記事では、Transfer Appliance のメリットや、性能評価、利用時の注意点などをメインで記載します。

Transfer Appliance とは

Transfer Appliance (TA) は、オンプレミスから Google Cloud にデータ転送を行う選択肢の一つです。
物理デバイスにデータを入れて Google に送るため、大規模データの転送で主に利用されています。

Transfer Appliance はもともと海外でリリースされており、アジア圏ではシンガポールリージョンで利用可能でした。
2023年 9月上旬、日本リージョンでも General Availability (GA) となり、Google Cloud Console からの注文と、国内発送が可能になりました。

Transfer Appliance の一般的な情報は、下記の概要記事をご確認ください。
概要 | Transfer Appliance

メリット

企業が Transfer Appliance を選択するメリットについて、気になるかと思います。
一般的なメリットとしては、高度なセキュリティと、高速な転送が挙げられます。

高度なセキュリティとしては、データの AES 256 暗号化や、 Transfer Appliance 返送時の暗号キーの削除、堅牢な搬送といった物理的なセキュリティが保証されています。

他の転送手段 ( gcloud storage や Storage Transfer Service) と比較すると、やはりインターネットを経由せずに、シール (封印専用の物理鍵) で封印された物理コンテナとして搬送する点は特筆できます。

Google 以外は決して解錠できず、無理やり解錠したら必ず証拠が残ります。
データでは出来るようなコピーが絶対にできないという点は、顧客の個人情報や企業の重要情報を転送する点では大きなアドバンテージと考えます。

教科書的でないメリットとしては、小さな多数のファイル転送が圧倒的に早いです。
小さな多数のファイル転送は、データ転送を行う時の鬼門です。
ファイル転送のオーバーヘッドや、同時転送制限、ファイル数の増加に伴うソフトウェアの性能劣化など、想定以上の転送時間がかかります。

Transfer Appliance は、巨大なストレージを有するサーバーです。
まず Windows などのファイルサーバー側で TAR アーカイブを作成し、巨大な 1 ファイルとしてデータ転送を行います。
その後、受信側の Transfer Appliance 内部で TAR アーカイブの展開を行いファイルを復元することができます。

TAR アーカイブは、ファイルのアーカイブに特化しています。
そのため、小さな多数のファイルのアーカイブ / 展開はかなりの高速で実施でき、それぞれのローカル環境で実行しているため障害にも強いです。

これにより、ネットワーク転送では障害が起こりやすい小さな多数のファイル転送を安定かつ、圧倒的な速度で実施することができます。

今回の検証では、GbE Switch のみの Local Network でも 1ファイルあたり 4MB 以下のファイルサイズの場合は性能劣化が無視できませんでした。
そのため、4MB 以下のファイルを大量に転送する場合、全体容量が少なくとも転送手段の選択肢に Transfer Appliance を入れてもよいでしょう。

Transfer Appliance 徹底レビュー

本章では、私が実際に注文し、データ転送を行い、動かした経験をもとにレビューを行います。

結論から言うと、利用したい際は iret などのパートナーに相談してください。
流石に物理デバイスが来るため、利用するまでに求められる知識が幅広いです。
物理ネットワークの知識、Windows や Linux の知識、MW の知識、適切な計画の立案など、上から下までほぼすべてのレイヤーの知識が必要となります。

クラウドのデータ移行は、Google Cloud の Sell 及び Service エンゲージメントのプレミアパートナーである iret までご相談ください。

事前準備

いきなり Transfer Appliance を注文することはできません。
まずは、各種手配などの事前準備が必要です。

Google のサイトに記載はありませんが、以下のような事前準備は必須です。

データセンターや、サーバールームの手続き
- 入館手続きおよび、搬入手続きの確認
- アプライアンス設置用棚板の手配 (棚置き手配)
  - ラックマウントができない筐体の可能性があり、棚板を準備しておくほうが無難です。
  - ラック搭載型の TA40 を利用しましたが、ラック用レールの付属がなくラックマウント不可能でした。
  - アプライアンスの詳細と重量は、Transfer Appliance の重量と容量に記載があります。
- 電源および、配線スペースの確認
- 必要に応じて、養生の手配 (30kg 程度あります)
環境
- 作業用 PC (ラップトップ等)
- 作業スペースの確保、または、管理用 VLAN (DHCP無し / Link Local Address)
- アプライアンス用アクセスポート
工具の準備
- 作業用手袋、帯電防止リストバンドなどの保護具
- ワイヤーカッター、または切断能力が高いペンチ
- コンソール接続用の LAN ケーブル
ベンダー手配
- ラックマウント、物理配線などの物理レイヤーの変更
- Switch などのネットワークレイヤーの変更
- Windows / Linux などのサーバーレイヤーの変更

今回、私が検証した最終的な配線図は以下の通りです。

既存の Switch に VLAN2 を新設。
VLAN2 は Link Local Address での通信が必要なため、 DHCP サーバー機能を Disabled に設定しました。
Operation PC は、VLAN1 / VLAN2 に共に接続する必要があったため、既存の VLAN1 の有線接続に並行し、WiFi で VLAN2 に接続しました。 (共に Access Port )
当初は、Operation PC に Trunk 接続を試みましたが、Windows PC で Tagged VLAN に対応するドライバは提供されていないようです。

IP アドレス帯は、VLAN1 が 172.16.0.0/12 (DHCP管理)、 VLAN2 が 169.254.0.0/16 (Link Local Address) の構成を組んでいます。
理由としては、 Transfer Appliance の Management Port が 169.254.20.1 固定のため、DHCP 配下でアクセスできなかったためです。

テスト環境の性能としては、GbE (1Gbps) が最大となり、実測値としても TA – FS 間で 980Mbps 程度の性能が出る環境となります。
テストでは、 RJ45 の他に SFP (Small Form Factor Pluggable) も検証しましたが、 GbE 環境では転送速度に差は有りませんでした。

移行計画策定

移行計画策定のため、ファイルサーバーのデータを事前に解析します。

移行するデータのデータサイズが小さい場合、アーカイブ化したデータを転送するなどの手段を検討します。
ローカルにあるサーバー間でも、小さいファイルを大量に転送する場合はマシンリソースや通信帯域のほとんどをオーバーヘッドが占めてしまいます。
そのため、ローカル間転送を行える Transfer Appliance を利用する場合でも適切な移行計画策定が必要となります。

移行計画策定には、データの種類や、データ静止点、差分更新、データサイズなどを考慮し転送方法を決定します。

データベースのデータを転送する際は DMS (Database Migration Service) が候補に挙がります。
しかし、ネットワーク経由での移行ができない場合には Transfer Appliance による SQL データの転送を検討することが可能です。

通常のファイルの場合、 gcloud storage 、Storage Transer Service 、 Transfer Appliance などの選択が可能です。
こちらも、ネットワーク経由の移行が可能であるかなどの要件から移行方法を選択します。
移行方法の選択肢はデータ転送オプションを確認してください。

Transfer Appliance を利用してデータ転送を行う場合、Transfer Appliance の特性を理解した転送計画を立てます。
ファイルサイズ毎のファイル数などを事前に確認し、小さいファイルが多い場合には TAR アーカイブを行うなどの準備を行います。

注文・発送

~~電化製品、家電~~ Transfer Appliance の注文は、Google Cloud の Cloud Console から行います。
実際に注文を行うと、Transfer Appliance がチャーター便で発送されます。

注意点として、在庫がある場合は翌日には発送されてきます。
そのため、注文を行う前に、すべての事前準備を終わらせておくことが必要です。

ケースを含めると、重量は 30kg を超えて一人で運べる限界です。
二人以上で運搬をする必要があると考えてください。

また、重量物となるため、データセンターやビルによっては養生を求められると思います。
事前養生や、必要となる養生の種類も手配しておく必要があります。

Google バックパックとの比較。
かなり大きくて、重いことが分かります。

ケースはシーリングで封印されています。
開梱前に、サポート経由でシールナンバーを確認して改ざんされていないことを確認してください。

シーリングケーブルは、同じシリアルナンバーの個体は存在せず、破壊すると再結合ができません。
そのため、番号が同一で破壊されていない場合は、途中で改ざんされていないことが保証されます。
検証のために、封印されている場所はシリアル番号が見える形で写真に残しておくことを推奨します。

(ちなみに、この例は悪い例です。　シーリングは根本までしっかり締めてください。)

シールの確認ができたら、ペンチでケーブルを破断して開梱します。

開梱したら、内容物の確認を行います。
返送時の送付漏れが無いよう、こちらも内容物を写真におさめておくことを推奨します。

設置・配線

サーバー室やデータセンターに設置します。

通常のサーバーと同じく、動作時の電力消費および発生するノイズは大きいです。
もし、執務室内に音が漏れるような環境の場合、音量に注意してください。

また、 RJ45 や QSFP などのネットワークケーブルを配線する際は、静電気に注意し作業者の帯電を除去した状態で作業してください。

データ転送

SCP / SMB / NFS などの任意の方法でデータ転送を行います。

プロトコル、インターフェイス、データタイプ、データサイズを変えて、転送時間を測定した表を載せます。

その結果、ファイルサイズによる転送時間への影響は顕著ですが、プロトコル、インターフェイス、データタイプによる影響は見られませんでした。

そのため、利用するツールでプロトコルを選択して問題ありません。
なお、検証した環境が GbE Switch であるため、40GbE Switch などの環境ではインターフェイスによる差が発生すると想定されますので、適宜最適な接続を検討してください。

データサイズによる転送速度への影響を測定するため、 SCP かつ、 WinSCP を利用して複数のデータサイズで転送時間を測定しました。
Total Transferred Size は 1,073,741,824 Byte で固定です。

その結果が下記のグラフで、1ファイルあたり 4MB あたりから急激に CPS が悪化し、4kB を下回ると無視できないレベルで転送時間が伸びることが計測されました。
なお、CPS は Characters per second で Bytes per second と同一です。

セッション数による影響も考慮して、セッション数を変えて測定した結果が下記のとおりです。
セッション数を増やすことで若干の改善は見られますが、抜本的な解決にならないことが見て取れます。

そのため、データ転送を行う際は TAR アーカイブなどの事前処理を検討してください。
これにより、データは巨大な単一ファイルとして扱われ、転送性能を最大限に発揮することができます。

なお、 Robocopy コマンドなどによる差分バックアップは /fftオプションを指定することによりタイムスタンプの 2 秒誤差を許容することができます。

robocopy

返送

返送を行う前に、Transfer Appliance のファイナライズ処理を行います。
ファイナライズ処理により、暗号化のための鍵が Transfer Appliance 内から削除されます。

この処理により、発送中のデータの機密性が担保されます。

ファイナライズした Transfer Appliance を梱包します。
梱包した際に、入れ忘れの無いように注意してください。

特に、シーリングを行った後は破壊しないと開梱ができなくなるため注意が必要です。
返送のためのタグと配送パウチを入れて封印してしまわないよう、シーリングの前にタグを付けてしまうのが良いです。

すべての処理が終わったらシーリングを行います。
シーリングは、必ず穴を通して開けられないようにするとともに、根本まで引き締めて開けることが出来ないようにしてください。

また、発送時と同様にシーリングの写真を残してシリアル番号を参照できるようにすることが望ましいです。

返送は、発送時と同様にチャーター便で行います。
チャーター便は、セキュリティ物品として扱われるため檻のようなケースに収納されて返送されます。

これにより、行きと帰りで物理的な改ざんが不可能な状況でやり取りされます。

GCS 格納

Google へ返送し、Google Cloud Storage にデータが格納されるまで、今回の場合では 3日かかりました。

Transfer Appliance が Google Cloud のデータセンターに到達した際には Google Transfer Appliance (JPN-xxxx-xxxx) Arrived at the Data Transfer Center 。
Transfer Appliance から GCS にデータ転送が完了した際には Google Transfer Appliance Data Transfer Has Been Completed (JPN-xxxx-xxxx) とのメールが送信されます。

格納が完了したら、GCS を確認しデータが適切に転送されているか確認します。

もし、データに不備があった場合は早い段階で TA team に連絡してください。
TA team にて、データの削除が実施された後のデータ復旧は出来ないため、懸念が発生したタイミングで一報を入れるのが良いです。

データ破棄証明

データ転送が問題なく完了した場合、Transfer Appliance Team にデータ破棄証明書を求めることができます。

本手順は Optional となっているため、必要な場合は忘れずにメールで連絡してください。

証明書は JSON ファイルで送られます。
お客様などが、PDF などでのデータ受領を望まれる場合、データ加工が必要です。

{
    "metadata": {
        "status": "verified",
        "session_id": "JPN-xxxx-xxxx",
        "appliance_id": "xxxxxxxxxxxx",
        "operator_ldap": "xxx",
        "start_time": "2023-10-31 06:15:29.949511247 +0000 UTC m=+24.819317969",
        "last_update_time": "2023-10-31 08:02:57.047314953 +0000 UTC m=+6471.917121608"
    },
    "disks": {
        "XXXXXXXXX": {
            "status": "success",
            "media_type": "m.2",
            "sanitization_type": "purge",
            "sanitization_method": "cryptographic erase",
            "verification_method": "sampling",
            "sample_percent": 10,
            "manufacturer": "XXXXX",
            "model": "XXXXXXXXXXX"
        }
    },
    "tools": [
        {
            "Name": "sg_sanitize",
            "Version": "sg_sanitize: version: 1.11 20180628"
        },
        {
            "Name": "hdparm",
            "Version": "hdparm v9.58"
        },
        {
            "Name": "zimbru_wipe",
            "Version": "zimbru_wipe_release_20231030_1400"
        }
    ]
}

まとめ

Transfer Appliance は、大規模データの転送や、小さい大量のファイルの転送に有効なソリューションであることが確認できました。

しかし、物理デバイスという性質上、やはり使いこなすには専門知識が必要でした。

特に、Google のマニュアルにはない事前準備や、移行計画に十分な時間をかける必要があると考えます。

今回のナレッジは、Google にもフィードバックを行い、日本での利用を促進できるよう働きかけていきます。

iret では、お客様のクラウド移行のご支援が出来ます。
クラウド利用でお困りの際は、お声掛けください。

最速レビュー！　日本で GA された Transfer Appliance を使い倒す

要旨

Transfer Appliance とは

メリット

Transfer Appliance 徹底レビュー