大きなテキストファイルをSCPするときは-Cをつけると速い

機械学習用のEC2インスタンスにファイル転送する際、大きなJSONファイルをSCPすると非常に時間がかかっていた。

しかし、オプション１つつけるだけでかなり早くなった。

つけたオプションは -C。以下のように使う。

scp -C from host:/to

実際手元で試してみたら、以下のように違いが出た。

-C なし 43MB   1.1MB/s   00:40
-C あり 43MB   9.8MB/s   00:04

おおよそ１０倍の差がついた。

EC2インスタンスは時間課金なので、この差は大きいだろう。

Amazon Web Services 基礎からのネットワーク&サーバー構築 改訂版

Amazon Web Services パターン別構築・運用ガイド 改訂第2版 (Informatics&IDEA)

Amazon Web Services エンタープライズ基盤設計の基本