こんにちは、動画チームのhagi＠cloudpackです。
はじめに
HLSのストリーミングサーバーをAWS上で構築する手順を記載します。
最近では無料や低額で利用できるストリーミングサービスもありますが、ここはあえて自分で管理したいなー、広告入れたくない、完全公開はいやだなーといった人向けです。
またサーバー側で録画すれば撮影側で録画せずともハードコピーを残すことも可能です。
今回はAWSのEC2上に構築しABR（Adaptive Bitrate）の手順も記述します。
ABR（Adaptive Bitrate）とは
日本デジタル・プロセシング・システムズ株式会社のサイトより
ABR（アダプティブ・ビットレート）は、動画コンテンツを視聴環境（デバイスや回線速度など）に合わせて、可能な限り品質高くスムースに再生できるようにするための動画配信技術です。具体的には視聴端末の処理能力や解像度、回線速度などに応じて届ける動画の品質を自動的に上げたり下げたりすることで、視聴者に可能な限り快適な視聴体験を提供します。
サーバー側の処理としては複数の異なるビットレートのストリームを一斉に提供しクライアント（プレイヤー）が視聴環境に合わせて選択できるようになる。
環境
今回はAWSのEC2で作成します。
EC2
インスタンスタイプ：t2.small
OS:Amazon Linux AMI 2017.09
必要パッケージ
gcc pcre-devel openssl-devel
yum install gcc pcre-devel openssl-devel
*上記をインストールすれば依存関係でその他の必要パッケージもインストールされます。
nginx
nginx-1.13.8 (1.16.2017時点 最新)
nginx rtmp モジュール
nginxのrtmpモジュールは下記を利用。
nginx-rtmp-module概要
nginx-rtmp-moduleは1935ポートでrtmpストリームを受けてHLSやmpeg−dashに出力や録画することができます。
ffmpeg
ffmpegはrtmpを加工して再配信するのに利用します。
今回の例だと入力ストリームを異なるビットレートのストリームを生成。
ffmpeg version: N-89773-g7fcbebbeaf-static (1.16.2017時点 最新)
インストール
nginx
nginxソースダウンロード
# cd /usr/local/share # wget http://nginx.org/download/nginx-1.13.8.tar.gz # tar zxf nginx-1.13.8.tar.gz
nginx rtmp module ダウンロード
# cd /usr/local/share/nginx-1.13.8 # wget https://github.com/arut/nginx-rtmp-module/archive/master.zip # unzip -q master.zip
確認
# /usr/local/nginx/sbin/nginx -V nginx version: nginx/1.13.8 built by gcc 4.8.5 20150623 (Red Hat 4.8.5-11) (GCC) built with OpenSSL 1.0.2k-fips 26 Jan 2017 TLS SNI support enabled configure arguments: --with-http_ssl_module --with-http_stub_status_module --add-module=nginx-rtmp-module-master
ffmpeg
ffmpegは常に更新されているためソースからコンパイルが推奨されていますが、ここでは比較的新しいコンパイル済み版(static)を利用します。
static バージョンダウンロード
# cd /usr/local/share/ # wget https://johnvansickle.com/ffmpeg/builds/ffmpeg-git-64bit-static.tar.xz # tar Jxf ffmpeg-git-64bit-static.tar.xz
インストール
cpやmvでも良さそうだが入れ替えることを考えシンボリックリンクにします。
# ln -s /usr/local/share/ffmpeg-git-20180111-64bit-static/ffmpeg /usr/bin/ffmpeg
確認
# ffmpeg -version ffmpeg version N-89773-g7fcbebbeaf-static https://johnvansickle.com/ffmpeg/ Copyright (c) 2000-2018 the FFmpeg developers built with gcc 6.4.0 (Debian 6.4.0-11) 20171206 configuration: --enable-gpl --enable-version3 --enable-static --disable-debug --disable-ffplay --disable-indev=sndio --disable-outdev=sndio --cc=gcc-6 --enable-fontconfig --enable-frei0r --enable-gnutls --enable-gray --enable-libfribidi --enable-libass --enable-libvmaf --enable-libfreetype --enable-libmp3lame --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenjpeg --enable-librubberband --enable-librtmp --enable-libsoxr --enable-libspeex --enable-libvorbis --enable-libopus --enable-libtheora --enable-libvidstab --enable-libvo-amrwbenc --enable-libvpx --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxvid --enable-libzimg libavutil 56. 7.100 / 56. 7.100 libavcodec 58. 9.100 / 58. 9.100 libavformat 58. 3.100 / 58. 3.100 libavdevice 58. 0.100 / 58. 0.100 libavfilter 7. 11.101 / 7. 11.101 libswscale 5. 0.101 / 5. 0.101 libswresample 3. 0.101 / 3. 0.101 libpostproc 55. 0.100 / 55. 0.100
設定
上記手順でインストールした場合、設定ファイルの場所は/usr/local/nginx/conf/nginx.confです。
rtmpモジュールに該当する部分はrtmp{}の部分です。
各ディレクティブについてはこちらから確認
単ストリーム出力の場合
複数ストリームはインスタンスにも負荷がかかるし大体の視聴者にはこの設定で見てもらいたいときは下記設定を放り込んで終わり。
/usr/local/nginx/conf/nginx.conf
worker_processes 1;
error_log logs/error.log error;
events {
worker_connections 1024;
}
rtmp {
server {
listen 1935;
allow play all;
application live {
live on;
hls on;
hls_path /var/www/vhosts/live/;
}
}
}
http {
server {
listen 80;
include mime.types;
default_type application/octet-stream;
server_name localhost;
add_header Access-Control-Allow-Origin *;
location /live {
types {
application/vnd.apple.mpegurl m3u8;
}
root /var/www/vhosts/;
}
}
}
rtmpディレクティブ
live on｜off:rtmp配信を受け取るかどうかの設定。未設定の場合port１９３５が空いていても処理が始まらない。デフォルトはoff
hls on｜off： hlsを有効にするかどうか。
hls_path [directory]： hlsのファイルをどこに格納するかどうかの設定hls onであれば必須。またディレクトリーが存在しない場合はエラー
ABR設定
rtmpモジュールではrtmpストリームを受け取り,ffmpegで複数のrtmpストリームを作成してからHLSファイルを作成しています。
ここで注意が必要なのはffmpegのフィルターやオプションです。配信するターゲットや内容を加味しながら設定する必要があります。
場合によってはフィルターやオプションが足りなかったりffmpegに負荷が必要以上に高くなる可能性があります。
worker_processes 1;
error_log logs/error.log error;
events {
worker_connections 1024;
}
rtmp {
server {
listen 1935;
allow play all;
application live {
live on;
exec ffmpeg -i rtmp://localhost/live/$name -async 1 -vsync cfr
-acodec copy -c:v libx264 -b:v 128K -f flv rtmp://localhost/live2/$name_low
-acodec copy -c:v libx264 -b:v 512k -f flv rtmp://localhost/live2/$name_mid
-acodec copy -c:v libx264 -b:v 1024k -f flv rtmp://localhost/live2/$name_high;
}
application live2 {
live on;
hls on;
hls_path /var/www/vhosts/live_stream;
hls_variant _low BANDWIDTH=300000;
hls_variant _mid BANDWIDTH=700000;
hls_variant _high BANDWIDTH=1200000;
}
}
}
http {
server {
listen 80;
include mime.types;
default_type application/octet-stream;
server_name localhost;
add_header Access-Control-Allow-Origin *;
location /live_stream {
types {
application/vnd.apple.mpegurl m3u8;
}
root /var/www/vhosts/;
}
}
}
rtmpディレクティブ
live on｜off: rtmp配信を受け取るかどうかの設定。未設定の場合port１９３５が空いていても処理が始まらない。デフォルトはoff
exec コマンド：ストリームに実行するコマンド。ここではrtmpストリームから３つのrtmpストリームを作成
hls on｜off： hlsを有効にするかどうか。
hls_path [directory]： hlsのファイルをどこに格納するかどうかの設定hls onであれば必須。またディレクトリーが存在しない場合はエラー
hls_variant [接尾辞 EXT-X-STREAM-INF]：tsやプレイリストの識別用接尾辞とEXT-X-STREAM-INFに記述する内容を記。
生成されるファイル
上記ABR設定だとhls_pathで指定したディレクトリーに下記のようなファイルが作成されます。
# ls -la /var/www/vhosts/live_stream/ total 11900 drwxr-xr-x 2 nobody root 12288 Jan 19 03:26 . drwxr-xr-x 4 root root 4096 Jan 17 08:07 .. -rw-r--r-- 1 nobody nobody 1648760 Jan 19 03:25 obs_test_high-0.ts -rw-r--r-- 1 nobody nobody 1674516 Jan 19 03:25 obs_test_high-1.ts -rw-r--r-- 1 nobody nobody 1390448 Jan 19 03:25 obs_test_high-2.ts -rw-r--r-- 1 nobody nobody 1713996 Jan 19 03:26 obs_test_high-3.ts -rw-r--r-- 1 nobody nobody 364532 Jan 19 03:26 obs_test_high-4.ts -rw-r--r-- 1 nobody nobody 179 Jan 19 03:26 obs_test_high.m3u8 -rw-r--r-- 1 nobody nobody 351372 Jan 19 03:25 obs_test_low-0.ts -rw-r--r-- 1 nobody nobody 342536 Jan 19 03:25 obs_test_low-1.ts -rw-r--r-- 1 nobody nobody 323548 Jan 19 03:25 obs_test_low-2.ts -rw-r--r-- 1 nobody nobody 344980 Jan 19 03:26 obs_test_low-3.ts -rw-r--r-- 1 nobody nobody 106032 Jan 19 03:26 obs_test_low-4.ts -rw-r--r-- 1 nobody nobody 176 Jan 19 03:26 obs_test_low.m3u8 -rw-r--r-- 1 nobody nobody 225 Jan 19 03:26 obs_test.m3u8 -rw-r--r-- 1 nobody nobody 935112 Jan 19 03:25 obs_test_mid-0.ts -rw-r--r-- 1 nobody nobody 911236 Jan 19 03:25 obs_test_mid-1.ts -rw-r--r-- 1 nobody nobody 777380 Jan 19 03:25 obs_test_mid-2.ts -rw-r--r-- 1 nobody nobody 964252 Jan 19 03:26 obs_test_mid-3.ts -rw-r--r-- 1 nobody nobody 282376 Jan 19 03:26 obs_test_mid-4.ts -rw-r--r-- 1 nobody nobody 176 Jan 19 03:26 obs_test_mid.m3u8
マニフェスト
ストリーム名にｍ３ｕ８がついたファイルはマニフェスト(manifest)となります。
HLS動画(ABR)を再生する際プレイヤーが最初にみるファイルです。
この中に各プレイリスト情報が含まれます。
obs_test.m3u8
#EXTM3U #EXT-X-VERSION:3 #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=400000 obs_test_low.m3u8 #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=700000 obs_test_mid.m3u8 #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=1200000 obs_test_high.m3u8
プレイリスト
プレイリストには個々のストリーム再生に必要なデータファイル情報が記述されます。
プレーヤーは順次にこちらのデータファイル(ts)をダウンロードし再生します。
またマニフェストは更新されませんがフレイリストは新しいデータファイルが作成される都度更新されます。
単ストリームの場合はプレイリストのみとなります。
またプレイリストのみをプレイヤーで指定した場合再生は可能です。
obs_test_low.m3u8
#EXTM3U #EXT-X-VERSION:3 #EXT-X-MEDIA-SEQUENCE:0 #EXT-X-TARGETDURATION:10 #EXTINF:10.000, obs_test_low-0.ts #EXTINF:10.000, obs_test_low-1.ts #EXTINF:10.000, obs_test_low-2.ts
データファイル
tsファイル：mpeg-2 tsファイル
でどうやってrtmpを投げるの？
エンコーダー
有料ではPCソフトウエアのWirecastやデバイスではliveshellスマホアプリだとBroadcastMeなどが使いやすくハードルが低いです。
無料のOBSもありインターネット上に多くの利用方法が投稿されております。軽くですがOBSの利用方法を記します。使い方の詳細が気になる方はobsprojectをご参考ください。
配信の設定
配信を行う際、rtmpで投げるのですがOBSの場合は配信種別はカスタムストリーミングサーバーをご指定ください。Wirecastなど多くはrtmpサーバーとなっています。
今回の例では約1Mbps相当の配信を想定しています。
エンコーダーから投げる先(URL)
エンコーダーの投げ先はこのようになります。必ずffmpegが実行(ABRの場合)されるapplicationをご指定ください。上記単ストリーム、ABRの場合applicationは”live”となります。
URL rtmp://[nginxのグローバルIP]:1935/live/ ストリーム名 [任意ストリーム名]
例
URL rtmp://XXX.XXX.XXX.XXX:1935/live/ ストリーム名 obs_test
視聴は？
safariやedgeの場合マニフェストやプレイリストを直接入力することで再生することが可能ですが他のブラウザーなどは場合によっては視聴にvideojsなどのプレイヤーを利用することが必要です。
単ストリーム
http://XXX.XXX.XXX.XXX/live/obs_test.m3u8
ABR
http://XXX.XXX.XXX.XXX/live_stream/obs_test.m3u8
