きのう（３月２日）
OpenStack最新情報セミナー
に行ってきた！のでその内容をメモメモ
＜＜昼の部＞＞
■あいさつ
昼の部にこんなに来てくれるのは、はじめて
・昼の部
OpenStack共同検証ラボ
neutronのDeep dive
jujuなど、実践的な環境構築ネタ
■OpenStack共同検証ラボのご紹介
・自己紹介
・会社紹介
ＨＰ：内部ネタ
動画の配信UStreamからYouTube Liveへ
ＵＲＬ，チャンネル登録１００人になったら、変えられるので、チャンネル登録してね！
GitHubの活用：マークダウン形式
【OpenStack共同検証ラボをブロードバンドタワー社と始めました】
・悩み：勉強の機会が限られている
→クラウド基盤の運用管理にこそビジネスの差別化要因があるが、てつかずのまま
・OpenStack共同検証ラボとは
ＳＤＮ活用、運用管理にもフォーカス
賛同いただける会社を募り、共同でプロジェクト推進
ベンダーニュートラルで積極的に情報発信
・２つのゾーン
ＳＤＮ／ＮＦＶゾーン
DevOpsゾーン
３～６カ月で中長期
・サーバー管理の自動化（管理・監視ツール）
・興味ある方はご連絡
スケジュール
■OpenStack-Ansibleで作るOpenStackHA環境
・ホワイトペーパーある
・OpenStack-papetをAnsibleで書きなおし
Rackspaceの案件でデリバリーされている
→いかに鉄板で動かすか？
・OpenStack-Ansibleへの期待
Ubuntu ServerでRDOみたいに使いたい
OpenStackでHA環境を構築するのが、当たり前になってほしい
自動化ツールAnsibleの適用範囲を広げてほしい
■OpenStack-Ansibleで作るOpenStack HA環境手順書解説
・今回解説する手順書 Kilo版
・自己紹介：割愛
・Ansibleとは（おさらい）
構成管理ツールの１つ。YAMLフォーマットで書かれており可読性が高い
※同じジャンルの製品にはPuppet,Chaf,Jujuがある
・特徴
Simple
イベントリ、プレイブックがあれば利用可能
Agentless
特別なツール入れなくてＯＫ．ＳＳＨで
Powerful
環境デプロイ、スイッチ設定も含めて
・Openstack-Ansibleとは
Ansibleを使用して、容易にデプロイできることを目指す
・コンポーネント構成
コントローラーノード１台
→Ｕｂｕｎｔｕいｔれる
Openstack Ansible
ＬＸＣいれる
HA Proxy
いろいろはいる
コンピュートノード１台
→Ｕｂｕｎｔｕいｔれる
KVMいれる
１．構築する環境について（ｐ５）
・２だい
３台冗長が一般的だけど、今回は２代
・ｐ６
コンポーネント一覧
・ＨＡの考え方
スプリットプレインによるデータ破損やいるし３台で冗長
その他致命的→２代で冗長
・Ｐ７
Ansibleカーネル重要：3.13
→これより低いとplaybooksが動かない
・ネットワーク
em1：管理用
em2：サービス（プロジェクト）で使われるネットワーク
・優先ネットワークをem1にする
・プロキシの設定
→管理ネットワークからインターネットアクセス可能
２．OpenStack-Ansibleインストール前の設定
・サーバーにAnsibleをいれるためのパッケージインストール
・タグVlanを有効にする
・カーネルのアップグレード
・ネットワークデバイスの設定
・物理ボリュームの設定
3.Ｏｐｅｎｓｔａｃｋ－Ａｎｓｉｂｌｅの設定
・Ｐ２３
設定用Playbook、実行用Playbook
・OpenstackAnsibleインストール
・コピー
・Ｐ２５
Openstack_user_config.ymlファイルの作成
exampleを参考
各セクションに分かれている
cidr_networksセクション
used_ipsセクション→予約ＩＰアドレスの設定
global_overridesセクション
shared-Infra_hostsセクション：かかれていない
GalaraDB,RabbitMQ,Memcachedをデプロイ
affinity
書かれていない：暗黙的に１個
・Ｐ２８
物理サーバー３台の場合
・Ｐ２８－２９
デプロイする
Ｐ３０
Cinderをデプロイする
今回はStorage1は出てこない
このファイル編集すればおしまい
スペース入るとうまくいかない
・user_variables.yml
基本的にファイルの中に書かれている
・user_secrets.ymlの設定
keystoneで使うパスワード
４．Openstackのデプロイ
・playbook実行
・Ｐ３６：setup-hosts.ymlの実行
-vvvをつくる
・失敗したらretry
・プロキシ
・ＤＢやＭＱなどインフラ
・残りのコンポーネント
７～８時間で構築完了
今後
・解説部分を手順に
・ドキュメント充実化
・Mitaka対応
・OpenStack+PLUMgridのインストール自動化
■知っているようで知らないNeutron －仮想ルーターの冗長と分散－
・自己紹介
・Neutronの仮想ルーターについて
１．IaaS環境におけるネットワーク（昔話）
仮想マシンの上でＶＭ動かす
サーバー数が増加→管理製品が登場
ＶＭを横断的に
ＶＬＡＮ使って：設定が仮想スイッチと物理スイッチ両方に
仮想サーバー：爆発的に増加
手動じゃむり：ホップ バイ ホップとオーバーレイ
今回はオーバーレイ
２．Nova Network
仮想ルーターは１つだけ
テナント巻でＩＰ重複不可能、SPoF、スループット、パケット往復ビンタ
Nova Network マルチホスト
複数あるのでSPoFなどはいいけど、IP重複は不可
３．Neutron
複数の仮想ルーターを実現：Linux namespace→テナントごとに
Ｌ２パケット処理
課題：
Ｌ３の処理：仮想ルーター Neutron Server重要→SPoF,スループット、往復ビンタ
ＶＭから出たＬ２パケットはＬ３でカプセル化
対策
Ｌ３ＨＡ，ＤＶＲ
３．１ Ｌ３ＨＡ
SPoF対策
口はあるが、ＩＰはＡｃｔｉｖｅに振られている
切り替わり
１台しんでる→activeへ
できること
SPoF化排除
セッション引き継ぎとかはできない
スループット向上
テナントがＡ，Ｂとあるとき
ＮＷ１をＡのアクティブ
ＮＷ２をＢのアクティブにする
３．２ ＤＶＲ
３．２．１ 概要
・スループット、往復ビンタ問題解決
Computeサーバーに仮想ルーターを置き、
（Neutronサーバーのクローン）
フローティングＩＰを割り当てると、Computeサーバーの分散仮想ルーターを通して外部へ
３．２．２
前提知識 仮想Routerの処理
East-West通信→Computeサーバーでやりとり、往復ビンタおこらない
Noth-South、フローティングＩＰなし
インスタンス→Computeサーバーでカプセル化
neutronでカプセル解除：外に出る
フローティングＩＰあり
仮想ルータでＮＡＴされ、ルーティングされる
３．２．３ ＤＶＲ詳細
ＦＩＰなし
ＦＩＰあり・・・（ふくざつなのでしょうりゃく）
３．３ＤＶＲまとめ
・できること
スループット向上→複数ルーター使う
・できないこと
SPoF：１個にヒモづくから
→Ｌ３ＨＡとＤＶＲは現時点では排他
４．ＭｉｄｏＮｅｔ（おまけ）
・Overlay型のＳＤＮシステム
・コントローラー単一ではない
・ＧＷサーバーのう家にMidonetProviderRouterでそのうえに仮想ルーター
・ポートミラーリングの機能
５．まとめ
Ｌ３ＨＡ：Activeスタンバイ、Neutronサーバー通るので負荷かかる
ＤＶＲ：冗長化現時点ではできない：フローティングＩＰの有無で変わる
ＭｉｄｏＮｅｔ：ActiveActive
Ｑ＆Ａ
ＯＶＮ：アーキテクチャとしては、ＭｉｄｏＮｅｔとほぼ一緒
■Ubuntu Juju/MAAS OpenStackを使った検証環境構築
・自己紹介
・会社紹介：えむでぃす
・きょうのおはなし
Juju/MAAS
事例
・Juju/MAASの概要
かのにかるしゃ
Juju：モデリング、設定、デプロイ、管理をクラウド環境へ実現するサービスオーケストレーションツール
チャーム（Charm)→設定サービス
MAAS：物理サーバー自動化ツール
・Jujuのしくみ
サービス：Charmで機能単位
ユニット：サービスで作られた実体
ノード：サーバーの実体、１ノードに複数ユニットも可能
サービス間のリレーション構築 add_relation
スケールアウト juju add-unit
・MAASの仕組み
ＫＶＭとかも管理できる
デモ
・マシン自動探索と登録
事例１：環境作った
→構築実習
全員同じＩＰ→接続先ＶＬＡN
グループごとにルーティングテーブルを分割
OpenStack構築の
・MAASサ－バー
・Jujuサーバーの構築
・OpenStack用物理マシン・仮想マシン
・Jujuへデプロイ
事例２：
失敗の原因
１．MAASデプロイ始まらない
２．Jujuがunitのデプロイを始めない
→タイミングまたはゴミの問題
事例３：
Juju on Openstack
metadataを作る
テナント用 juju bootstrap
Jujuで作ったOpenStackAPIへ、テナント内のjuju bootstrapから疎通しない
テナント内にＤＮＳ
ｗｏｒｄｐｒｅｓｓ構築
１．jujuでMySQLデプロイ
２．Jujuでwordpressデプロイ
３．MySQLとwordpressをadd-relation
４．expose ON
５．ＩＰ
まとめ
＜＜夜の部：仮想ネットワークの高速化＞＞
■Accelerate SDN/NFV Network ～ネットワーク高速化のアレコレ～
・自己紹介
・会社総会 アルティマ ＆ マクニカグループ
・ほんじつお話しする内容
ＳＲ－ＩＯＶ
ＶＸＬＡＮ オフロード
ＤＰＤＫ
ＯＶＳ オフロード
ＦＰＧＡ ＯＮ ＮＩＣ
→とは何？という話省略
超まとめ
・ＶＸＬＡＮ オフロード
アクセラレーションでも枯れている。
ＮＩＣで。
・ＳＲ－ＩＯＶ
最近クラウドでも。Ａｍａzonでもオプション。
オーケストレーションの課題
・ＤＰＤＫ
ＮＦＶのユースケースで注目
アプリケーションが対応しないと
６ＷＩＮＤ、Ｖｙａｔｔａ
・ＴｒｅｎｄＴｅｃ
ＯＶＳオフロードＮＩＣ
ＦＰＧＡのＮＩＣカード
ＶＰＰテクノロジー
・VXLAN Offload
ＮＴＴ Ｄｏｃｏｍｏ
・ＤＰＤＫ
オープンソース：kiloから使える
かのにかるjujuで6WIND(しっくすういんど）立ち上げられる
・ＳＲ－ＩＯＶとOVS Offload
ＯＶＳオフロードエンジン搭載ＮＩＣ
・ＦＰＧＡ ＮＩＣ
メラノックス、ビットウェアー（からできます）：米国では流れていく
→OpenCL：抽象化コンパイラ
ネットっワークを高速化するには
・ボトルネックの理解
スケールアップ？→解決しない時も：
デバイスドライバの割り込み
コンテキストスイッチ
vSwitch
・テクノロジーの分類
ＨＷアクセラレーション：ドライバの作りこみ違う
ＳＷアクセラレーション：ＤＰＤＫはこれ。連携必須
動作解説
・ＶＸＬＡＮオフロード
ＲＳＯ／ＴＳＯ処理
勘違い
ＶＴＥＰはオフロードしません
ただしＶＴＥＰはオフロードするものあり
使いどころ
ＶＭあたりのスループット向上
ショートパケットはそれほど
・ＯＶＳ
ＩＲＱ割り込み、カーネルバッファコピー
コンテキストスイッチ
・ＯＶＳ＋ＤＰＤＫ
データパス用専用コア
ファストパス：コンテキストスイッチ発生しない
ＯＶＳトランスペアレント
ＰＭＤドライバ対応
・ＳＲ－ＩＯＶ
カーネルバイパス
仮想スイッチの要件が低い場合
・ＯＶＳオフロード
ＮＩＣでオフロード、見掛け上ＯＶＳ
対応製品
■OVS VXLAN Network Accelaration on Openstack
・Tokyo Summitにて
ＤＰＤＫの評価おわっていなかったので
・振り返り
できるだけ汎用的はＨＷで
できるだけ標準的なＳＷ・デプロイ方法で
一部のＨＷ・ＳＷの書き換えだけで
ハイパーコンバー字度インフラをOpenStackで構築すること
・ＯＶＳ／ＶＸＬＡＮを選択する理由
ほとんど使える
既存根とワークのデメリットを避けながら
Linux Kernelによるパフォーマンスネック
OVS (Open vSwitch)
VXLAN
・なにも使わないでＯＶＳ ＶＸＬＡＮ
２Ｇくらいしか出ない（１台あたりは徐々に減る）
・ＶＸＬＡＮオフロード
【一般的理解】
ＯＶＳがＶＸＬＡＮパケットを付加：それが付加されるので、ハードで計算できなくなる
→そこをハードで計算できるようにする
ショートパケットだと下がる
・ＤＰＤＫ
６４バイトショートフレームで１０Ｇ出せる？
→ＣＰＵサイクルが・・・１０００サイクルはかかるので
→インテルＤＰＤＫ
ポールモードドライバー
明示的なリソースの割り当て
・６ＷＩＮＤ
ターボルーター：ソフトウェアルーター
ターボＩＰSec
バーチャルアクセラレーター：バーチャルスイッチ
キーアドバンテージ
ＯＶＳ ＤＰＤＫ：ＯＶＳをサポートしているのがメイン
６ＷＩＮＤ：さまざまサポート
・パフォーマンステスト
２コアで１０倍以上
６ＷＩＮＤ明らかに性能違う
・ＰＯＣ評価
vcpu_pin_setの設定
ＵＤＰの場合
・まとめ
ＶＸＬＡＮオフロード
帯域の有効利用という点では有効→本番運用では難しいのでは？
ＤＰＤＫ
基本的な性能を求めるには必須
設定は難しい
・ビットあいるではサービスしているよ
■SR-IOV Networking with Openstack
・自己紹介
・トピック
ネットワークリソースを使いきる
（１）ＮＩＣの性能を使いきる
・仮想ネットワークの性能
ＣＰＵ性能
ネットワーク性能→こんかいここ
ディスク性能
・ベアメタルサーバーの性能
なんにもチューニングしない：３Ｇでない
・仮想化基盤ネットワークのおさらい
ＶＭＭ上で仮想スイッチを稼働させ・・ここもんだい
性能向上
（１）仮想スイッチをバイパス＝ＰＣＩパススルー
（２）仮想スイッチの高性能化＝仮想スイッチ＋ＤＰＤＫ
今回は（１）
（２）ＳＲ－ＩＯＶとは
・仕様です
ＰＣＩデバイスを多重化して仮想マシンにパススルー接続する技術の業界標準
・ＰＣＩバスのパススルー技術
仮想スイッチモデル
ＰＣＩパススルーモデル
ＳＲ－ＩＯＶモデル
バーチャルファンクション：物理ポートを細切れにし、
→仮想マシンがＤＭＡを使う技術
ＰＣＩバスと仮想マシンの関係を定義、管理する仕組み
箱を動かす場合注意必要（LiveMigration）
→ＮＦＶバーチャルファンクション
・キーワード
物理ファンクション（ＰＦ)
仮想ファンクション（ＶＦ）
→効率の用分割数
・技術
ハード
ＮＩＣ
ソフト
ＣＰＵ ピンギング
ＰＦＶＦドライバ
（３）ＳＲ－ＩＯＶを利用する
サーバーＨＷの設定でＳＲ－IOVを有効化
ＩＯＭＭＵの有効化とモジュールのロード
ＶＦのＰＣＩバスＩＤでパススルー接続
使用上の注意
ＩａａＳ基盤を使わない場合、バスＩＤとＭＡＣアドレスの構成要素を管理する必要がある
（４）ＳＲ－ＩＯＶを管理する
OpenStackを利用して解消する
仮想マシンのポートを作ってあげる
使用上の注意
ＰＦ／ＶＦドライバの問題
セキュリティグループが適用されない
ＰＣＩパススルー情報はＣＯＭPUTEノードの設定に直書き
Horizonからは操作できない(Liberty現在）
（５）ＳＲ－ＩＯＶの効果
ＩＰふぉわーディング
まとめ
・ぴんぎんぐのところはいれてない
