仮想分散コンピューティング・データ流通技術の研究

近年,クラウドサービスやスマートフォン,センサー,小型デバイス等の普及,台頭に伴うネットワークサービスに対する要求が高度化しています.クラウド・ネットワークサービスにおける計算処理,対象データは多様化,大規模化,大容量化が進んでおり,高度化する要求に対応可能な大規模分散コンピューティング環境が実現が望まれています.
一方,Software Defined Networking (SDN)と言われる新たなネットワークコンセプトの技術要素があります.SDNではデータの転送と制御を分離することによって,より柔軟なネットワークを可能とします. 本研究は,SDNによってもたらされるネットワークプログラミング可能性を最大限に活用した,次世代型の分散並列計算・可視化のための要素技術に関する研究開発プロジェクトです.4つのサブテーマを持ち,それぞれのチームによって研究を推進しています.

  1. SDN+JMS
    クラスタシステムなどの高性能計算環境では,複数のジョブ間でその資源が共有利用されます.このような計算環境上で分散並列計算の実行時間を縮減するためには,その環境を構成する計算資源およびネットワーク資源を効率的に割り当てる必要があります. しかし,今日のジョブ管理システム(JMS)の多くは計算資源情報のみを考慮してジョブへの資源配分を決定します.本サブテーマでは,ジョブごとに指定されるユーザの資源要求に基づき,計算資源およびネットワーク資源を考慮した資源割当を実現するためのジョブ管理フレームワークを提案します.
  2. SDN+MPI
    多数の計算機,CPUコアを用いることによって並列度をあげ,膨大な計算量の問題を克服することが計算科学ではメジャーになりつつあります. 並列計算は通常,Message Passing Interface (MPI)といわれる並列計算ツールとAPIを用いて多数のプロセスを複数の計算機で生成し,数値やメッセージをプロセス間でやりとりすることで並列計算を実現します. 本サブテーマでは,MPIでのメッセージ交換の時にネットワークのスループットを高めるため,高性能クラスタシステムでのメッセージパスの動的変更を可能にするMPIベースのミドルウェアを開発,提案します.
  3. SDN+Visualization
    多数のディスプレイを組み合わせることで高解像度の仮想ディスプレイを構成する可視化技術,タイルドディスプレイウォール (TDW)があります. TDWは1つもしくは複数のディスプレイを持つ計算機がクラスタシステムとして構成され,TDWのを制御します.つまりTDWには複数の計算機によって制御され,ディスプレイに表示される高解像度コンテンツはストリーミングとして各画面,各計算機に配信されます.次世代解像度規格の4K,8Kでは膨大な量のストリーミングがネットワークを流れることになり,ネットワークの輻輳や障害を回避するSDNを用いたTDWミドルウェアを提案します.
  4. SDN+Cloud Computing
    複数のサイト(大学,研究所)で所有するハードが異なる計算機に対して,Virtual Macheine (VM)を用い全ての計算機を一様にすることで使いやすい並列計算環境が整います. VMのディスクイメージは1〜4G Byteあり,多数の計算機にVMイメージの移動,転送には工夫が必要となります.本サブテーマではSDNを用いたVMイメージの効率的な移動手法を提案します.

本研究はNICT委託付共同研究「大規模分散コンピューティングのための高機能ネットワークプラットフォーム技術の研究開発」の支援により推進しています.