A01

アーキテクチャ・ソフトウェア/うごかすちから

Architecture, Software

データ収集・蓄積・解析クラウド基盤

Cloud infrastructure for data collection, store and analysis

ネットワークとクラウドを活用してデータ収集から解析まで - IoT、ビッグデータ、教育基盤

Data collection and analysis utilizing network and cloud: IoT, big data and educational infrastructure

代表者名

クラウド基盤研究開発センター

Center for Cloud Research and Development

共同発表者名

所属分野

アーキテクチャ科学研究系

Information Systems Architecture Science Research Division

pdf-imagepdf-image

要旨

データ収集から解析までを行う分散アプリケーション基盤を構築するシステム
を紹介します。SINETStream を利用することで、広域ネットワーク上の IoTデ
バイスのセンサーデータの収集・解析を行うアプリケーションの構築ができる
ようになります。また Virtual Cloud Provider を利用することで、複数のク
ラウド環境を活用して、ゲノム解析等の研究環境やCMS等の教育環境の構築が
できるようになります。さらに、データ解析時のメモリ使用量などの実行時特
性を収集し、資源選択や可視化等への活用を行う監視・分析システムも紹介し
ます。

SINETStream enables us to build an environmont to collect and analyze
data from distributed sensors. Virtual Cloud Provider enables us to
build a distributed application environment over multiple cloud
platforms. We use container technologies, overlay network
technologies and Jupyter notebook for it. We also show technologies
that automatically collect execution records of genome analysis
workflows and utilize them by choosing appropriate computing resources
and by visualizing collected execution records.

関連動画

コメント

  1. 大江 和一 より:

    興味深く拝見させて頂きました。
    実際に事例適用されているということだと
    思いますが、試作されたシステムを他研究者
    に使って頂ける品質にするにはテスト等に
    十分に人と時間を割かないと難しいと思います。
    そのあたりはどうされていますか?

    1. 竹房あつ子(NII) より:

      ご質問ありがとうございます.
      ご指摘の通り,他の方に利用していただくには純粋な研究目的の開発より大変です.
      開発チーム内で事前にシステムの動作確認を複数人で行ったり,定期的にプログラムを自動実行してテストしたりしています.また,所内に開発物を使ってアプリを開発するチームがいる他,他組織の研究者にテストにご協力いただき,要望等を伺っております.