Japan 公式ブログ
Google の企業向けソリューションに関する公式な情報やユーザーの事例などを、いち早く皆さんにお届けします。
[GCP] Aerospike, Google Compute Engine 上の 50 ノードで 秒間 100 万の処理を。
2014年12月10日水曜日
今回のゲストブログは、Flash 向けに最適化されたオープンソースのインメモリ NoSQL データベース “Aerospike” を開発する、 Aerospike の Director of Product & Technology、Sunil Sayyaparaju 氏です。
Google のスピードは、どれほどのものなのか?
Aerospike
は、今後のクラウド アプリケーションの常識となるであろう、高いスループット、一貫して低いレイテンシー、 リアルタイムのデータ処理に挑戦し続けることを誇りとしてきました。それもあって、Google の Performance Engineering リードである Ivan Santa Maria Filho の "
Cassandra Hits One Million Writes Per Second on Google Compute Engine
(Cassandra が Google Compute Engine 上で秒間 100 万書き込みを記録)" を読んで、私たちも Google Compute Engine 上で Aerospike のパフォーマンスのベンチマークを測り、Google のスピードの限界に挑戦しようと思ったわけです。
結果は如何に? Aerospike は GCE 上で一貫して低いレイテンシーでスケールし、小さなクラスターしか必要なく、扱いも容易でした。Aerospike と Google Could Platform の組み合わせは、大量のデータをリアルタイムで処理しスケールさせることを前提とした、まったく新しいカテゴリーのアプリケーションを生みだすのではないでしょうか。以前なら経済的にも不可能だったビジネス モデルを持ったスタートアップ企業が出てくる可能性も見えてきます。
ベンチマークは、Cassandra のベンチマークと同様に構成しています。各 200 バイトからなる 1 億件のレコード、Debian 7 Backports、 サーバ用に 500GB 非 SSD 永続化ディスクで $0.504/hr の n1-standard-8 インスタンス、クライアント用に $0.32/hr の n1-highcpu-8 インスタンスを用意し、次の
手順
で実施しています。書き込み処理の検証に加え、読み込みのみ、読み書きの組み合わせでの検証も行っています。
読み込み、書き込み、ともに高いスループット
50 Aerospike サーバーで、秒間 100 万回の書き込み
10 Aerospike サーバーで、秒間 100 万回の読み込み
常に低いレイテンシー。読み書きの揺らぎもなし
書き込みのレイテンシーの中央値が 7ms、83% の書き込みが 16ms 未満、96% の書き込みが 32ms 未満で完了
読み込みのレイテンシーの中央値が 1ms、80% の読み込みが 4ms 未満、96.5% の読み込みが 16ms で完了
注: レイテンシーは、サーバーサイドで記録(クライアントサイドではさらに高くなると考えられる)
読み書きともに、圧倒的なコストパフォーマンス
秒間 100 万回の書き込みが、時間あたり $41.20
秒間 100 万回の読み込みが、時間あたり $11.44
Aerospike は、リアルタイム入札におけるセッションやユーザーの状況の保存、パーソナライゼーション、不正検知、そしてリアルタイム分析など様々な用途の先端で利用されるデータベースとして使われています。このようなアプリケーションは、クリックストリームからセンサーデータまで、数十億ものキーやテラバイト データの読み書きが求められます。Aerospike はデータを即時一貫性のために同期してインメモリーに複製し、非同期にディスクへ書き込みます。
GCE 上で Aerospike を使った実験の詳細を以下に示します。まずはサーバー用に 10 ノード、クライアント用に 20 ノードを使い、様々な読み書き比のスループットを調査し、それぞれのレイテンシーを記録し、同時に Aerospike のクラスターに対し、読み書き共に 100% の負荷をかけながら、2 ノードから 10 ノードまでのクラスターサイズによってどうスループットが変化するのかを記録していきました。
異なる読み書き比でも高スループット(サーバー: 10 ノード, クライアント: 20 ノード)
調査した読み書き比のなかでも、このグラフで示す TPS の 80 % は 50% のクライアント(10 ノード)で達成できています。さらにクライアントを追加してもスループットの向上はごく僅かでした。
ディスクの IOPS は、
サイズに依存
します。この実験では、高 IOPS を確保するために 500 GB 非 SSD の永続化ディスクを使い、ディスクがボトルネックにならないようにしています。より大きなクラスターには 500 GB は余計でありコストを考えて減らしても構いません。今回記録した高パフォーマンスには、さらに高い IOPS を得られる SSD 永続化ディスクを使う必要さえありませんでした。
異なる読み書き比での一貫した低いレイテンシー(サーバー: 10 ノード, クライアント: 20 ノード)
100% の読み込み負荷状態で、16ms 以上かかったのは全体の 3.5% にとどまり、4ms 以上かかったのも 20% 未満でした。Aerpspike での読み込みはクライアントから 1 ホップ(ネットワークの往復)であるためこのレイテンシーを達成できました。2 往復必要な書き込みでさえ、負荷 100% の時 32ms 以上かかったのは 16% の書き込みにとどまりました。Aerospike を動作させているノードでは、8 つある CPU コアの 7 つを使い動作させています。コアをひとつアイドルにさせておくのはレイテンシーのためです。全てのコアが busy 状態であるなら、ネットワークのレイテンシーは上昇してしまいますから (レイテンシーは、サーバーサイドでの記録です)。
読み書きともに、右肩上がりのスケーラビリティ
このグラフでは、100% の読み込みと100 % の書き込みそれぞれで、リニアにスケールしていく状況を示していますが、読み書きの負荷が変わっても同様だと考えられます。読み込みでは、サーバーとクライアントの比率は 1:2 としました。6 つのノードからなるクラスターに対して 12 クライアントという形です。書き込みでは、1:1 の構成としています。書き込み時の低いスループットではこれで十分だからです。
読み書きのデータ アクセスが混在する新世代のアプリケーションは、インターネットの中でウェブサイトやモバイル アプリでユーザーの動きを感知し応答する必要があります。このようなアプリケーションでは、クリックやスワイプ毎にデータを書き込み、判断、記録、応答をリアルタイムを行う必要があるのです。
今回の GCE で実行する Aerospike は、読み書きの両方で高スループットと一貫して低いレイテンシーが要件となるアプリケーションの例になったのではないでしょうか。たったの 50 サーバーで秒間 100 万回の書き込みを処理し、これまでにない費用対効果も備えています。皆さんも
このステップ
に添って実際に確かめてください、そして願わくば私たちに挑戦してください。
0 件のコメント :
コメントを投稿
Labels
77 min Lunch
add on
admin
Android
API
App Engine
apps
atmosphere
Atmosphere Tokyo
bigquery
Case Study
Chorme OS
Chrome for Work
Chrome ウェブストア
chromebook
chromebooks
Chromebooks for Education
Chromebooks for meeting
Chromebooks for Work
Chromebox for digital signage
Chromebox for meetings
Cloud
cloud connect
Cloud monitoring
Cloud Ranking
compliance
compute engine
Deloitte
developers
Drive for Work
earth api
Education
enterprise
Enterprise Japan
event
Firebase
G+
gadget
GAE
GCE
GCP
GEO
GEP
GfWtips
GKE
gmail
Gmail、新機能
Gone Google
GoneGoogle
Google App Engine
Google Apps
Google Apps Blog
Google Apps for Work
Google Apps Script
Google Apps ユーザー事例
Google atmosphere
Google calendar
Google calender
Google classroom
google cloud platform
Google Commerce Search
Google Derive
Google Docs
google drive
Google Drive for Work
google enterprise
Google Enterprise Day
Google for Work
Google form
Google hang-out
Google hung-out
google map
Google maps
google maps api
google maps api premier
Google Message Continuity
google search appliance
Google Shopping
Google Sites
Google Storage for Developers
Google Video
Google Wave
Google スライド
Google ドキュメント
Google フォーム
GoogleApps
GoogleApps、ユーザ事例
GoogleApps、新機能、spreadsheets
groups
gsa
healthcare
iOS
iphone
ISAE 3402 Type II
ISO 27018
IT
japan
Lotus Notes
map
maps api
media
microsoft office
migration
mobile
new features
Office 365
partner
partner program
postini
pricing
research
RSA
SAS70
search
Security
seminar
Shizuoka
Signage
Sites
SMB
SSAE 16 Type II
SSO
startup
Status Dashboard
Trial
Upload any files
vault
Virtual Conference
VMware
あっぷす先生
あっぷす先生 誤解をとく!
あっぷす先生会社訪問
イベント
おしえて!あっぷす先生
オフライン
クラウド
サイネージ
サポート
テレワーク
ハングアウト
プライバシー
ランキング
企業検索
互換性
事例
新機能
働き方
Archive
2016
2月
1月
2015
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2014
12月
2014年、Google のセキュリティへの取り組みについて ~総括~ 攻撃されにくく...
[GCP] gcp ja night #29 - BigQuery, Kubernetes, GAS...
Gmail、意図せぬ振る舞いへの対応(コンテント セキュリティ ポリシー)
「Google for Work マル秘活用術」 株式会社スペースタイム
[GCP] Google Cloud Platform が支える、新感覚リアルタイム RPG ユニゾ...
株式会社モバイルファクトリーも Google へ ゲームとリアルな世界がコラボした「駅奪取」に G...
【ご好評につき、第二弾!】クラウドって、本当はどうなの? セキュリティ、ROI、イノベーション 集中...
[GCP] dotCloud は、高速でより堅牢な PaaS を Google Cloud Plat...
株式会社ドワンゴもGoogleへ スマホアプリ「にじたび」開発に Google Maps API...
[GCP] Aerospike, Google Compute Engine 上の 50 ノードで ...
[GCP] Google Cloud Platform での Windows サポートを拡充しました
[GCP] Wix はマルチ クラウド構成で ハイ アベイラビリティ を達成
[GCP] ゲーム攻略完全図鑑は、Google Cloud Platform を使って、ゲームをして...
Google for Work および Google for Education のパートナープログ...
[GCP] 12 月 10 日 大阪開催 Google BigQuery ハンズオン セミナー
[GCP] Google Cloud Platform、PCI データ セキュリティ スタンダード認...
#77minLunch 株式会社ニューロマジック
[GCP] 11 月の Google Could Platform アップデートおさらい
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2013
12月
11月
10月
9月
7月
6月
5月
4月
3月
1月
2012
12月
11月
10月
9月
8月
7月
6月
5月
4月
2月
2011
12月
10月
9月
8月
7月
5月
4月
2月
1月
2010
12月
11月
10月
9月
7月
6月
5月
3月
2月
1月
2009
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2008
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
2007
12月
Feed
Follow @GoogleforWorkJa
Useful Links
Google Apps for Work
Google Cloud Platform
Google 検索アプライアンス
Google Maps for Work
企業向けソリューション
Google Apps公式アップデート情報
0 件のコメント :
コメントを投稿