« ニコニコ超会議の「超エンジニアミーティング」 を全部取材してみた | Main | 灘校パソコン部が公開した「部誌」を見ていまどきの中高生ハッカーの実力に感心するなど »

ビッグデータの価格破壊? Googleが「処理量100GB/月まで無料」の解析サービスBigQueryを提供開始

Googleが、データ解析サービスBigQueryを公開しました(Blog記事)。「ビッグデータの価格破壊」、とも言うべき内容になっています。

Google勤務のKazunori SatoさんがGoogle+に簡潔な解説をポストしてくれています。

ポスト1 BigQueryが一般公開されました!数100億件の全検索が数十秒で完了する超並列クエリサービスで、MapReduceと並びGoogleの根幹を支える虎の子技術です。
Google BigQuery brings Big Data analytics to all businesses - Google Developers Blog

ポスト2 BigQueryプチ解説:BigQueryはGoogle社内では「Dremel」と呼ばれる超並列クエリインフラを利用した一般向けサービスです。DremelはSybase IQやOracle Exadataと同様のColumar DBで、OLAP/DWH/Data Miningで行われるようなread onlyのad hocクエリをきわめて高速(数秒〜数十秒)に実行します。データの更新処理には向きません。データモデルはProtocol Bufferであるため、1つのテーブルスキーマ中に階層構造を持たせたるなどの非正規化が可能。一般的なRDBと同様のWHERE句条件指定をはじめ、各種集約関数、サブクエリ、中間テーブル作成、部分一致検索、そして部分的なJOIN(相手テーブルが数MB以下のもの)もサポートします。クエリは最大数1000ノード上で超並列処理されるため、事前に特別なインデックスを構築することなく様々なクエリを非常に高速に実行できます。
Buzz by Google Research - Dremel: Interactive Analysis of Web-Scale Datasets, Sergey…

ポスト3大きいデータから大きいデータをつくるときはMapReduceが必要だけど、いかんせん遅い。昼飯までに終わらない。大きいデータからサクッと特定のデータだけ絞り込んだり集計したりいろいろ悩みながらクエリをadhocに組み立てるのにはBigQueryマジ最強っす

価格表は、衝撃的です。ストレージ容量1GB/月あたり0.12ドル。上限は2TB。クエリ処理量が100GB/月までは無料、それ以上ではクエリ処理量1GBあたり0.035ドル。上限は1日1000クエリ、1日あたりデータ処理量20TB、といった価格体系です。

想定している使い方は、容量100GB〜1TBといった巨大なデータを格納し、アドホックな検索条件でクエリを繰り返す、といった使い方でしょう。使い方しだいですが、「100GBのデータを毎日アドホックに解析しまくって月12ドルに収まる」、という場合もありそうです。

こういうサービスが提供されるとなると、ビッグデータの解析を自社システムとして運用している企業は、費用対効果を見直す必要があるかもしれません。

追記:
5/15にGoogleのDeveloper Relations Japan Blogで取り上げられています。
Google BigQuery 正式版をリリースしました

|

« ニコニコ超会議の「超エンジニアミーティング」 を全部取材してみた | Main | 灘校パソコン部が公開した「部誌」を見ていまどきの中高生ハッカーの実力に感心するなど »

Comments

Post a comment



(Not displayed with comment.)


Comments are moderated, and will not appear on this weblog until the author has approved them.



TrackBack


Listed below are links to weblogs that reference ビッグデータの価格破壊? Googleが「処理量100GB/月まで無料」の解析サービスBigQueryを提供開始:

« ニコニコ超会議の「超エンジニアミーティング」 を全部取材してみた | Main | 灘校パソコン部が公開した「部誌」を見ていまどきの中高生ハッカーの実力に感心するなど »