IoT（モノのインターネット）時代の到来でインターネットへのデータ流入量が飛躍的に増える中、迅速な意思決定を可能にするリアルタイム処理・分析への流れがここ数年加速しており、米国ではそのリアルタイムが「ほぼリアルタイム（near-real time）」から、本当の「リアルタイム」にこの先シフトするのかという点が、注目ポイントの一つとなっている。
米テック系ニュースサイト『プロトコル』の記事によれば、ヘーゼルキャスト（Hazelcast）、ロックセット（Rockset）、テクトン（Tecton）など、独自に企業向けの高速リアルタイムツールを開発するスタートアップが相次いで登場し、多様化・高度化するサイバー犯罪への対処やECのダイナミックプライシング、レコメンドといった場面で、1秒未満の高速分析や機械学習を可能していることがその背景にある。
無限に発生するデータの鮮度を保ったリアルタイム分析は生産の効率化やリスク検出、顧客にとっての価値の創出につながり、様々な場面においてすでに不可欠だが、果たして数秒あるいは数分単位の「準リアルタイム」から、さらにギアを上げたミリ秒単位のストリームデータ処理にシフトするニーズが、企業側にどの程度あるのだろうか。
数分単位の「準リアルタイム」も現状、十分機能しており、数分から1日、あるいは数日ごとに行うバッチ処理も依然有用だが、真のリアルタイムを追求する米国の新興データサービスプロバイダーは、「情報の貯蔵庫データレイクに流入するデータ量の急増で、こうした情報を瞬時に利用することがこの先、不可欠になる」との認識。果たして、この流れが加速するかが焦点となる。
ここ数年で普及したリアルタイム分析、次の差別化が必要に
テック分野の上級管理職で構成されるフォーブス・テクノロジー・カウンシルによると、米国の一般的な企業にとって、リアルタイム分析がなくてはならないものになったのは、ここ数年のこと。その前の10年間は、蓄積したビッグデータの分析を通して経営幹部が戦略的な意思決定を行っていたが、今では社員一人ひとりがBI（ビジネスインテリジェンス）ツール上のリアルタイムの洞察を用いて、日々の意思決定を行えるようになった。
リアルタイム分析の種類は主に、ビジネス状況を視覚化するダッシュボードなどを用いた社内向けの分析、ウェブアプリなどのユーザー向けの分析、データの持つ法則性や意味などの特徴をコンピュータに教え、アルゴリズムに基づいて学習させる機械学習型など。
『プロトコル』によれば、クラウドの利用やAI・機械学習の台頭、ストリーミングデータの収集・処理・保存を行うプラットフォームApache Kafkaやその商用版Confluentといった技術の出現が、リアルタイムのデータ処理・分析の普及を後押しした
大手ハイテク企業が用いてきたようなデータツールや戦術が一般的な企業にも浸透すると、今度はこうした企業の差別化戦略をサポートするデータサービスプロバイダーが登場し、さらなるグレードアップに向けた真の「リアルタイム」とも言える分析システムや機械学習アプローチの活用を支援するという流れができたという。
Facebookやウーバー出身の技術者がリアルタイム分野で起業
ストリーミングデータを低遅延でリアルタイム分析するためには、ハードウエアの台数を増やすという手法に変わる戦略が必要。
テックスタートアップ・人材の交流プラットフォームBuilt Inのレポートは、そのための独自のアプローチを提供しているデータサービスプロバイダーとして、Kafka互換のストリーミングプラットフォームのレッドパンダ（Redpanda）やリアルタイムデータベースのモレキュラ（Molecula）、クラウドベースのリアルタイム分析プラットフォームを手掛けるロックセットなどを挙げている。
すべての企業がアマゾンやTikTokのような高速処理を必要としているかは疑問だが、ロックセットのVenkat Venkataramani CEO兼共同創業者は、ビジネス分析におけるリアルタイム化は必須とみている。
同CEOの前職は、Facebookのインフラストラクチャチームのエンジニアリングディレクターであり、共同創業者のDhruba Borthakur CTO（最高技術責任者）も同じチームのエンジニア出身。
一方、前出のスタートアップ3社のうち、テクトン社を創設したのはウーバーの世界戦略を支えてきた機械学習プラットフォーム「ミケランジェロ」の元開発チーム。米巨大テック企業を支えた技術スタッフらが、リアルタイム分析の進化を目指して起業したことになる。
テクトンはリアルタイム分析の中でも機械学習を専門とし、エンタープライズ対応のフィーチャーストア（機械学習に使われる特徴を管理や提供するための基盤）を提供している。
顧客は主に金融やEC、国内外の有力企業が活用
高速のリアルタイム処理は、現時点でどのような企業がどう用いているのだろうか。
最も需要があるのは、銀行やEC（電子商取引）部門。少数の利用事例としては、石油掘削リグや風力発電設備の保守を目的とする機会学習モデルベースの予測分析に用いるケース、あるいは保険会社が運転手の行動ベースの割引プログラムの運用に用いるなどのケースがあるという。
ロックセットが自社システムのユースケースとして挙げているのは、ロジスティクス、ゲーム開発、リアルタイムのパーソナル化、セキュリティー分析、顧客分析、IoTセンサーデータのリアルタイム分析など。
米国のオンライン学習プラットフォームのリーディングカンパニーであるシーソーラーニングや、建設ロジスティクスにリアルタイム分析を導入するコマンドアルコン、顧客体験のパーソナル化に用いるサプリメントの有力D2CブランドRitual（リチュアル）などが同社の顧客だ。
一方、分散コンピューティングとストレージプラットフォームのヘーゼルキャスト社は、米投資銀行のJPモルガン・チェースやドイツの自動車保険最大手HUK-COBURG、防衛・航空宇宙の米エアバス・ディフェンス・アンド・スペース、百貨店チェーン大手のJ.C.ペニー、アイルランド歳入庁など、多くの有力企業や機関を顧客に持つ。
ユースケースとしてはキャッシュ、不正検知、リアルタイムストリーミング分析、高速データルックアップのためのマイクロサービスアーキテクチャでの使用などを挙げている。
同社が昨年、新たにリリースしたHazelcast Platform 5.0は、既存製品のHazelcast IMDG（高速のデータ保存、取得、修正）とHazelcast Jet（高速データ処理）を統合したものだが、独自の処理アーキテクチャにより、1秒あたり数百万のイベントを扱うストリーミングクエリにおいて、99.99％が10ミリ秒未満の低遅延を実現しているという。
一般企業に「リアルタイム」は必要か、データ流入量はさらに増殖
実際のところ、本当のリアルタイムでの処理・分析を必要とする企業がどの程度存在するかは、かなり分かりにくい。時間単位や分量単位でデータを一括処理するバッチ処理で十分対応できる企業も多く、この種の技術の応用が進む米国でも、「ほぼリアルタイム」から「リアルタイム」への切り替えを必要としている企業がどの程度いるのか未知数だ。
『プロトコル』によれば、例えば、ロックセットの主要顧客であるシーソーラーニングもその1社。先々の必要性を視野に入れつつも、現時点ではロックセットの最も高度なリアルタイムデータ機能を使用しているわけではなく、夜間のバッチ処理で対応可能との認識という。
ただ、ロックセットのVenkataramani CEOは「あらゆる領域で高速が低速に勝る」と指摘する。ビジネス分析の分野では、バッチ処理アプローチは、「月曜日の朝のクオーターバック」（週末のアメフトの試合を振り返って週明け朝にあれこれ言うこと）のようなものだと語る。次の試合の参考にはなっても、点差を付けられている現在進行形の試合をひっくり返すためには役に立たないという意味だ。
より新鮮なデータを必要とするビジネスシナリオは、向こう2〜3年でさらに増えるというのが、Venkataramani CEOの見方。同CEOはリアルタイムのデータ処理を「2秒以内」と定義しているという。
また、グーグルの親会社であるアルファベットの投資部門CapitalGのDerek Zanuttoジェネラルパートナーによると、クラウドへの移行とデジタル変革への投資が続く中、クリックストリームやログ、IoTなど、機械が生成するデータの量、種類、速度は今後、飛躍的に増殖し、先進的な企業にとってはリアルタイム分析向けのデータ発掘の必要性がさらに高まる見込み。競合他社の先を行こうとする企業のDNAがより高度、高速なプラットフォームの活用を加速させる可能性がありそうだ。
現時点で、データ分析シーンが転換点を迎えているとの指摘もある。Google Cloudのデータベース・データ分析・Looker担当副社長兼ジェネラルマネージャーGerrit Kazmaier氏は、企業がデータを保持するのではなく、その場で機械学習と分析を用いて行動を起こす、あるいは顧客行動に影響を与えるという、“パラダイムシフト”が起きているとの見方だ。そうであるなら、真のリアルタイム分析の応用範囲は、そう遠くない未来に爆発的な広がりを見せるのかもしれない。
文：奥瀬なおみ
編集：岡徳之（Livit）