SEがビッグデータ時代に対応するために必要な事

昨今、巷ではビッグデータと言うワードが注目されて久しい。しかし一言にビッグデータといっても、人によってイメージするものは様々である。本稿ではビッグデータを読み解くポイントを整理し、私たちSEがビッグデータ時代に対応するために何が必要なのかを考えてみたい。

ビッグデータ登場の背景

ビッグデータとは

ここで言うデータとは、何らかの事実を示すものであるが特定の事実を示すものではなく、例えば「本日の気温」も一つのデータであるし、「車の現在の速度」も一つのデータである。「ビッグデータ」とは、以下のような特徴を持ったデータの集合をあらわす言葉である。

多量

その言葉の示すように、「ビッグデータ」のデータ量は膨大である。例えばセンサー類でデータを収集するのであれば、特定の１回だけの収集だけでは解析の材料として不十分であるため、連続的にデータを取得する。すると、おのずと大量のデータを収集することになるのだ。

多様

ビッグデータを利用する際には、特定の種類の情報だけでなく多様な観点のデータが対象となる。例えば、車の走行データであれば、速度だけでなく、各センサー類の示す値も収集対象になる。

単体では意味を持たない

単体では大きな意味を持たないデータの集合がビッグデータである。ある一日の気温を見てもそこから推測できる情報は限られているが、365日のデータが何年分も蓄積されることで意味を持った解析が可能になる、と言った具合だ。

[adsense]

なぜビッグデータ利用が可能となったのか

事実を用いた解析とは、マーケティングでは古くから行われてきた手法だろう。なぜ、近年になって注目されてきたのだろうか。そこにはIT技術の進歩が背景にあるが、具体的には以下のような要素がビッグデータを支えている。

ハードの容量の増大

ビッグデータを利用するためには大量のデータを収集し、蓄積することが必要である。昨今のハード容量の増大や、クラウド化によりスケーラブルなストレージを構成できるようになったことが要因の一つである。

CPUの処理能力の向上

大量のデータを解析するためには演算能力、すなわちCPUの性能が必要だ。CPU性能が向上しリアルタイムに分析結果を利用できるようになったことがビッグデータが注目されるようになった理由の一つだ。

IoTの台頭

様々なものがネットワークに繋がったことにより、ネットワークを介して収集できる情報が爆発的に増加した。例えば、機器に取り付けたセンサー類からネットワークに情報を発信することによって、幅広いデータの収集が可能となった。

ネットワークの高速化

IoT（モノのインターネット化）の台頭によって様々なモノのデータを収集できるようになり、ネットワークインフラ上を流れるデータ量が爆発的に増加した。これに耐えうる高速なネットワークインフラもビッグデータを支える要素である。

[adsense]

ビッグデータ時代のSEに必要なこと

ビッグデータが注目されている背景が整理できたところで、ビッグデータ時代に価値あるIT人材になるために必要なことを考えてみたい。ポイントは2つある。

1.目的の設定

一つ目のポイントはビッグデータ利用の目的を設定することだ。ビッグデータを使えばなんでも出来そう、と思って取り組むと結局何をしたいのかわからずにデータの海に飲み込まれてしまう。これからのSEには、ビッグデータを「なんのために」利用するか提案できる力が必要だ。

具体的な例として注目されているのが、マーケティング分野であったり、経営戦略の策定、つまりCEOなど会社の意思決定に携わる人の意思決定の支援である。どちらも、「与えられた情報から意味を見出し、判断する」ことが重要である。ビッグデータを解析した結果の情報がそれらの仕事のInputとなり、より高度な分析に基づいた意思決定を可能とする。

2.技術要素の習得

これからの将来、私たちはSEとしてビッグデータ利用を提案し、実現出来るようになっていく必要があるだろう。ここに、ビッグデータを利用するまでにどういった技術的要素(領域)が存在するのかを考えてみたい。

ビッグデータの利用には、大きく３つのプロセスが存在する。

1.収集

ビッグデータ利用のためにはデータを収集する仕組みが必要だ。センサーをどのように利用して、どのように情報を取得するかと言ったハードウェアに近い部分（センサー技術）から、どのデータを取得するべきか、と言った取捨選択。そして、そのデータをどのようにして蓄積する場所に送るかという方式の設計などの分野が存在している。

2.蓄積

多量のデータをどのように蓄積するか、という分野である。収集したデータをどのように効率的、安全、堅牢に保管するかということの検討や、それを解析のために利用可能な状態にするための方式（どう共有するか）などがこのプロセスで検討が必要である。

3.解析

蓄積したデータをどのように解析し、意味を持たせるかという部分である。たまった情報をどのように検索するか、そしてそれにどうやって意味づけするか、最後に利用者に対してどのように表現するか。といった部分がこのプロセスにおいて重要な技術要素だ。