巨量資料的時代 — 2015 年大數據的四大發展重點[轉載於INSIDE硬塞的網路趨勢觀察]

2012 年時《紐約時報》的一篇專欄文章「The Age of Big Data」正式宣告大數據時代的來臨，到了 2015 年，大數據一詞已經可以說是耳熟能詳，然而在現今網際網路跟雲端技術的發達，加上智慧型產品、行動裝置的普及下，以下四點將會是大數據的發展重點。

求快求即時：In-Memory 資料庫

當這世界上累積的資料量越來越龐大，各企業制訂商業策略所納入考量的資料也跟著大幅增加，這時候如何減少將資料（Data）轉換成資訊（Information）的時間變得尤其重要。
採用記憶體內運算技術（In-Memory Computing）減少原始資料的移動，僅搬移運算後的結果，加快處理的速度，並且透過壓縮技術減少資料量，能夠有效提升資料庫效能，應付企業對資料運算量及速度日益升高的要求，也使得企業得到的資訊更即時、能更快地回應各種市場需求及回饋，甚至開發出全新市場、開創出其獨一無二的價值。

萬物聯網的時代

在物聯網概念起飛的這個時代，越來越多行動裝置、智慧型居家裝置被市場接受，進入到我們的生活中，根據預測，智慧型裝置的數量將會從現在到 2020 年將從 130 億成長到 500 億。
可以預期的是更多種類型的資料將以更多形式被感測、收集起來，而且這些大量且即時性的感測數據（Sensor Driven Data）屬於非結構化資料，也就是從文本分析到未經處理的文字、聲音與影片導出的數據，如何儲存處理及分析成為現在十分重要的課題，可能從中挖掘出未知的趨勢並帶給人類生活重大的改變。

巨量資料上雲端

如果說「大數據」是現在最夯的科技潮字，那上一個最紅的則是「雲端運算」。從 2006 年被提出後，雲端（Cloud）便廣為科技業所使用，各企業更是積極提出各種雲端服務。
大數據與雲端技術可以說是相輔相成，大數據大大的推動了雲端服務，而雲端服務的普遍也使得資料量攀升。2014 年全世界平均每天產生 23 TB 的數據，大約是 2012 年的 920 倍，以這種情況來看，雲端服務在大數據時代相當於「公共設施」般不可或缺，不但用來儲存各式各樣的資料，還利用雲端運算來建構基於大數據的應用程式和 API，建立模型預測未來的事件。

人才很重要，平台跟工具更重要

因此對於不算「新」但算剛「熱」的大數據來說，在短短幾年內蓬勃發展，數據專家自然成為各公司爭搶的人才，四個最常見的大數據人才工作內容以及薪資範圍請參考《資料分析師？科學家？架構師？大數據人才的工作內容及年薪比較》一文。
不過事實是，人才需要時間培養（以大學主修到碩士畢業來算，約需要 4-6年），如果以 2012 年當作大數據發燒年，資料挖掘、資料處理因而成為超熱門的學科，最快的一票「趕潮流」的資料新鮮人將會在 2016 年進入市場。
對於正在狂燒的大數據市場，人才不夠的情況下，對於小企業來說最不可或缺的反而是大數據分析平台與資料視覺化工具！例如 Cloudera、SumAll 的線上分析平台，以及 Tableau、QlikView 等資料視覺化工具。許多企業都會要求員工熟悉上述平台及工具、具備一些數據分析「基本技能」。如果想讓自己在大數據時代中擁有更高的競爭力，可以參考這篇《大數據時代中求生存：9 個必殺絕技殺進 Big Data 市場》。