在這個數位化的時代，人人都在談論大數據分析，但你真的清楚什麼是大數據，以及大數據該如何應用在各個領域嗎？透過本篇文章，你將了解到大數據應用的3階段，以及其實際運用的案例說明，並告訴你大數據分析面臨的挑戰及應對方法。
Table of Contents
大數據是什麼？
大數據也稱作巨量資料，為透過各種來源取得的大量非結構化或結構化數據，主要概念來自於過去十年間被用來作為企業內部的資料分析、商業智慧及統計應用之統合。一般來說，大數據擁有以下特性：
- 數據資料量大（Volume）
- 資料即時性（Velocity）
- 資料多樣化（Variety）
- 資料真實性（Veracity）
統稱為「4V」。而Vpon威朋擁有亞洲最豐富的行動數據，每月可觸及9億行動裝置以及每日210億次可競價流量，為客戶提供最有效的數據核心解決方案，包括數據分析服務、品牌推廣、跨境行銷、成效優化等解決方案
為什麼需要大數據分析？
隨著數位化浪潮持續發酵，數據需求及應用越趨提升，根據IDG報告指出，全球數據預測量逐年遞增，預計2025年當年度的數據量會達到175ZB（1ZB= 109TB），等同2010至2020年十年間的數據總量，成長快速。
然而，大部分的企業及民眾都認同且意識到大數據的重要性，但僅有少數企業可有效處理取得的數據資訊，市場上的數據需求，主要分為四個階段：數據蒐集、數據分析、數據應用以及數據變現，將蒐集到的數據進行專業分析，並應用於各領域及產業中，才能達到實質成效幫助。
如何運用大數據？大數據應用3階段
數位浪潮下，各產業都開始思考如何運用大數據來幫助業務的成長以及政策的擬定。然而如何有效的運用大數據？透過Vpon威朋的數據服務就可快速的完成：數據蒐集、數據分析，與數據運用。
1. 數據蒐集
所謂大數據，即是透過不同來源、渠道取得的海量數據資料，現今企業如果想做數據蒐集的方法變得非常多元，除了傳統的用戶資料建檔、問卷調查外，網頁與App應用程式的瀏覽行為追蹤技術、IoT設備運用等，都可以蒐集到來自用戶的第一方數據。此外，有更多可捕捉用戶站外資訊的非第一方數據也漸漸被重視，包含透過交換共享得到的第二方數據，以及其它任何與商業需求有關的第三方數據等。
但也因為數據的多元化，同時隨著取得數據的門檻降低，讓企業數據蒐集的需求大幅提升，進而衍生出數據儲存與運用需求。在大數據的規模下，越來越多企業開始選擇透過雲端服務來蒐集與儲存數據，唯有透過高彈性、可擴充的雲端服務，才能完成大數據環境的建置。
2. 數據分析
透過多元渠道獲取大量數據資料往往是原始數據（raw data），無法直接使用，必須經過一層又一層的處理過程，包含：
數據檢查（data inspecting）
數據清理（data cleansing）
數據轉換（data transforming）
等，通常仰賴數據工程師或數據科學家來完成。而原始數據又包含非結構化數據（unstructured data）與結構化數據（structured data），以最便捷的方式存放在雲端環境中的資料湖（Data Lake），由於這個階段的數據較為繁雜，數據分析的技術門檻也相對較高，數據分析人員必須透過較具有彈性的資料科學相關程式語言（如：Scala, Python, R等）來進行數據分析。
經過初步處理後的數據，會依照數據類型存放在資料倉儲（Data Warehouse）中，常見的大數據資料倉儲為以Hadoop為基礎的Hive，此時數據即為結構化數據（structured data），大數據分析人員可透過SQL（Structured Query Language 結構化查詢語言）快速的完成大數據分析工作。其中，數據分析又可簡單分為描述性分析（descriptive analytics）與預測性分析（predictive analytics）。根據數據呈現的結果制定適合的解決方案，以達到現況優化及改善。
3. 數據應用
將數據分析資料視覺化呈現，並採取行動進行驗證，商業上常見的數據運用包含：用戶分群分眾、數據報告、數據儀表板等。透過大數據分析以及AI演算法，可以將用戶依照不同的屬性、偏好、行為等貼上標籤，用以描述不同輪廓的使用者，將用戶分群分眾，來完成行銷推廣的目的。例如：透過AI演算法區分出不同消費能力的用戶後，依不同消費能力給予用戶適當的資訊與服務。
數據報告則是作為商業上決策支援（supporting decision-making）的重要資訊來源，透過大數據分析，將體量大且多維度的數據，萃取出重要關鍵的資訊後，以切入商業問題的角度，找出解決問題的策略。常見的數據報告運用方法為PDCA流程，亦即Plan, Do, Check, and Action，規劃目標、開發執行、結果驗證、與策略調整的流程。
除了數據報告外，數據儀表板也是常見的決策支援系統，透過具彈性、可互動的使用者介面，探索各種數據的排列組合與分析結果，進而找出解決問題的方針，對於訂定行銷規劃、發展計畫也能事半功倍。
大數據各領域應用解析
大數據分析可以如何應用？下面我們透過3個實例來為你說明、解析。
大數據洞悉疫情下消費行為變化
2020年一月台灣新冠疫情出現首例確診者，三月疫情影響達到第一波高峰。而透過Vpon威朋數據關注疫情下整體市場及消費者行為變化。發現在三月疫情爆發後，廚具、居家清潔及即食料理等成熱門採購品項，而家俱寢飾、戶外服飾等需求銳減。
進一步觀察各類別商品的消費趨勢及變化，進而發現另類商機，像是學習類書籍消費在疫情期間明顯增加，主因待在家中時間拉長，閱讀風氣湧現；居家自煮風氣盛，更帶動鍋具商品消費漲幅大。
大數據在觀光產業的應用-日本八幡平地方觀光重生
八幡平位於日本北東北地區，秋天可以賞楓，冬天可以滑雪、泡湯，擁有豐富的旅游資源，但因為非一線城市且知名度不足，因此缺乏旅客停留，大多短暫經過，無法推廣深度行程。Vpon威朋則透過數據分析，協助觀光策略，以促進日本北東北觀光發展。
透過Vpon威朋候鳥數據庫，篩選出相同屬性的城市，包含滑雪場屬性、氣候環境、交通、生活步調等，從中取其前一年有到過北東北以及鄰近地區的人群做分析比較（北海道、仙台、新瀉、長野），透過宏觀及微觀的數據分析結果，描繪出目標旅客的面貌及特性，發掘更多新客源，帶動到訪東北的旅客較觀察期間成長超過3倍。
大數據在金融產業的應用 - 台灣及香港銀行金融市場概況
數位時代崛起，網路科技融入生活，也帶動金融服務型態轉變與改革，加速純網銀(香港稱「虛擬銀行」)發展。2020年香港八家虛擬銀行正式開業，開啟金融科技發展的全新里程碑；而受到新冠疫情影響，零接觸服務也成為台灣民眾日常生活主流，傳統銀行被迫升級更新以符合大眾需求；而純網銀及數位銀行則推出各項優惠利多，鼓勵民眾善加利用，藉此培養忠實用戶，提升市場滲透率。Vpon威朋透過大數據分析台灣及香港金融類App市佔率，以及使用者輪廓、活躍上線時間、廣告偏好等，洞悉銀行產業的發展。銀行業者可以藉由大數據分析打造獨一無二的優勢。透過了解用戶的偏好、輪廓，客製化相應的金融服務及App版面，也更能推出符合期望的市場策略和優惠，搶攻用戶心佔率。
大數據的挑戰與應對方法
科技進步伴隨產業數位轉型，大數據在各領域被廣泛運用，數據發展及應用趨勢日漸蓬勃，透過數據驅動 (Data-driven) 作為決策支援 (Decision making) 是在大數據時代下的核心精神。Vpon威朋在其中扮演角色即為協助政府、金融、交通、零售、觀光等各類別產業，透過大數據剖析市場趨勢和目標受眾行為變化，以專業的數據分析技術，制定適切的解決方案。
大數據面臨的挑戰：數據分散
KYC（Know Your Customer）一直為企業所重視，過去透過內部建立的CRM（Customer Relation Management）系統即可完成大部分的工作，但在使用者數位行為越來越頻繁且破碎的情況下，更多的使用者行為數據散落在不同場景。數據越來越多元及多源，如何將使用者站內與站外的資訊串接在一起，是在大數據時代下重要的挑戰之一。而要面對此挑戰，則可透過下面2種對策：
1. 顧客站內外數據整合
例如：銀行業者透過顧客開戶、儲蓄行為、存款交易行為等之外，對於顧客在銀行之外的資訊毫無所知，透過站外數據的蒐集與串接，可以大幅增加KYC的機會。
2. 舊客維護與新客獲取
Customer Data Platform、CDP顧客數據平台則是近幾年常見的管理工具。留住舊客 （Customer Retention） 與獲取新客（Customer Acquisition）是許多企業的兩大目標。其中，CDP即為留住舊客常使用的工具平台，而獲取新客就必須透過CDP探索出關鍵因素，進而透過行銷推廣來達成。
行銷常見的渠道不外乎各種廣告平台，像是數據管理平台（Data Management Platform，又稱 DMP），這些平台通常都會有相似受眾（Audience Lookalike）的功能，其概念就是透過既有顧客的行為數據，找出共通點，以這些特徵為基礎去挖掘出更多的目標受眾。
雖有上述2種方法，但重點跟挑戰還是圍繞在數據的取得與整合。每個人每天從一早開始使用智慧型手機的行動裝置數據、購買早餐的消費數據、搭乘交通工具的旅運數據、使用電腦的網頁瀏覽數據、使用 IoT穿戴裝置等，時時刻刻都在累積數據，這些數據包含線上／線下、App／Website等，如何透過大數據相關的技術去蒐集、整合、分析與應用都是一大挑戰。
大數據議題常見Q&A
Q1. 大數據該如何儲存與應用？需具備什麼軟硬體設備條件？
一般而言，常見的大數據需儲存在電腦叢集（computer cluster），並且透過叢集運算（cluster computing），來完成大數據儲存與應用的問題。目前依不同產業、不同需求，有兩種選擇：
- 本地部署伺服器(on-premise server )
- 雲端部署伺服器 (cloud-based server)如：Amazon Web Services (AWS)、Google Cloud Platform (GCP)、Microsoft Azure 三個服務供應商。
有了電腦叢集的設備條件後，搭配分散式運算(distributed computing) 的框架(framework)，就可以達成大數據基礎建設的基本要素，常見的分散式運算框架有：Hadoop, Spark, Flink等。或是直接採用雲端服務當中的Massively Parallel Processing (MPP)作為資料倉儲，以降低自建分散式運算環境的資源，常見的 MPP 資料倉儲有GCP的BigQuery，以及AWS的Redshift 等。
Q2. 一般企業大數據的來源有哪些？如何取得？
從DMP的定義區分，可分為第一方、第二方及第三方數據。
- 第一方數據：
通常為CRM會員數據，或是透過網站、App 所蒐集到的使用者瀏覽行為數據。 - 第二方數據：
容易被忽略，但卻是最常使用到的，通常跟第一方數據相似，但透過交換或共享的方式取得。常見為透過廣告平台取得的相關資訊。 - 第三方數據：
通常來自企業以外的數據蒐集，常見的有市場調查數據、公開數據 (Open Data)、或是其他與第一方數據無直接相關的數據來源。
Q3. 大數據分析通常需要具備哪些技術？如何培養人才？
數據基礎架構（Data Infrastructure）：大數據分析仰賴基礎架構的環境，包含以下4大部分：
1. 雲端伺服器、數據，所需的人才包含數據工程師（Data Engineer）、數據架構師（Data Architect）等。
2. 統計分析（Data Analysis）所需的人才包含數據分析師（Data Analyst）、數據科學家（Data Scientist）等。
3. 機器學習（Machine Learning）則需要機器學習工程師（Machine Learning Engineer）、數據科學家（Data Scientist）等。
4. 商業洞察（Business Insights）則需要商業分析師、數據科學家 （Data Scientist）。
更多數據報告
