大數據分析探討
-
撰文者：
林耿呈(Aaron Lin) 博士
慧穩科技股份有限公司 總經理
AIWin Technology Co., Ltd., General Manager
大數據分析探討
隨著網路邁向4G、5G的高速時代與手持裝置的蓬勃發展，造就了數據量的大量產生，我們每天的一舉一動，只要透過身邊的任何裝置連網後，數據便一一產生，這也就是我們談了許多年的IOT物連網與Big Data大數據。然而有了龐大的數據，不只是單單的儲存，而是必須加以利用與再次清理，才能進入分析，更進入AI人工智慧的建模型，並且有效的預測資料的下一步會往哪邊走，這便是大數據分析的重要性。但是要進入把大數據導入人工智慧與分析的階段，需要那些技能的人才呢？我們一一介紹給大家知道。
♦資料清理與標記員
要將數據有效的透過人工智慧或統計數學模型進行分析，必須確保資料的正確性，我們常說”garbage in garbage out”，所以將資料整理清楚正確是第一步，當資料整理清楚後，並且將數據進行標記，標記之意是指將資料進行正確結論的描述，圖片而言，將圖中的標的物位置大小標記出來；對於數據而言，將數據的最後輸出結論進行標記描述。經過大量的資料清理與標記後，需要後續的人才接手進行。
♦AI訓練師與資料科學家
有了大量整理標記過後的資料後，人工智慧訓練師將會將此資料透過現有的人工智慧模型或統計模型進行訓練，並且監控訓練的現象是否有正確的被機器運算學習，無論訓練的結果如何，都需要透過資料科學家將這些訓練或統計出來的數據進行分析，如果現有的模型足以應付，資料科學家必須思考後續如何更加精進並且可以建立標準模型，如果現有的模型不足以應付，資料科學家就必須從資料的清理整理開始再次確認標準，並且修正人工智慧模型或統計模型，再交由AI訓練師繼續進行訓練，反覆至人工智慧或統計模型有足以表達的好表現為止。
♦產業know-how連接者
各產業上各有產業的domain know-how，這些know-how都使各產業獨立的經驗累積，空有資料、AI專家與資料科學家，卻沒有懂產業know-how把全部關鍵人物串起來，再多再厲害的資料，都沒有用，上述中資料清理員、資料標記員、AI訓練師與資料科學家都必須透過產業know-how連接者進行連接，把前期的資料與結果定義明確，才能把產業的know-how紮紮實實的落實大數據資料分析。
♦人才專長轉型
人工智慧與大數據是否會取代人類的工作，透過上面的描述，我相信確實會取代掉部分工作，但是也引發出不同於傳統的新興職業，為了保持公司的競爭力，勢必必須將人員轉型，邁向大數據與人工智慧的年代。