還記得有一次的時候,總是聽到一些有關大數據相關的詞語,雖然可能自己都聽過這些,但是聽老師講課與學長報告之後,才知道自己所了解到的東西只是冰山一角而已,爾後,遇到自己聽不懂的我總是趕緊提起筆抄筆記,不然就是拿起手機查,還有不懂的就是中間休息趕快問學長,而學長也總是耐心地讓我了解相關的概念、如何操作應用等等。而每次看學長準備的,總是整理的井然有序,而且都是個人報告,借此發現跟以往的分組報告是完全不一樣的,從頭到尾都是自己製作,自己去了解自己所做的東西,並讓大家去快速了解你所了解的,這才是應用的精髓。
而在其他實務方面,第一項目就是學會如何撰寫爬蟲程式,由於程式大多都是用所撰寫,而我們前兩年在課程中並沒有接觸過,所以學長們一開始很細心的指導我們,並給予我們的工作,從最簡單的新聞網站開始寫起,而我們也大約花了一星期的時間完成,完成那一瞬間是相當有成就感的。我們大致會寫爬蟲程式後,就是一連串的程序,從選定主題、撈取資料、訂定議題、議題詞分類、過濾文章到最後做視覺化之呈現,這過程雖看似簡單,但是實際上對於初出茅廬的我,可並不是那麼的容易,每一項步驟都是要花時間去研究探討的。而每週都會與老師報告進度,途中有什麼問題,學長們也都會傾囊相助,雖然並不是每次都能達成目標進度,但是看著自己有在一點一滴的成長,我也逐漸在這環境中找到自信,對老師與學長的感謝之意,也不是三言兩語說的盡的。
這學期也即將進入尾聲,我並不後悔當初選擇邱老師,反而覺得在這實驗室讓我認識更多的人、學到了更多的東西、增長了更多的知識,這些我想並不是每個實驗室都能擁有的,曾經老師在課堂上說到,商業智慧實驗室的大家庭,就像美國的杉木群,一顆樹可能根基容易不穩定,但是如果大家是成群結隊的,那這根部都是緊緊串聯的,那不管遭遇什麼困難都不會倒下了,在這學期我有漸漸體悟到老師所說的,爾後我要好好珍惜這段實習的日子,雖然不輕鬆,但是收穫都是在自己身上,幾分耕耘,幾分收穫,大家共勉之。
最後,覺得自己在時間管理方面是需要做些加強的,雖然每次預定完成的進度可能稍微多了些,但是總是覺得效率並不是我所期望的,花的時間總是比別人來的長一些,也有可能自己總是容易分心且又在一些小地方吹毛求疵,不過還是覺得自己這點需要做些改善,期望近期內能有些許改善。
工作環境概述
我們的實驗室位於1507A,是為商業智慧實驗室,由邱昭彰教授所帶領的實驗團隊。除了碩、博士生還有在職專班學生外,實驗室也提供資管大三學生專業實習的機會,採學長學弟妹制,分層帶領與管理,是一個溫馨的大家庭。

公司代號:
ZE
實習單位:
邱昭彰 老師
輔導老師:
邱昭彰 老師
學生姓名:
羅心志
學生學號:
1031702
元智大學資訊管理學系
第二十二屆專業實習成果報告
研究主題:
華語流行音樂網路言論與分析
實習期間完成之進度
工作詳述
學習
自我評估與心得感想
相關技術有JAVA爬蟲程式撰寫、多執行緒概念、QlikView與QlikSense應用、ETL、SQL Server應用等等。此外,老師也有在大學部開大數據處理與分析技術課程,讓我們能更進一步的加速了解大數據相關知識與應用等等。
銜接教學
流行音樂議題之文字探勘
為主要專題之內容,透過網路上新聞討論聲量與音樂榜單資訊,去分析探討近年榜上各大歌手之變化,借以了解現今流行音樂的趨勢與預測市場。流程大致為下。
1.尋找並挑選出合適抓取資料之網站
↓
2.使用爬蟲程式到這些網站抓取有關各個歌手之新聞
↓
3.資料抓下來後進行資料過濾(萃取有用之資料)並訂定議題
↓
4.為建立議題詞庫,針對文章或評論,進行人工標記至相對應之議題詞庫
↓
5.利用TextRank演算法提取出關鍵字
↓
6.接著進行啟發式N-phrase規則之情緒分析
↓
7.最後將成果透過QlikView進行視覺化的呈現 。
利用最後的成果,我們可以大概了解目前的趨勢甚至預測未來市場趨勢。
藉由網路評論分析探討台灣流行音樂發展現況與未來趨勢,為老師交付我與另一個組員一起幫忙學姊進行各類資訊與資料蒐集等,並做資料彙整交與學姊。進度報告時間大約為每週五中午,報告內容為當前進度、討論目標定位、未來進度等。