首頁 > 精品范文 > 大數(shù)據(jù)解決方案
時間:2022-11-22 03:31:27
序論:寫作是一種深度的自我表達(dá)。它要求我們深入探索自己的思想和情感,挖掘那些隱藏在內(nèi)心深處的真相,好投稿為您帶來了七篇大數(shù)據(jù)解決方案范文,愿它們成為您寫作過程中的靈感催化劑,助力您的創(chuàng)作。
關(guān)鍵詞:大數(shù)據(jù);云計算;虛擬化
1認(rèn)識大數(shù)據(jù)
相信大家都還記得2013年5月10日淘寶十周年晚會上,阿里巴巴集團(tuán)董事局主席馬云在其卸任集團(tuán)CEO職位的演講中說到:“大家還沒搞清PC時代的時候,移動互聯(lián)網(wǎng)來了,還沒搞清移動互聯(lián)網(wǎng)的時候,大數(shù)據(jù)時代來了。”
什么是大數(shù)據(jù)?
早在1980年,當(dāng)時著名的未來學(xué)家阿爾文·托夫勒便在其著作《第三次浪潮》中熱情洋溢地將大數(shù)據(jù)贊頌為“第三次浪潮的華彩樂章”。不過直到時光抵達(dá)2009年,“大數(shù)據(jù)”才開始成為互聯(lián)網(wǎng)信息技術(shù)行業(yè)的流行詞匯。
環(huán)顧四周,我們都已經(jīng)切身感受到了當(dāng)今的信息量正在以前所未有的速度膨脹。當(dāng)我們的普通民眾在上世紀(jì)90年代剛剛接觸個人計算機(jī)的時候,1MB的磁盤,1GB的硬盤已經(jīng)是不錯的配置。然而現(xiàn)在呢?GB、TB都已經(jīng)無法滿足我們丈量數(shù)據(jù)大小的需要,PB、EB、ZB已經(jīng)義無反顧地承擔(dān)起了丈量數(shù)據(jù)的大任。
隨著互聯(lián)網(wǎng)自媒體的普及,每天都有數(shù)以億計的人在發(fā)微博、寫微信、更新個人主頁、使用社交網(wǎng)站、發(fā)表個人評論……全球互聯(lián)網(wǎng)上每天會有220萬TB的新數(shù)據(jù)產(chǎn)生,90%的數(shù)據(jù)都是在過去的24個月內(nèi)創(chuàng)造出來的,如今,這個比例還在不斷上升。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》中,他們對大數(shù)據(jù)的表述是:大數(shù)據(jù)(big data),或稱巨量資料,指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具,在合理時間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。他們對大數(shù)據(jù)的特性進(jìn)行了歸納,提出了4V特點(diǎn),即Volume(數(shù)據(jù)量大)、Velocity(要求實(shí)時性強(qiáng))、Variety(數(shù)據(jù)的種類多樣)、Value(數(shù)據(jù)是有價值的)。
而《互聯(lián)網(wǎng)周刊》則認(rèn)為“大數(shù)據(jù)”的概念遠(yuǎn)不止大量的數(shù)據(jù)和處理大量數(shù)據(jù)的技術(shù),或者所謂的“4V特點(diǎn)”之類的簡單概念。大數(shù)據(jù)是涵蓋了人們在大規(guī)模數(shù)據(jù)的基礎(chǔ)上所能做到的事務(wù),而這些事務(wù)在小規(guī)模數(shù)據(jù)的基礎(chǔ)上是無法實(shí)現(xiàn)的。換句話說,大數(shù)據(jù)讓我們能夠以一種前所未有的方式,通過對海量數(shù)據(jù)進(jìn)行分析,獲得具有巨大價值的產(chǎn)品和服務(wù),或者深刻的洞見,進(jìn)而最終形成變革世界的力量。
2大數(shù)據(jù)應(yīng)用的現(xiàn)狀分析
最早提出世界已經(jīng)迎來“大數(shù)據(jù)”時代的機(jī)構(gòu)則是全球知名的咨詢公司——麥肯錫。麥肯錫在其研究報告中指出:數(shù)據(jù)已經(jīng)滲透到每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域,逐漸成為重要的生產(chǎn)因素;而人們對于海量數(shù)據(jù)的運(yùn)用將預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來。
大家都或多或少地意識到應(yīng)該能從這些海量的數(shù)據(jù)中獲取些什么,然而究竟我們能獲取到什么呢?
一個被廣為傳播的典型案例是:在2012年初美國的一家Target超市,一位憤怒的父親突然闖進(jìn)來對店鋪經(jīng)理咆哮道:“你們竟然給我17歲的女兒發(fā)嬰兒尿片和童車的優(yōu)惠券,她才17歲啊!”經(jīng)理下意識地認(rèn)為是店里出了問題,也許是誤發(fā)了優(yōu)惠券,于是立即向這位父親道歉。然而經(jīng)理卻沒有意識到,其實(shí)這是公司正在運(yùn)行的一套大數(shù)據(jù)系統(tǒng)得出的分析結(jié)論。
Target會從其會員的購買記錄中去了解該顧客的性格、類別等一些列業(yè)務(wù)活動。上面的例子正是Target為適齡女性創(chuàng)建的一套懷孕期變化分析模型,如果相關(guān)客戶第一次購買了嬰兒用品,系統(tǒng)將會在接下去的幾年中根據(jù)嬰兒的生長周期向顧客推薦相關(guān)的產(chǎn)品,從而培養(yǎng)和提高客戶的忠誠度。
果然,一個月后,該名憤怒的父親打電話給商鋪道歉,因?yàn)門arget發(fā)來的嬰兒用品優(yōu)惠券不是誤會,他的女兒確實(shí)懷孕了。
利用數(shù)據(jù)挖掘用戶的行為習(xí)慣和喜好,在凌亂紛繁的數(shù)據(jù)背后發(fā)掘出更符合用戶興趣和習(xí)慣的信息、產(chǎn)品和服務(wù),并對這些目標(biāo)化的信息、產(chǎn)品和服務(wù)進(jìn)行針對性地調(diào)整和優(yōu)化,這便是大數(shù)據(jù)能帶給商家最誘人的價值之一。
隨著社交網(wǎng)絡(luò)在人們生產(chǎn)生活中地位的快速提升,大量UGC(User Generated Content用戶自生成的內(nèi)容)進(jìn)入互聯(lián)網(wǎng),上述價值的實(shí)現(xiàn)也變得越來越明顯。
事實(shí)上,全球IT業(yè)巨頭都已經(jīng)意識到數(shù)據(jù)的重要意義和“大數(shù)據(jù)”時代的到來。包括IBM、EMC、惠普、微軟在內(nèi)的全球知名跨國公司都陸續(xù)通過收購與“大數(shù)據(jù)”相關(guān)的廠商來實(shí)現(xiàn)技術(shù)整合。
目前典型的大數(shù)據(jù)應(yīng)用領(lǐng)域有:
商業(yè)智能。例如:用戶行為分析,即結(jié)合用戶資料、產(chǎn)品、服務(wù)、計費(fèi)、財務(wù)等信息進(jìn)行綜合分析,得出細(xì)致、精確的結(jié)果,實(shí)現(xiàn)對用戶個性化的策略控制,這在營銷網(wǎng)絡(luò)的流量經(jīng)營分析中占有越來越舉足輕重的地位。個性化推薦,即在各類增值業(yè)務(wù)中,根據(jù)用戶喜好推薦各類業(yè)務(wù)或應(yīng)用,這已成為運(yùn)營商和門戶提供商服務(wù)用戶的一個最有效方式之一,比如應(yīng)用商店的軟件推薦、IPTV視頻節(jié)目的點(diǎn)播推薦、購物或旅游網(wǎng)站的猜你喜歡等。
公共服務(wù)。一方面,公共機(jī)構(gòu)可以利用大數(shù)據(jù)技術(shù)把積累的海量歷史數(shù)據(jù)進(jìn)行挖掘利用,從而提供更為廣泛和深度的公共服務(wù),如實(shí)時路況和交通引導(dǎo);另一方面,公共機(jī)構(gòu)也可以通過對某些領(lǐng)域的大數(shù)據(jù)實(shí)時分析,提高危機(jī)的預(yù)判能力,如疾病預(yù)防、環(huán)境保護(hù)等,為實(shí)現(xiàn)更好、更科學(xué)的危機(jī)響應(yīng)提供技術(shù)基礎(chǔ)。
政府決策。通過對數(shù)據(jù)的挖掘,從而有效提高政府決策的科學(xué)性和時效性。例如:日本大地震發(fā)生后僅僅9分鐘,美國國家海洋和大氣管理局(NOAA)就了詳細(xì)的海嘯預(yù)警。并且隨即NOAA通過對海洋傳感器獲得的實(shí)時數(shù)據(jù)進(jìn)行了計算機(jī)模擬,制定出詳細(xì)的應(yīng)急方案,并將制作的海嘯影響模型實(shí)時在了YouTube等網(wǎng)站上。
3大數(shù)據(jù)解決方案的現(xiàn)狀分析
以往談及大的數(shù)據(jù)通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)。如今把“大數(shù)據(jù)”作為一個專有名詞提及,通常指的是解決問題的一種方法,即通過收集和整理生產(chǎn)生活中方方面面的數(shù)據(jù),然后對其進(jìn)行整理、挖掘、分析、處理,進(jìn)而從中獲得有用的價值信息。這種衍化出的新的商業(yè)模式即為通常意義上的大數(shù)據(jù)解決方案。
雖然通常意義上的大數(shù)據(jù)解決方案描述了一種通常的行為,但要實(shí)現(xiàn)這種通常的行為,往往會遇到諸多技術(shù)和硬件上的問題。一個顯而易見的問題就是:大數(shù)據(jù)包絡(luò)萬象,而且像音頻、文本信息、視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)正以突飛猛進(jìn)的速度增長,加上移動互聯(lián)網(wǎng)的普及所帶來的如位置、生活信息等富含價值的數(shù)據(jù),現(xiàn)有的,或者傳統(tǒng)的對數(shù)據(jù)的處理手段和硬件配置已越來越跟不上數(shù)據(jù)發(fā)展的步伐。
于是革命爆發(fā)了!
哈佛大學(xué)社會學(xué)教授加里·金就說道:“這是一場革命,龐大的數(shù)據(jù)資源使得各個領(lǐng)域開始了量化進(jìn)程,無論學(xué)術(shù)界、商界還是政府,所有領(lǐng)域都將開始這種進(jìn)程。”
數(shù)據(jù)需要存儲,存儲需要設(shè)備,存儲設(shè)備的容量和可擴(kuò)展性以及讀取的速度成為了一大問題(容量問題);大數(shù)據(jù)不是一日而成的,往往都需要一定周期的積累,在數(shù)據(jù)的積累過程中,以前的數(shù)據(jù)和現(xiàn)在的數(shù)據(jù)在存儲上應(yīng)該是能保持一致的,無論設(shè)備升級與否,而且這些數(shù)據(jù)要長期有效,這是一個持久的問題(積累問題);與持久相對應(yīng)的,互聯(lián)網(wǎng)是變化的、經(jīng)濟(jì)活動是變化的、整個世界都是變化的,針對某些實(shí)時問題,如交易、金融等,用已經(jīng)過去的數(shù)據(jù)顯然是不合適的,這也是一大問題(延遲問題);大數(shù)據(jù)包絡(luò)萬象,有些是可以隨意獲得、和消除的,有些,如金融數(shù)據(jù)、醫(yī)療信息、政府情報等,則是需要按不同級別進(jìn)行保護(hù)和加密的,特別是在需要交叉數(shù)據(jù)參考的應(yīng)用中,不同部分的數(shù)據(jù)有著不同的安全需要,這又是一大問題(安全問題);為了滿足上述問題,我們顯然可以通過不斷加大投入,購買更多的存儲設(shè)備、雇傭跟多的工作人員、建設(shè)更多的數(shù)據(jù)中心和分析中心,但這一切都是由成本的,特別是對于以盈利為目的的商業(yè)機(jī)構(gòu)而言,成本和收益永遠(yuǎn)都是最優(yōu)先考慮的問題之一(成本問題);當(dāng)然還有很多其他的問題,這里就不一一羅列了。
驅(qū)動商業(yè)機(jī)構(gòu)解決上述問題的動力肯定是商業(yè)利益。以全球知名的IT制造與服務(wù)和咨詢提供商IBM為例,其全球CEO調(diào)研顯示,唯有在數(shù)據(jù)獲取、將數(shù)據(jù)轉(zhuǎn)換為洞察力、再將洞察力轉(zhuǎn)化為行動力等方面表現(xiàn)優(yōu)秀的企業(yè),才能有持續(xù)的績效表現(xiàn)。績效突出者從海量數(shù)據(jù)中挖掘出有價信息的能力是績效不佳者的2倍。
IBM認(rèn)為由于當(dāng)今企業(yè)、市場、社會、政府之間的聯(lián)系變得越來越緊密,傳統(tǒng)的數(shù)據(jù)分析正日益呈現(xiàn)出“大數(shù)據(jù)”時代的新特點(diǎn),即容量要求更高、速度要求更快、數(shù)據(jù)類型多樣和數(shù)據(jù)來源復(fù)雜4個方面。結(jié)合多家領(lǐng)先市場咨詢機(jī)構(gòu)的調(diào)研數(shù)據(jù)顯示:
2010-2015年,“大數(shù)據(jù)”市場年均符合增長率為39.4%,將是整個信息與通信技術(shù)市場增速的7倍;管理及維護(hù)數(shù)據(jù)的成本將是購買存儲設(shè)備所需成本的4倍;全球數(shù)據(jù)量的年均復(fù)合增長速度為59%;未來需要分析的信息源中,混合類型數(shù)據(jù)所占比重將高達(dá)85%;數(shù)據(jù)分析直接受到服務(wù)器性能制約的數(shù)據(jù)量將占到總體的87%;僅2012年一年,服務(wù)器在整體“大數(shù)據(jù)”市場投資中就將占去14%的比重。
這就意味著傳統(tǒng)計算的低效正在為企業(yè)發(fā)展帶來阻礙,企業(yè)感到當(dāng)前的IT系統(tǒng)變得更加復(fù)雜且難以管理。數(shù)據(jù)顯示:企業(yè)用于運(yùn)營和維護(hù)IT系統(tǒng)的費(fèi)用已經(jīng)超過整體預(yù)算的70%,并且這一比例仍在持續(xù)增長;企業(yè)有三分之二的IT項目及解決方案部署超出了原定計劃;IT架構(gòu)的復(fù)雜度將以當(dāng)前速度每兩年就增加一倍。
于是出乎絕大多數(shù)人意料的事情發(fā)生了:IT部門,這個曾經(jīng)作為企業(yè)現(xiàn)代化和創(chuàng)新化能力標(biāo)志的部門,正越來越成為企業(yè)新創(chuàng)新的阻力而非動力。
怎么辦?
很多人立即想到了另外一個熱詞:“云計算”。
IBM全球高級副總裁Rod Adkins認(rèn)為,當(dāng)前全球IT領(lǐng)域有了令人振奮的發(fā)展趨勢和挑戰(zhàn),現(xiàn)在每天有大量數(shù)據(jù)和信息生成,這為大數(shù)據(jù)分析提供了機(jī)會;數(shù)據(jù)中心的挑戰(zhàn)也為IT提供了新機(jī)會,比如云計算,能降低數(shù)據(jù)中心成本。
EMC資深產(chǎn)品經(jīng)理李君鵬認(rèn)為,大數(shù)據(jù)本身就是一個問題集,云技術(shù)是目前解決大數(shù)據(jù)問題集最重要有效的手段。云計算提供了基礎(chǔ)架構(gòu)平臺,大數(shù)據(jù)應(yīng)用在這個平臺上運(yùn)行。目前公認(rèn)處理大數(shù)據(jù)集最有效手段的分布式處理,也是云計算思想的一種具體體現(xiàn)。Teradata技術(shù)總監(jiān)Stephen Brobst則表示,公有云架構(gòu)對數(shù)據(jù)倉庫沒有影響,因?yàn)槠髽I(yè)的CIO不會無緣無故把財務(wù)數(shù)據(jù)或者客戶數(shù)據(jù)放到云上,那樣很危險。然而,是私有云架構(gòu)確實(shí)有影響:第一,通過私有云,可以鞏固數(shù)據(jù)集市,減少利用率不足的問題;第二,可以通過靈敏的方式將數(shù)據(jù)集成,實(shí)現(xiàn)業(yè)務(wù)價值。
于是有人就此理解為:大數(shù)據(jù)的最佳解決方案是采用云計算和分布式處理,利用互聯(lián)網(wǎng)將運(yùn)算能力、存儲能力都做分布式的處理,認(rèn)為這樣做就可以最大程度上地降低成本、增加擴(kuò)展性和靈活性。
然而事實(shí)真的如此嗎?
讓我們來分析一下最近IBM公司在國內(nèi)針對百萬人口的城市級信息中心制定的解決方案:
面對數(shù)量龐大且增長迅速的各類交通信息:120萬輛機(jī)動車電子卡、4萬輛機(jī)動車的實(shí)時GPS定位、200萬筆公交IC卡數(shù)據(jù)、518個高清卡口的113億張圖片等,該市信息中心的領(lǐng)導(dǎo)意識到,當(dāng)前多個項目能源消耗大、占地要求非常高、并且原有的網(wǎng)絡(luò)設(shè)備難以滿足新增的需求,網(wǎng)絡(luò)設(shè)備經(jīng)常更換,并且這些相互獨(dú)立的數(shù)據(jù)庫、服務(wù)器和存儲,以及不同的訪問權(quán)限和沒有統(tǒng)一的管理界面,讓本就壓力巨大的數(shù)據(jù)中心的效率大打折扣,同時也極大浪費(fèi)了寶貴的人力、能源和其他各種資源。
IBM給出的解決方案是:
首先,在基礎(chǔ)平臺上摒棄了分布式的服務(wù)器架構(gòu),而是采用大型服務(wù)器在基礎(chǔ)架構(gòu)上對處理能力、I/O吞吐和主存儲進(jìn)行了整合,這樣做的最大亮點(diǎn)是,將原有成百計的分布式服務(wù)器整合到了個位數(shù),極大地節(jié)省了空間和能源,做到綠色環(huán)保;因?yàn)椴挥每紤]各分布式服務(wù)器之間的互通互聯(lián)和各服務(wù)器之間的狀態(tài)及負(fù)載均衡與調(diào)配,節(jié)省了相當(dāng)數(shù)量的管理人員;另外大型服務(wù)器自身端到端的管理功能和適用于異構(gòu)工作負(fù)載且基于策略的框架,有效幫助信息中心實(shí)現(xiàn)中心控制,實(shí)現(xiàn)極高的性能。
其次,在整合的基礎(chǔ)平臺之上,采用“云計算”框架虛擬化設(shè)計,實(shí)現(xiàn)了智能交通和政務(wù)網(wǎng)站的整合。這一方案讓用戶在使用上可以享受與分布式架構(gòu)相同甚至更加優(yōu)越的性能。由基礎(chǔ)平臺通過虛擬化形成的任意數(shù)量的虛機(jī),在統(tǒng)一云管理軟件URM的配置下,能夠提供統(tǒng)一的管理視圖和管理機(jī)制,簡化在多套異構(gòu)業(yè)務(wù)系統(tǒng)環(huán)境下系統(tǒng)的運(yùn)營和維護(hù)工作。
而在本方案中的存儲部分則采用了運(yùn)行穩(wěn)定、性能領(lǐng)先、技術(shù)成熟的SAN網(wǎng)絡(luò)架構(gòu),具有很好的穩(wěn)定性,能為前端各應(yīng)用提供可靠的數(shù)據(jù)存儲平臺,并且整個SAN網(wǎng)絡(luò)中的部件都配置了雙冗余組件,保證任一部件的損壞不會影響整個系統(tǒng)的運(yùn)行,而關(guān)鍵數(shù)據(jù)庫的數(shù)據(jù)都通過合理的備份策略,定期備份在了物理磁帶上,保證關(guān)鍵數(shù)據(jù)的絕對安全。
總結(jié)下來,整合的基礎(chǔ)平臺,“云計算”框架的虛擬化設(shè)計,和定制化的高速存儲,打造出了最穩(wěn)定、最可靠、最安全、最綠色的運(yùn)行環(huán)境,讓政府的大數(shù)據(jù)應(yīng)用完美落地。
可見,大數(shù)據(jù)的解決方案不同于純粹云計算的解決方案,雖然云計算帶來了看上去更便宜的處理能力和存儲能力,但對于往往都有相當(dāng)數(shù)量級規(guī)模的大數(shù)據(jù)應(yīng)用而言,在基礎(chǔ)架構(gòu)上巧妙地整合和部分的集中,反而能更好地解決安全性、可靠性、穩(wěn)定性和綠色環(huán)保的需要。
4結(jié)束語
大數(shù)據(jù)時代科技與科學(xué)教育面臨著諸多的問題
首先,科學(xué)出現(xiàn)了新的形態(tài)。現(xiàn)代科學(xué)之父伽利略是個里程碑式的人物,正是伽利略明確地將實(shí)物實(shí)驗(yàn)和數(shù)學(xué)推理方法引入到了科學(xué)研究之中,科學(xué)才得以系統(tǒng)而迅速地發(fā)展。從那時起,科學(xué)家們開始以實(shí)物實(shí)驗(yàn)和數(shù)學(xué)推理的方式認(rèn)識自然世界,科學(xué)因此形成了兩種形態(tài),其一是實(shí)物實(shí)驗(yàn)形態(tài),其二是數(shù)學(xué)推理形態(tài)。隨著科學(xué)發(fā)展到今天的大數(shù)據(jù)時代,一些科學(xué)家和工程師離不開借助計算機(jī)手段研究事物,科學(xué)出現(xiàn)了基于計算機(jī)的第三種形態(tài)——計算形態(tài)。各個學(xué)科的邊界變得模糊,科學(xué)研究的范式有了新的變化。以前學(xué)科分化越來越精細(xì),但是科學(xué)發(fā)展到今天,信息科學(xué)、納米技術(shù)、生物科學(xué)和生命科學(xué)、認(rèn)知和神經(jīng)科學(xué)被公認(rèn)為最具革命性的學(xué)科領(lǐng)域,這四種科技的整合,將對人類社會產(chǎn)生深刻的影響,并可能再次改變我們?nèi)祟惖奈锓N。學(xué)科在高度分化的基礎(chǔ)之上開始走向?qū)W科之間的滲透和融合,特別是開始走向自然與人的融合。基于計算機(jī)的整合是當(dāng)今科學(xué)發(fā)展與突破的必由之路。但是如何整合卻是仁者見仁智者見智之事。
其次,技術(shù)的高速發(fā)展帶來了日益嚴(yán)重的社會問題。比如生命科學(xué)中的克隆技術(shù)直接挑戰(zhàn)人類社會傳統(tǒng)的倫理問題;對于自然界的無節(jié)制索取,帶來了日益嚴(yán)重的能源危機(jī)和生態(tài)環(huán)境惡化危機(jī)等。此外,物質(zhì)生活的豐富與網(wǎng)絡(luò)的言論自由帶來了日益高漲的民主與平等的社會訴求。這些問題可能直接源自高速發(fā)展的科技,以致于我們的精神與理解出現(xiàn)相對滯后。諸多危機(jī)與問題要得到根治,除了需要加快人類智慧文明發(fā)展,還需要科技與科學(xué)教育的進(jìn)一步高度發(fā)展,此所謂解鈴還須系鈴人。科學(xué)史上,科學(xué)家們?yōu)槿祟惙e累了豐富的化解人類危機(jī)的智慧與知識。
最后,一方面“科教興國”得到普遍共識,人們開始懂得在科學(xué)教育之信息化方面投入大量的人力和物力;另一方面人們對技術(shù)的發(fā)展給生存環(huán)境構(gòu)成影響認(rèn)識不足,主要表現(xiàn)在看不到現(xiàn)代教育技術(shù)的革命性影響潛力,或者在現(xiàn)代教育技術(shù)面前感到茫然。這種狀況除了造成設(shè)備因?yàn)殚e置而帶來的嚴(yán)重浪費(fèi)現(xiàn)象之外,還限制了我們破解當(dāng)今科技與科學(xué)教育難題的思考與方法。
為了解決諸多危機(jī)與沖突,需要探討各種可行而有效的解決方案。通過分析大數(shù)據(jù)時代的科學(xué)教育的現(xiàn)狀不難發(fā)現(xiàn),如果只是從局部進(jìn)行個別改動,問題難以有效地得到解決,當(dāng)今的科學(xué)教育問題要想從根本上得以解決,必須運(yùn)用系統(tǒng)觀念,從整體上改變或者構(gòu)建科學(xué)教育體系,換句話講,需要從整合的角度才能提出可行的解決方案。
數(shù)字科學(xué)家計劃
針對大數(shù)據(jù)時代人類面臨的諸多危機(jī),人們提出了一些對策與良方,其中影響最大的是國際21世紀(jì)教育委員會在向聯(lián)合國教科文組織(UNIESCO)提出的21世紀(jì)教育的四大支柱策略:(1)學(xué)會認(rèn)知(Learning to know):培養(yǎng)學(xué)生學(xué)會運(yùn)用認(rèn)知工具求知,學(xué)會發(fā)現(xiàn)問題,學(xué)會探究知識,學(xué)會構(gòu)建知識。即培養(yǎng)學(xué)生認(rèn)知方法,引導(dǎo)學(xué)生通過發(fā)現(xiàn)、探究和意義構(gòu)建的途徑獲取知識,培養(yǎng)學(xué)生的繼續(xù)學(xué)習(xí)能力。(2)學(xué)會做事(Learning to do) :既要學(xué)會實(shí)踐,也要學(xué)會創(chuàng)造。重視建造可供學(xué)生參與的環(huán)境,激發(fā)學(xué)生興趣,使學(xué)習(xí)者通過環(huán)境的交互作用,通過實(shí)踐,通過做事獲得知識和能力。(3)學(xué)會合作(Learning to together) :要培養(yǎng)學(xué)生學(xué)會與他人共同生活,就要學(xué)會合作生活,合作學(xué)習(xí),從過去的集中教學(xué)方式到個別學(xué)習(xí)方式,到現(xiàn)在提倡的協(xié)作學(xué)習(xí)。(4)學(xué)會生存(Learning to be) :學(xué)會生活、學(xué)會做人、學(xué)會自身的發(fā)展。既要傳授知識,還要注重能力和高尚情操的培養(yǎng)。
在科學(xué)教育領(lǐng)域之中形成了一種強(qiáng)調(diào)親自動手學(xué)習(xí)科學(xué)的潮流。在美國、法國、英國、加拿大等國的國家科學(xué)課程改革方案中,科學(xué)探究被列為課程目標(biāo)和課程體系的關(guān)鍵而基本的要素。“學(xué)習(xí)必須是主動的”已成為國際上基本的教育理念。其中影響較大的有“做中學(xué)”、“Hands-on”(動手做)、“Minds-on”(動腦做)、“STEM”(科學(xué)、技術(shù)、工程、數(shù)學(xué))等科學(xué)教育實(shí)踐。這些科學(xué)教育實(shí)踐旨在使學(xué)生以科學(xué)的方法學(xué)習(xí)知識,強(qiáng)調(diào)學(xué)習(xí)方法、思維方法、學(xué)習(xí)態(tài)度的培養(yǎng)。
這些先進(jìn)的科學(xué)教育理念與實(shí)踐推動了科學(xué)教育的創(chuàng)新與實(shí)踐。但是實(shí)踐表明,一個好的理念要想轉(zhuǎn)化為教學(xué)行為,往往需要一個較長時期的培訓(xùn)與轉(zhuǎn)化過程,這個過程是艱難的,特別是對于教師和學(xué)生需要具有一定的專業(yè)理解能力。能否綜合上述先進(jìn)的科學(xué)教育理念,提出一種直觀、易懂而且有效的科學(xué)教育模式的推廣方案呢?數(shù)字科學(xué)家計劃(E-Scientist Project, ESP)給出了一種大數(shù)據(jù)時代下科學(xué)教育模式的推廣方案。
所謂數(shù)字科學(xué)家計劃,就是一種大數(shù)據(jù)環(huán)境下以提高每一位學(xué)生科學(xué)素養(yǎng)水平為宗旨,以探究式教學(xué)為鮮明特征,以科學(xué)思想、科學(xué)方法和數(shù)據(jù)挖掘方法為核心,播種未來科學(xué)家種子的教學(xué)模式的推廣方案。
數(shù)字科學(xué)家計劃主要有兩方面特征,其一,數(shù)字科學(xué)家是一種科學(xué)教育模式符號,以“科學(xué)家”符號將抽象的科學(xué)教育理念人物化和直觀化,即準(zhǔn)確地表述了現(xiàn)代的科學(xué)教育理念,也便于師生理解與實(shí)施。榜樣的力量是無窮的,雖然科學(xué)不能解決人類所有的問題,但是科學(xué)家們?yōu)槲覀兎e累的知識、思想、方法、科學(xué)精神在過去和將來都是破解社會難題的重要途徑;其二,強(qiáng)調(diào)發(fā)揮大數(shù)據(jù)環(huán)境下第三種科學(xué)形態(tài)的育人功能,這是當(dāng)今科技與科學(xué)教育創(chuàng)新的重要切入點(diǎn)。
數(shù)字科學(xué)家的教學(xué)模式是在WebQuest(基于網(wǎng)絡(luò)的主題探究)模式的基礎(chǔ)上改造而成的。主要有以下五個模塊:(1)核心問題:WebQuest的核心是設(shè)置一個開放性的問題。這個問題設(shè)定了WebQuest的清晰目標(biāo),鼓勵學(xué)生回顧原先掌握的知識,激發(fā)學(xué)習(xí)者進(jìn)一步探索的動機(jī)。(2)任務(wù)指南:提供一個“腳手架”,引導(dǎo)學(xué)生設(shè)計、經(jīng)歷和體驗(yàn)專家的思維過程。“腳手架”將令人望而生畏的探究項目打碎成若干個片段,引導(dǎo)學(xué)生研究較為復(fù)雜的科學(xué)問題。(3)海量資源:創(chuàng)建一些到其他互聯(lián)網(wǎng)站點(diǎn)的鏈接來共享網(wǎng)絡(luò)資源。通過運(yùn)用多樣化的互聯(lián)網(wǎng)資源,可以為不同學(xué)習(xí)水平或不同學(xué)習(xí)方式的學(xué)生提供信息資源。(4)實(shí)施“做中學(xué)”:要提供高層次的思維指南,體現(xiàn)“做中學(xué)”的教學(xué)理念,保證動腦和動手的教學(xué)方式落到實(shí)處。(5)交流與評價:WebQuest一般用量規(guī)提供了自我評估的標(biāo)準(zhǔn),提示學(xué)生已經(jīng)學(xué)到了什么,并鼓勵把這種探究的經(jīng)驗(yàn)擴(kuò)展到其他領(lǐng)域。評價人員可以是教師,也可以是家長和同學(xué)。
數(shù)字科學(xué)家計劃產(chǎn)生于筆者主持的北京市教育科學(xué)“十一五”規(guī)劃課題《數(shù)字科學(xué)家計劃:基于數(shù)據(jù)探究理論的物理選修課程建設(shè)與研究》(2010年立項),已經(jīng)在北京景山學(xué)校、北京一零一中學(xué)、北京師范大學(xué)亞太實(shí)驗(yàn)學(xué)校等學(xué)校展開實(shí)驗(yàn)。該項目在課題階段探討了校本特色選修課程的建設(shè),但是隨著課題研究的深入開展,數(shù)字科學(xué)家計劃已經(jīng)不再局限于校本選修課程,開始運(yùn)用到正規(guī)的物理課堂教學(xué);也不僅局限在物理學(xué)科教學(xué),已經(jīng)開始運(yùn)用到小學(xué)高年級的科學(xué)課程與教學(xué);還不僅局限在學(xué)校科學(xué)教學(xué),已經(jīng)開始運(yùn)用于北京市東城區(qū)青少年科技館的科普性質(zhì)科學(xué)課程,并配合教學(xué),于2013年11月成功地舉辦了北京市東城區(qū)“數(shù)碼探科學(xué)”大賽。大賽令人耳目一新,引起了學(xué)者和教師的廣泛關(guān)注。著名教育家顧明遠(yuǎn)先生在頒獎會上講到,這次大賽讓人們看到了大數(shù)據(jù)環(huán)境下的教學(xué)實(shí)踐,學(xué)生們在數(shù)碼探究中有模有樣,學(xué)到了科學(xué)思想、科學(xué)方法,體驗(yàn)到了數(shù)碼探究的樂趣。
經(jīng)過三年的探索與實(shí)踐,數(shù)字科學(xué)家計劃已經(jīng)從課題研究轉(zhuǎn)向項目推廣的初期階段。初步建設(shè)了數(shù)字科學(xué)家網(wǎng)站,形成了一種大數(shù)據(jù)環(huán)境下的科學(xué)教育模式,也形成數(shù)字科學(xué)家課程的教師培訓(xùn)經(jīng)驗(yàn),還形成低、中、高端數(shù)字環(huán)境裝備下課程實(shí)施經(jīng)驗(yàn),已經(jīng)具備了在更大范圍試驗(yàn)與推廣的條件。
數(shù)據(jù)探究理論——數(shù)字科學(xué)家計劃的基石
探討破解大數(shù)據(jù)時代的科學(xué)教育難題的途徑涉及大而復(fù)雜的社會問題,僅憑經(jīng)驗(yàn)而沒有理論的指導(dǎo)是難以理解與完成的。但是數(shù)字科學(xué)家計劃已經(jīng)形成了一些基本的概念與教學(xué)原理。這些基本概念與教學(xué)原理構(gòu)成了所謂的數(shù)據(jù)探究理論。數(shù)據(jù)探究理論是數(shù)字科學(xué)家計劃的基石。
信息(Information)是數(shù)據(jù)探究理論的邏輯起點(diǎn)。何謂信息?這是一個復(fù)雜而神奇的概念,學(xué)者們有著不同的見解,美國數(shù)學(xué)家和控制論創(chuàng)始者維納不得已這樣定義信息:信息就是信息,既非物質(zhì),也非能量。筆者考慮到人的因素,對信息進(jìn)行了如下的定義:信息既不是物質(zhì),也不是能量,而是物質(zhì)的波-粒二像性與人相互作用的存在形式。
數(shù)據(jù)(Data)是數(shù)據(jù)探究理論的另一個重要概念。數(shù)據(jù)是載荷或記錄信息而留下的明確印跡。數(shù)據(jù)可以是數(shù)字、文字、圖像、錄像,也可以是計算機(jī)代碼等。對數(shù)據(jù)背景的解讀是獲取意義的一種途徑。數(shù)據(jù)背景是接收者針對特定數(shù)據(jù)的意義準(zhǔn)備,即當(dāng)接收者了解數(shù)據(jù)序列的規(guī)律,并知道每個數(shù)據(jù)或數(shù)據(jù)組合的指向性目標(biāo)和含義時,便可以獲得數(shù)據(jù)所載荷的意義。觀察數(shù)據(jù)或者數(shù)據(jù)挖掘就是對數(shù)據(jù)背景的解讀過程。數(shù)字科學(xué)家計劃的核心環(huán)節(jié)在于信息觀測、數(shù)據(jù)挖掘和數(shù)據(jù)價值與交流。
探究式教學(xué)是一種以科學(xué)探究為基本特征的教學(xué)模式,其實(shí)質(zhì)是引導(dǎo)學(xué)生通過類似科學(xué)家的探索過程理解科學(xué)概念和科學(xué)本質(zhì)。依據(jù)科學(xué)的三種形態(tài),將探究式教學(xué)分成實(shí)物實(shí)驗(yàn)探究、數(shù)學(xué)推理探究和數(shù)據(jù)探究。所謂數(shù)據(jù)探究是一種基于計算機(jī)的探究式教學(xué),是提高學(xué)生數(shù)據(jù)素養(yǎng)水平的必要途徑。數(shù)據(jù)探究與其說是一種適應(yīng)大數(shù)據(jù)時代的手段和途徑,不如說是大數(shù)據(jù)時代的一種生活理念和生活態(tài)度。
數(shù)據(jù)探究在教師觀、學(xué)生觀、學(xué)習(xí)觀和評價觀上均具有新的內(nèi)涵。簡單介紹如下:(1)教師是數(shù)據(jù)探究的促進(jìn)者與合作者。(2)學(xué)生是具有創(chuàng)造能力的學(xué)習(xí)主體。數(shù)據(jù)探究應(yīng)該把學(xué)生置于一個有社會意義的團(tuán)體中,培養(yǎng)“共生性”與“交互性”,體驗(yàn)創(chuàng)造的意義和價值。還應(yīng)該體現(xiàn)STS教育,強(qiáng)調(diào)人對自然、社會、人生的責(zé)任和義務(wù)。(3)數(shù)據(jù)探究是一個建構(gòu)的、社會化的綜合體驗(yàn)過程。學(xué)習(xí)者總是依據(jù)已有經(jīng)驗(yàn)、心理結(jié)構(gòu)和信念來選擇一些信息或者數(shù)據(jù),從中經(jīng)過數(shù)據(jù)挖掘得到推論,并根據(jù)推論來構(gòu)建關(guān)于世界的認(rèn)識。(4)評價是開放、多元的反饋過程。數(shù)據(jù)探究評價認(rèn)為學(xué)習(xí)是一種建構(gòu)獨(dú)特意義的過程,注重對于探究過程的評價,關(guān)注評價的開放性與多元性。
總之,數(shù)字科學(xué)家計劃在理論與實(shí)踐上為我們提供了一種大數(shù)據(jù)時代科學(xué)教育整合的解決方案。
11月25日,國內(nèi)領(lǐng)先的軟件基礎(chǔ)平臺與解決方案提供商普元信息技術(shù)股份有限公司在北京隆重召開了普元政務(wù)大數(shù)據(jù)解決方案會。在此次會上,普元還推出了《共享、開放、融合政務(wù)大數(shù)據(jù)平臺最佳實(shí)踐》這一普元政務(wù)領(lǐng)域大數(shù)據(jù)平臺解決方案白皮書,將實(shí)踐提升到方法論層面,用“三級規(guī)劃、五層能力”助力政府在國家戰(zhàn)略下搭建政務(wù)大數(shù)據(jù)生態(tài),推進(jìn)政務(wù)大數(shù)據(jù)開啟“共享、開放、融合”時代。
普元此次的政務(wù)大數(shù)據(jù)解決方案,涵蓋“三級規(guī)劃、五層能力”,能夠有效幫助政府客戶全面掌控與運(yùn)營政務(wù)大數(shù)據(jù)。普元政企事業(yè)部副總經(jīng)理王克強(qiáng)在演講中提到,按照政務(wù)大數(shù)據(jù)現(xiàn)狀及發(fā)展趨勢,“三級規(guī)劃”即按步調(diào)實(shí)現(xiàn)政務(wù)大數(shù)據(jù)平臺的共享共用、開放服務(wù)、融合應(yīng)用大階段建設(shè)。在共享共用階段,建立并完善數(shù)據(jù)標(biāo)準(zhǔn),梳理并搭建共享主題庫,依據(jù)標(biāo)準(zhǔn)實(shí)施數(shù)據(jù)集成,建立動態(tài)信息資源目錄,實(shí)現(xiàn)先主后次、先易后難的政務(wù)數(shù)據(jù)共享體系建設(shè)落地;在開放服務(wù)階段,支撐數(shù)據(jù)服務(wù)集成管理,建立政務(wù)數(shù)據(jù)開放平臺,實(shí)現(xiàn)自主可控、逐項開放的政務(wù)數(shù)據(jù)開放生態(tài)構(gòu)建;在融合應(yīng)用階段,提供全端數(shù)據(jù)可視化,建立實(shí)時響應(yīng)機(jī)制,建設(shè)智慧生態(tài)政府,實(shí)現(xiàn)精準(zhǔn)集約、動態(tài)敏捷的應(yīng)用融合形態(tài)。
那么,如何達(dá)成上述三個階段的發(fā)展目標(biāo)呢?普元大數(shù)據(jù)產(chǎn)品線總經(jīng)理王軒如此說道,圍繞業(yè)務(wù)、技術(shù)和管理策略,政府大數(shù)據(jù)的落地需要存儲、質(zhì)量、共享、開放、應(yīng)用五層實(shí)施能力提供支撐。這五層能力具體是指存儲處理是根基,數(shù)據(jù)質(zhì)量是底線,共享共用是關(guān)鍵,數(shù)據(jù)開放是趨勢,融合應(yīng)用是目標(biāo)。通過這五大核心能力,可以充分挖掘數(shù)據(jù)價值,提升政府大數(shù)據(jù)技術(shù)服務(wù)能力,促進(jìn)大數(shù)據(jù)與各行業(yè)應(yīng)用的深度融合,以應(yīng)用帶動大數(shù)據(jù)技術(shù)和產(chǎn)品研發(fā),從而形成成熟的大數(shù)據(jù)解決方案。
在產(chǎn)品支撐體系上,普元圍繞五大核心能力,提供包括存儲與處理、大數(shù)據(jù)集成、大數(shù)據(jù)治理、大數(shù)據(jù)運(yùn)營和大數(shù)據(jù)應(yīng)用五部分內(nèi)容的一系列政務(wù)大數(shù)據(jù)平臺,為政府客戶提供最為有利的技術(shù)支撐。目前,普元擁有政府、金融和電信等多行業(yè)數(shù)據(jù)治理經(jīng)驗(yàn),能夠長期為政府客戶提供專業(yè)產(chǎn)品和服務(wù),協(xié)助政務(wù)大數(shù)據(jù)可視化應(yīng)用創(chuàng)新。
普元CTO焦烈焱進(jìn)一步表示,普元成熟的解決方案,不僅能夠在政務(wù)大數(shù)據(jù)領(lǐng)域全方位滿足政府用戶的深層需求,提供安全可靠、共享開放融合的政務(wù)大數(shù)據(jù)解決方案,還能夠提供SOA、大數(shù)據(jù)、云計算三大系列產(chǎn)品以及相關(guān)的一站式解決方案。這個全面、高度集成的軟件平臺體系,可以為客戶IT管理提供堅實(shí)支撐,幫助客戶采用大平臺、微應(yīng)用模式建設(shè)新一代IT架構(gòu),實(shí)現(xiàn)“互聯(lián)網(wǎng)+”時代的業(yè)務(wù)轉(zhuǎn)型,提高核心競爭力。
數(shù)據(jù)的變化,從來不是一個循序漸進(jìn)的過程。隨著信息的砰然爆發(fā),誰能合理地分析、管理、挖掘海量數(shù)據(jù)的內(nèi)在價值,誰就有可能成為下一個行業(yè)巨頭。無論從應(yīng)用、需求還是解決方案層面,大數(shù)據(jù)都已經(jīng)到了“應(yīng)時而生”的時代。
“可以說,這是一場數(shù)據(jù)的‘工業(yè)革命’,數(shù)據(jù)迎來了量與質(zhì)的改變,非結(jié)構(gòu)性數(shù)據(jù)激增,計量單位已從T級升至P級,甚至是E級。”英特爾亞太研發(fā)有限公司總經(jīng)理何京翔在接受本刊記者采訪時稱,“目前這些數(shù)據(jù)大部分是‘冷數(shù)據(jù)’,即采集完成后并沒有進(jìn)行實(shí)時分析,沒有挖掘其潛在價值。”
包裝的藝術(shù)
大數(shù)據(jù)涉及數(shù)據(jù)采集(存儲)、數(shù)據(jù)傳輸(網(wǎng)絡(luò))、數(shù)據(jù)處理(計算),而這些恰恰都是英特爾的專長。“Intel Distribution for Hadoop是對傳統(tǒng)英特爾平臺的優(yōu)化,然而,對Hadoop(目前最受歡迎的對網(wǎng)絡(luò)搜索關(guān)鍵詞進(jìn)行內(nèi)容分類的工具)進(jìn)行逐一模塊式的優(yōu)化仍然是零散的,需要形成整體的、打包式的解決方案,這就進(jìn)一步涉及管理。”何京翔解釋,“目前僅Hadoop涵蓋的20個模塊是開源的,僅將開源軟件定為企業(yè)級應(yīng)用,其穩(wěn)定性、可靠性、可維護(hù)性都成問題。因此,如何把零散的模塊包裝起來,形成整體效益,才是英特爾的‘絕活’,換句話說,Hadoop管理才是讓‘1+1>2’的核心。”
何京翔表示,英特爾正在利用不同級別的處理器架構(gòu)、不同的數(shù)據(jù)應(yīng)用架構(gòu),以及相關(guān)的解決方案,幫助用戶從端到端找到完整的解決辦法。綜合解決方案,意味著從芯片到存儲,再到網(wǎng)絡(luò),最后到軟件應(yīng)用,形成鏈型優(yōu)化,其直接效果就是原先4小時的處理時間能夠被壓縮至7分鐘。
英特爾的綜合解決方案并非一站式服務(wù),這符合英特爾一貫主推的橫向商業(yè)模式(Horizontal Model)。何京翔稱:“英特爾大數(shù)據(jù)解決方案的客戶都是我們的合作伙伴,我們認(rèn)為,為不同客戶提供不同層次的、靈活、強(qiáng)大和開放式的解決方案,方能真正為企業(yè)預(yù)留出創(chuàng)造價值和發(fā)揮優(yōu)勢的空間,幫助企業(yè)解決實(shí)際難點(diǎn)。”
群狼與雄獅
目前,英特爾大數(shù)據(jù)技術(shù)主要應(yīng)用于四大領(lǐng)域:電信、金融、智能交通和醫(yī)療。
以電信行業(yè)為例,中國用戶群龐大,自動產(chǎn)生的數(shù)據(jù)量大,數(shù)據(jù)分析是個很現(xiàn)實(shí)的問題。“電信公司的客戶通訊數(shù)據(jù)產(chǎn)生的時候是結(jié)構(gòu)化數(shù)據(jù),但是數(shù)量太龐大,傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)分析方式做起來比較吃力,所以現(xiàn)在我們先把它轉(zhuǎn)成非結(jié)構(gòu)化的,輸入Hadoop,通過分布式處理,生成并存任務(wù),然后再將結(jié)果寫回結(jié)構(gòu)化數(shù)據(jù),最后我們合作伙伴看到的還是結(jié)構(gòu)化的分析數(shù)據(jù)。”何京翔比喻說,“這是一個典型的‘一頭雄獅子斗不過一群狼’的例子。”
提出“五級”轉(zhuǎn)型戰(zhàn)略
盡管當(dāng)前很多企業(yè)都在積極采用大數(shù)據(jù)分析技術(shù)和解決方案來變革業(yè)務(wù)模式,提升企業(yè)的核心競爭力,但是很多企業(yè)都對自身的大數(shù)據(jù)項目并不滿意。全球領(lǐng)先的基準(zhǔn)研究和咨詢機(jī)構(gòu)Ventana Research的研究@示,79%的企業(yè)用戶不具備運(yùn)用高級分析技術(shù)的必備技能。
姜欣介紹,今年Teradata通過《經(jīng)濟(jì)學(xué)人》雜志在全球所做的一個調(diào)研結(jié)果顯示,在大數(shù)據(jù)利用方面,企業(yè)主要存在以下三方面問題:第一,數(shù)據(jù)整合問題,57%的被訪企業(yè)認(rèn)為難以獲取重要的業(yè)務(wù)數(shù)據(jù);第二,數(shù)據(jù)應(yīng)用問題,42%的受訪企業(yè)認(rèn)為數(shù)據(jù)過于繁雜,應(yīng)用不夠友好;第三,數(shù)據(jù)治理問題,75%的受訪企業(yè)為因異構(gòu)數(shù)據(jù)而浪費(fèi)時間感到困擾。
“我們目前推出的解決方案和技術(shù),就是為了解決以上三方面問題。”姜欣介紹說,為此Teradata提出了五級轉(zhuǎn)型戰(zhàn)略:
其一,堅定地走一體化數(shù)據(jù)分析平臺的道路,不斷完善一系列平臺產(chǎn)品,其中包括最近推出的Teradata IntelliFlex數(shù)據(jù)倉庫架構(gòu)和Teradata Aster大數(shù)據(jù)探索平臺
其二,全面向云轉(zhuǎn)型,支持私有云、公有云和托管云等多種部署方式,并在這種云生態(tài)下提供咨詢和開發(fā)部署服務(wù)。
其三,打造分析生態(tài)系統(tǒng),將統(tǒng)一數(shù)據(jù)架構(gòu)(UDA),以及Unity、QueryGrid和Listener等工具整合起來,形成一個大數(shù)據(jù)生態(tài),并在這個生態(tài)下提供咨詢和實(shí)施服務(wù)。
其四,從完全技術(shù)中立的角度為客戶提供大數(shù)據(jù)咨詢服務(wù),如大數(shù)據(jù)戰(zhàn)略規(guī)劃服務(wù)、敏捷開發(fā)咨詢服務(wù)、數(shù)據(jù)建模服務(wù)。
其五,堅持客戶至上而非產(chǎn)品至上,用多元化的產(chǎn)品全面滿足客戶需求,幫助客戶挖據(jù)數(shù)據(jù)價值。
由此可見,Teradata在大數(shù)據(jù)領(lǐng)域,除了不斷完善產(chǎn)品和技術(shù)以外,還不斷強(qiáng)化咨詢服務(wù)能力。
推出無邊界分析功能
作為Teradata多年的老客戶,瑞典最大的工業(yè)企業(yè)集團(tuán)沃爾沃汽車公司從2006年開始建立數(shù)據(jù)分析平臺。一直以來,沃爾沃汽車公司面臨的一個問題,就是數(shù)據(jù)散布在超過30個系統(tǒng)中。公司的整合數(shù)據(jù)存儲庫和數(shù)據(jù)模型中,除了有客戶、經(jīng)銷商、車輛與車輛配置信息、質(zhì)保和故障診斷等數(shù)據(jù)外,還有很多外部數(shù)據(jù)。這些數(shù)據(jù)有結(jié)構(gòu)化數(shù)據(jù),也有非結(jié)構(gòu)化數(shù)據(jù)。
沃爾沃汽車公司亟須一個彈性好、敏捷性高的平臺來處理所有這些數(shù)據(jù)。為此,沃爾沃汽車公司部署了Teradata統(tǒng)一數(shù)據(jù)架構(gòu),將所有需要處理的數(shù)據(jù)全部整合起來進(jìn)行處理,從而解決數(shù)據(jù)孤島和數(shù)據(jù)治理混亂問題。在部署了Teradata統(tǒng)一數(shù)據(jù)架構(gòu)后,沃爾沃汽車公司構(gòu)建了全球統(tǒng)一的敏捷的數(shù)據(jù)驅(qū)動環(huán)境,從而可以借助可靠的數(shù)據(jù)分析結(jié)果降低運(yùn)營成本,提高盈利能力和客戶滿意度;形成基于事實(shí)的決策機(jī)制和文化,使得公司更加開放和透明;有效支撐“數(shù)據(jù)創(chuàng)客”活動,員工和合作伙伴可以基于數(shù)據(jù)平臺開發(fā)數(shù)據(jù)產(chǎn)品。
沃爾沃汽車公司成功應(yīng)用Teradata統(tǒng)一數(shù)據(jù)架構(gòu)的案例,是Teradata新推出的無邊界分析功能的一個應(yīng)用典范。據(jù)悉,Teradata無邊界分析打破了過去在進(jìn)行數(shù)據(jù)分析時單一系統(tǒng)、單一技術(shù)分析的界限,突破時間、地點(diǎn),以及所需數(shù)據(jù)和平臺的限制,幫助企業(yè)高效完成數(shù)據(jù)分析工作。
Teradata無邊界分析功能通過最新版本的Teradata QueryGrid軟件和可以自動協(xié)調(diào)多系統(tǒng)Teradata環(huán)境的Teradata Unity軟件來實(shí)現(xiàn)。其中,Teradata Unity軟件具有高可用性特點(diǎn)和工作負(fù)載分配功能,從而確保用戶在權(quán)限范圍內(nèi)可隨時訪問相關(guān)數(shù)據(jù)和分析。全新升級的Teradata Unity具有強(qiáng)大的跨系統(tǒng)功能,可進(jìn)一步消除分析環(huán)境界限。
電子專業(yè)制造服務(wù)公司偉創(chuàng)力公司數(shù)據(jù)與分析團(tuán)隊主管森迪爾(Sendil Thangavelu)認(rèn)為,采用多個分析引擎來分析來自多個數(shù)據(jù)存儲庫的數(shù)據(jù)以獲得更全面、可視化的分析結(jié)果,將成為企業(yè)強(qiáng)化競爭優(yōu)勢的重要因素。“我們的Teradata數(shù)據(jù)管理環(huán)境已經(jīng)非常卓越,但我們一直還在尋找解決方案來提高我們的能力。Teradata的無邊界分析概念與我們的企業(yè)發(fā)展方向不謀而合。”森迪爾補(bǔ)充說。
推出快速分析咨詢服務(wù)
姜欣告訴記者,2015年年底,Teradata總結(jié)出了在新形勢下具有較強(qiáng)競爭力的新型企業(yè)――技術(shù)感知型企業(yè)。技術(shù)感知型企業(yè)應(yīng)具有敏捷平臺、行為分析、協(xié)同思維、自助應(yīng)用和自動決策五大核心能力。
姜欣表示,技術(shù)感知型企業(yè)對內(nèi)能夠提供數(shù)據(jù)洞察能力,實(shí)現(xiàn)數(shù)據(jù)驅(qū)動流程,提升運(yùn)營的ROI;對外可以整合數(shù)據(jù)價值,創(chuàng)新數(shù)據(jù)盈利模式,實(shí)現(xiàn)信息運(yùn)營。
但是,成為技術(shù)感知型企業(yè)并不容易。為了幫助客戶更加順利、快速地成為技術(shù)感知型企業(yè),Teradata還推出了Teradata RACE(快速分析咨詢服務(wù))和Teradata業(yè)務(wù)價值框架。據(jù)介紹,RACE是一套敏捷、技術(shù)中立的方法論,能夠幫助客戶在正式投資前了解分析解決方案的潛在業(yè)務(wù)價值。不僅如此,借助豐富的行業(yè)經(jīng)驗(yàn)和專業(yè)的數(shù)據(jù)分析技術(shù),Teradata還可以幫助客戶將項目實(shí)施所需時間從數(shù)月縮短至6~10周。
據(jù)悉,作為Teradata RACE服務(wù)的核心,Teradata業(yè)務(wù)價值框架是Teradata從數(shù)千次與客戶成功合作中積累的豐富經(jīng)驗(yàn)的結(jié)晶。該框架通過發(fā)現(xiàn)切實(shí)有用的分析解決方案,幫助客戶更快地從分析和數(shù)據(jù)技術(shù)投資中獲取回報。
值得一提的是,隨著物聯(lián)網(wǎng)傳感器數(shù)據(jù)等新型數(shù)據(jù)源的不斷出現(xiàn),新分析技術(shù)的不斷涌現(xiàn),用戶部署和應(yīng)用分析解決方案的難度越來越大。但依托適用Teradata業(yè)務(wù)價值框架詳盡的可視化信息,接受RACE服務(wù)的客戶可以在實(shí)施分析解決方案時,掌握清晰的路線圖,了解該項目在何時、以怎樣的方式帶來投資回報。
姜欣介紹,RACE方法包含三個主要階段:
第一階段,溝通(Align)。Teradata的分析業(yè)務(wù)咨詢顧問以業(yè)務(wù)價值框架作為出發(fā)點(diǎn),幫助客戶發(fā)現(xiàn)最具潛在價值的業(yè)務(wù)案例,并對準(zhǔn)該業(yè)務(wù)案例開展工作,確認(rèn)支持該使用案例關(guān)鍵數(shù)據(jù)資產(chǎn)的可用性。
第二階段,創(chuàng)建(Create)。Teradata的數(shù)據(jù)科學(xué)家為選中的業(yè)務(wù)案例載入并準(zhǔn)備數(shù)據(jù),開發(fā)新分析模型或調(diào)整既有模型。本階段數(shù)據(jù)科學(xué)家會與業(yè)務(wù)發(fā)起人對方案進(jìn)行多次快速迭代,以確保分析結(jié)果能帶來預(yù)期業(yè)務(wù)效果。
第三階段,評估(Evaluate)。Teradata的分析業(yè)務(wù)咨詢顧問分析結(jié)果,評估部署分析使用案例的潛在投資回報率,并為客戶設(shè)計、部署方案。
Ventana Research高級副總裁兼研究主管大衛(wèi)(David Menninger)指出,企業(yè)對數(shù)據(jù)分析項目不滿的主要原因是相關(guān)技能短缺,而Teradata的業(yè)務(wù)價值框架將為企業(yè)提供所需技能和最佳實(shí)踐案例,幫助企業(yè)獲得豐碩的成果和可觀的投資回報。
在互聯(lián)網(wǎng)+時代,商業(yè)環(huán)境瞬息萬變,無論是互聯(lián)網(wǎng)企業(yè)還是亟待轉(zhuǎn)型升級的傳統(tǒng)企業(yè),要想保持自身業(yè)務(wù)具有競爭力,就一定要走在變化的前沿。如今,越來越多的企業(yè)都在通過數(shù)據(jù)分析的手段來把握未來業(yè)務(wù)走向。可以看到,無論是全球還是中國大數(shù)據(jù)市場的規(guī)模都在迅速擴(kuò)大。IDC最新研究結(jié)果,預(yù)測到2018年全球大數(shù)據(jù)技術(shù)和服務(wù)市場的2018年的復(fù)合年增長率將達(dá)到26.4%,規(guī)模達(dá)到415億美元,是整個IT市場增幅的6倍。而根據(jù)易觀智庫的中國大數(shù)據(jù)應(yīng)用行業(yè)的報告顯示,2015-2018年中國大數(shù)據(jù)市場營銷規(guī)模達(dá)到258.6億人民幣。環(huán)比增長率為37.2%。
“在大數(shù)據(jù)時代,應(yīng)對海量數(shù)據(jù)增長不僅需要有強(qiáng)大性能的計算和存儲基礎(chǔ)設(shè)施,” IDC中國企業(yè)級研究部研究經(jīng)理胡向東談到:“隨著應(yīng)用的復(fù)雜化,人們信息需求不斷增加,現(xiàn)有數(shù)據(jù)中心出現(xiàn)了不少自身無法解決的問題,必須要對現(xiàn)有數(shù)據(jù)中心進(jìn)行優(yōu)化或重建,尤其是數(shù)據(jù)中心網(wǎng)絡(luò)的重建。而數(shù)據(jù)量的不斷激增也促使企業(yè)用戶在部署大數(shù)據(jù)解決方案的過程中,更加需要靈活、開放的網(wǎng)絡(luò)解決方案。高速的帶寬能夠幫助企業(yè)數(shù)據(jù)中心逐步實(shí)現(xiàn)軟件定義的網(wǎng)絡(luò)、加速數(shù)據(jù)的分析,并進(jìn)一步為企業(yè)業(yè)務(wù)提供強(qiáng)勁支撐。”
在實(shí)現(xiàn)軟件定義網(wǎng)絡(luò)并進(jìn)一步推進(jìn)大數(shù)據(jù)、云計算應(yīng)用部署的過程中,對于需要保持競爭力、實(shí)現(xiàn)轉(zhuǎn)型升級的企業(yè)而言,提高帶寬、靈活性和可擴(kuò)展性變得十分必要。“Spectrum’交換機(jī)作為我們開放式以太網(wǎng)交換機(jī)的最新產(chǎn)品,能夠提供數(shù)據(jù)中心客戶所需的萬兆、2.5、4、5和10萬兆以太網(wǎng)交換機(jī)解決方案的公司,使其能夠跟上網(wǎng)絡(luò)升級對數(shù)據(jù)獲取和處理的要求,并進(jìn)而保持競爭優(yōu)勢、降低其資本和運(yùn)營開支,”Mellanox公司市場副總裁Gilad Shainer表示:“我們所推出的全新的端到端以太網(wǎng)解決方案為互聯(lián)網(wǎng)企業(yè)與傳統(tǒng)行業(yè)用戶在云、Web 2.0、數(shù)據(jù)分析、人工智能等方面的應(yīng)用開啟了一扇大門,使他們可以重新構(gòu)思數(shù)據(jù)中心對于不斷變化的實(shí)際業(yè)務(wù)需求所能提供的價值。”
互聯(lián)網(wǎng)公司一直以來都是創(chuàng)新技術(shù)應(yīng)用的風(fēng)向標(biāo)。作為中國最大的自營式電商企業(yè),京東擁有豐富的商品、海量的用戶、最大規(guī)模物流基礎(chǔ)設(shè)施。為了更好地滿足消費(fèi)者的個性化需求,提升庫存配置、物流管理等方面的運(yùn)轉(zhuǎn)效率,京東在大數(shù)據(jù)、云計算方面也展開了實(shí)踐。“大數(shù)據(jù)技術(shù)可以為京東提供智能銷量的預(yù)測、精準(zhǔn)的庫存配置、解決物流行業(yè)浪費(fèi)的問題、提升零售行業(yè)運(yùn)轉(zhuǎn)的效率;而借助京東云,我們也能更好地滿足賣家和買家的電商應(yīng)用和IT服務(wù)需求,與廣大商家、用戶、ISV和應(yīng)用開發(fā)者,共同培育電商應(yīng)用生態(tài),”京東集團(tuán)副總裁、京東云總經(jīng)理何剛分享道:“在我們推進(jìn)大數(shù)據(jù)、云計算技術(shù)在京東應(yīng)用的過程中,我們深刻體會到,從數(shù)據(jù)的快速收集、處理、分析到個性化的預(yù)測,速度是至關(guān)重要的因素。為此,Mellanox所提供的高速、低延遲的開放式網(wǎng)絡(luò)創(chuàng)新是我們的不二選擇。”
在互聯(lián)網(wǎng)巨頭的帶動下,在中國,零售、電信、金融服務(wù)、媒體等傳統(tǒng)行業(yè)也迎來了日新月異的變化。傳統(tǒng)企業(yè)會因互聯(lián)網(wǎng)而發(fā)生裂變、重構(gòu)和創(chuàng)新,并借助大數(shù)據(jù)技術(shù)實(shí)現(xiàn)業(yè)務(wù)的轉(zhuǎn)型、升級。“據(jù)麥肯錫全球研究所的調(diào)查數(shù)據(jù)顯示,美國17個行業(yè)所擁有的數(shù)據(jù)總量排名中,傳媒業(yè)占據(jù)第三位。因此,在大數(shù)據(jù)時代來臨之際,數(shù)據(jù)成為我們傳媒產(chǎn)業(yè)相關(guān)經(jīng)營活動的核心資源,”至頂網(wǎng)總經(jīng)理、總編輯高飛談到:“面對數(shù)據(jù)吞吐量出現(xiàn)出指數(shù)級的增加趨勢,媒體也需要對海量信息進(jìn)行深度挖掘,提煉更有價值的內(nèi)容,并進(jìn)行科學(xué)合理的包裝,同時還需要通過對數(shù)據(jù)進(jìn)行詳細(xì)分類、加工、進(jìn)行深度挖掘,再將這些洞察提供給有需求的企業(yè)用戶或合作伙伴。因此,大數(shù)據(jù)技術(shù)的應(yīng)用在傳媒行業(yè)的轉(zhuǎn)型中已經(jīng)成為趨勢,而Mellanox以太網(wǎng)解決方案能夠在媒體行業(yè)運(yùn)用大數(shù)據(jù)的過程中,實(shí)現(xiàn)降低網(wǎng)絡(luò)延時,提升信息時效的作用。”
“作為國內(nèi)領(lǐng)先的基礎(chǔ)云服務(wù)商,青云一直致力于為用戶打造簡單、高效、可靠、易擴(kuò)展的云計算平臺,”青云創(chuàng)始人、CEO黃允松談到:“眾所周如,云計算的效率主要取決于網(wǎng)絡(luò)的高效。因此,除了借助高性能的服務(wù)器、存儲以及軟件之外,高效的以太網(wǎng)解決方案也是構(gòu)建靈活的、性價比極高的私有云、公有云或是混合云解決方案的重要因素。本次的Spectrum以太網(wǎng)交換機(jī),能夠?yàn)槲覀兲峁o阻塞6.4Tb/s全線速交換能力和路由能力以及業(yè)界領(lǐng)先的延遲和最低的功耗,能夠幫助我們和最終用戶提升數(shù)據(jù)中心效率、減少相關(guān)投入。”
戴爾亞太及日本地區(qū)總裁、全球新興市場董事長閔毅達(dá)表示,戴爾目前更加清晰地將定位聚焦在云計算、大數(shù)據(jù)、移動和安全四大領(lǐng)域,通過這些解決方案來改善人們生活、業(yè)務(wù)運(yùn)營與全球協(xié)作。“成功實(shí)現(xiàn)私有化后,戴爾將更具靈活性,為客戶提供更好的解決方案與服務(wù),并攜手渠道伙伴、合作伙伴,持續(xù)堅持為客戶帶來端到端解決方案提供增值服務(wù)的戰(zhàn)略。”
據(jù)介紹,戴爾本著利用先進(jìn)技術(shù)、幫助客戶轉(zhuǎn)型創(chuàng)新的宗旨,根據(jù)市場需求,在其原先由不同專業(yè)團(tuán)隊根據(jù)消費(fèi)類客戶、中小企業(yè)、公共事業(yè)、大型企業(yè)等不同客戶提供個性化解決方案的基礎(chǔ)上,更加強(qiáng)調(diào)和構(gòu)建各產(chǎn)品領(lǐng)域的專業(yè)化能力。戴爾企業(yè)級解決方案管理部門總經(jīng)理Antonio Julio表示,目前,戴爾已經(jīng)在全球范圍內(nèi)完成了終端用戶計算、企業(yè)解決方案、軟件和服務(wù)等四大業(yè)務(wù)部門的組織架構(gòu)調(diào)整。在當(dāng)前企業(yè)IT擁抱開放的趨勢下,戴爾以PowerEdge服務(wù)器、EquaILogic、Compellent、PowerVault等存儲系統(tǒng),以及PowerConnect、Force10等網(wǎng)絡(luò)產(chǎn)品為用戶搭建安全、穩(wěn)定的基礎(chǔ)平臺,并開發(fā)出多項創(chuàng)新的基礎(chǔ)架構(gòu)融合產(chǎn)品。
作為企業(yè)級IT端到端解決方案提供商,戴爾以更加清晰的定位與整合解決方案為用戶提供云計算、大數(shù)據(jù)、移動以及安全等解決方案,改善人們生活、工作方式,并結(jié)合戴爾在國內(nèi)多年深耕行業(yè)的經(jīng)驗(yàn),為互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、教育、金融、醫(yī)療、制造等行業(yè)提供定制化的行業(yè)解決方案,助力各類企業(yè)以面向未來就緒的IT基礎(chǔ)架構(gòu)輕松擁抱開放新未來。
此次大會前,戴爾剛剛了13G PowerEdge服務(wù)器。戴爾全新PowerEdge 服務(wù)器依循三個根本原則,包括加速應(yīng)用性能、在任何環(huán)境下提升工作負(fù)載,以及簡化系統(tǒng)管理。通過這三方面的改進(jìn),客戶可以將傳統(tǒng)和新的IT模式相連,為在數(shù)據(jù)中心內(nèi)采用創(chuàng)新技術(shù)和優(yōu)化新應(yīng)用做好準(zhǔn)備。據(jù)IDC 2014年第二季亞太區(qū)x86服務(wù)器市場季度跟蹤報告顯示,在中國這個成長速度最快的市場,戴爾x86服務(wù)器連續(xù)第9個季度排名市場第一,充分顯示在戴爾在這方面的實(shí)力。