6月4日,由光環國際主辦的“首屆大數據科技創新與人才發展論壇”,在北京中關村軟件園成功舉辦。中關村軟件園董事長兼總經理劉克峰先生為本次論壇致辭。
在本次論壇中,四位主講嘉賓分別從“大數據創新與實踐”、“大數據核心技術”、“大數據產業應用”以及“大數據人才培養”四個不同的角度,深刻剖析了中美兩國大數據的產業應用及創新實踐,多維度展望了大數據產業勢不可擋的發展趨勢。
小編也有幸參與了本次大會,并為大家整理出了來自光環國際董事長張澤暉的發言。沒有機會到場的朋友們,一起先睹為快吧!
大數據時代的騰飛是有目共睹的,可以說我們如今正處在風口上,物聯網的風口、有工業4.0風口、人工智能的風口,然而事實上,現在最大的風口是大數據的風口。
谷歌與雅虎 —— 大數據的起源
簡單來說,大數據就是傳統數據軟件無法處理的數據。有很多人認為大數據就是“特別大的數據”,其實大只是一個方面,更重要的是數據比以前更加多元化,流轉速度更快,而且價值密度相對更低。如果把大數據想象成各種各樣的東西擺在一起的垃圾場,那么在垃圾場里面怎樣找到寶物,這就是一個很大的問題。
大數據時代的奠基者實際上要是谷歌和雅虎。曾幾何時,雅虎是互聯網的代表,雅虎一開始也是做搜索引擎的,但是雅虎提高搜索效率的方式是搭配更高配置的電腦、更高配置的系統。
而谷歌一開始也是從車庫起家,兩個創始人發現,通過軟件、通過分布式計算系統,在降低系統配置的同時又極大程度地提高了運算效率,能夠實現比傳統的搜索引擎要快的項目。實際上,谷歌數據中心的電腦可能比公司前臺用的電腦配置還低。
在創立初期,谷歌的兩個創始人曾找到雅虎,提出要把谷歌用100萬的價格賣掉。然而當時的雅虎是斷然拒絕的。在2000年前后,谷歌的發展進入佳境,這時雅虎反過來希望以10億美金對谷歌進行收購,這個價格后來被談到30億美金,谷歌的創始人卻拒絕收購。短短3、4年時間,公司的價值從100萬美金變成超過30億美金,只有在IT行業、軟件這樣的行業才能有如此增長。
在2004年,雅虎已經意識到巨大的危機,隨著這段時期谷歌發布了兩大著名傳奇論文GFS和Mapreduce,雅虎也希望有一個能與谷歌競爭的技術。于是在2007年的1月28號,Doug Cutting進入到了雅虎公司,帶領一個100多人的工程師團隊來完善hadoop。雅虎和谷歌的搜索之爭,直接催生了hadoop。hadoop誕生在塔克的廚房,其規模化的應用是在雅虎。不過這個時候,雅虎已經錯過了機會,無論怎樣也無法迎頭趕上了??梢哉f,谷歌是從整個系統層面將雅虎打敗的。
通過谷歌和雅虎的搜索引擎之爭,我們可以看到,大數據的人才是非常重要的。那么大數據最缺什么樣的人才呢?
大數據人才缺口與培養
大數據人才可以分為三個層面:技術層面、業務層面和創新層面。
技術層面
實際上,當前主流的大數據人才是大數據開發程序員、軟件工程師。
大數據開發工程師是目前最緊缺的人才。大數據要在一個全新的平臺上進行很多開發,由于傳統架構與分布式計算架構完全不一樣,開發工程師要學習大量新的理念。
現在在開源環境里,有各種各樣的免費軟件工具,做什么事情有對應的工具。在大數據環境下,其實你不需要再去寫幾千幾萬行代碼,有時候幾十行、上百行、最多幾百行的代碼就可以了。但前提是,你需要熟悉不同的、新的開源軟件,熟悉各類行業的場景,這就給IT從業人提出了全新的挑戰。
大數據運維工程師可以說是次緊缺的人才。以前我們是運維在oracle、ADM系統上,現在要遷移到hadoop體系?,F在的計算中心和以往的有很大區別,現在是采用云計算的方式來做新的架構。大數據時代的運維工程師也可以被稱作是大數據管理員,也是一個非常重要的崗位。
很多人認為大數據時代,最緊俏的是數據分析師。事實上,數據分析師確實是一個明星職業,但并不是最緊缺的。這是因為數據分析在過去的十年已經產生了大量人才,將這些人才平移到大數據是相對比較容易的。只是以前面對的是傳統數據,而現在是大數據,工作平臺變了,方式方法還是一樣的?,F在也可以看到,數據分析師在人才市場上尚未有爆炸式的增長,但也在迅速增長之中。我們還能夠發現一些數學、統計學、經濟學教育背景的人也正在轉向這個領域,應該說數據分析師是未來的黃金職位。
此外,數據倉庫工程師也非常緊俏。很多企業對于大數據應用都是從數據倉庫的遷移開始的,所以現在數據倉庫工程師在掌握一定大數據知識,將自己鍛煉成一個大數據數據倉庫工程師也是一個趨勢。
業務層面
所謂業務其實也就是用大數據來做什么。在運用大數據方面的鼻祖公司是亞馬遜,它首先在全球范圍內應用大數據來做用戶畫像,進而做精準推薦,極大地提升客戶體驗?,F在阿里巴巴和京東也在大量運用大數據做數據分析、數據挖掘、智能推薦系統。原來我們總是說電商公司沒技術,搜索公司才有技術,事實上自從出現了hadoop系統,這種定式早已被打破了。
大數據時代的一個非常重要的崗位是大數據項目經理?,F在在很多企業里,大數據是一個項目,但往往就是幾個數據分析、幾個器材設備組合起來,其實完全不是這樣的。大數據是遷移各個方面的應用場景的匯集,而幕后最大的推動力就是項目經理。在很多企業不知道如何推動大數據經濟核心的時候,項目經理的眼光就非常重要。大數據項目經理需要了解一部分大數據知識,了解跨行業、跨部門的數據,更重要的是了解趨勢,懂得帶團隊。
在大數據時代,還會需要大數據科學家和大數據產品經理。大數據科學家可以說是大數據通才,是一個非常高端的職業。另外也非常需要產品經理,通過大數據產品來滿足各個行業的需求。未來的移動互聯網產品都應該帶有大數據分析的功能,所以說未來的產品經理也必須要懂大數據。
創新層面
歐盟曾發表預測過直到2020年的數據呈現領域,并提出可以產生3300億的收入,說明大數據是一個非常大的市場。大數據在工業等領域也可以有很多嶄新的應用,大家的想象力有多大,未來的大數據就有多大的功能。大數據引發深度學習,深度學習引發人工智能,人工智能又革新機器人科學……可以說大數據真正的開啟了智慧時代,未來的五年、十年,難以想象大數據會改變我們多少。
現在我們可能感到大數據很遙遠,實際上用戶在互聯網上的所有行為都被記錄下來,大數據是天天跟人們在一起的。美劇“紙牌屋”之所以受歡迎,也是得益于大數據的運用,通過大數據捕捉到了最符合網民心意的劇情。請到最受網民歡迎的演員,可以說從一開始就贏在了起跑線上。
另一個典型的例子就是亞馬遜和華盛頓郵報。貝索斯在三年前收購華盛頓郵報時曾說過,他絕對不參與新聞編輯的任何事情,他所做的是依靠大數據來分析讀者的口味,記錄每一個讀者的使用動作,對不同的讀者進行測試,將華盛頓郵報變為了一家媒體技術公司。你會發現在現代,技術創新是企業的終極驅動力。
大數據帶來的變革與行業洗牌
當年雅虎的市值曾高達1000億美金,那么多人都認為它是技術公司,雅虎卻依舊把自己看作一個媒體公司。今天我們也能看到,有大量的公司,比如以前的新浪、搜狐,他們也將自己定位為互聯網的媒體公司,技術上沒趕上潮流,逐漸被IT時代所淘汰。這是非常有意思的現象。IT媒體導向型公司卻忘了它的出現是受益于技術創新。
反而是像順豐這樣的公司,卻沒有把自己看作一個快遞公司,據了解,順豐的IT研發團隊有兩千多人,創始人王衛就認為順豐本質上是一個IT公司、大數據公司。
大數據時代下,很多公司都在進行革新。IBM也砍掉無數人,把自己看作一個人工智能的公司進行自我革命。這種變革必然會產生IT行業的洗牌,原先舊的技術人才可能在未來的幾年里逐漸跟不上時代。
中國與美國對于整個大數據人才的需求量都非常巨大,然而真正有成熟經驗的人才相當少,這個對于傳統的IT人是一個“彎道超車”的機會。實際上,我相信中國同樣也可以通過“彎道超車”與美國硅谷成為雙雄。大數據技術發展速度非??欤赡芪磥磉€有會有更先進、更好用的框架。IT人善于快速學習,我們也能夠不斷提升自己,成為大數據領域的專家。
6月4日,由光環國際主辦的“首屆大數據科技創新與人才發展論壇”,在北京中關村軟件園成功舉辦。中關村軟件園董事長兼總經理劉克峰先生為本次論壇致辭。
在本次論壇中,四位主講嘉賓分別從“大數據創新與實踐”、“大數據核心技術”、“大數據產業應用”以及“大數據人才培養”四個不同的角度,深刻剖析了中美兩國大數據的產業應用及創新實踐,多維度展望了大數據產業勢不可擋的發展趨勢。
小編也有幸參與了本次大會,并為大家整理出了來自光環國際董事長張澤暉的發言。沒有機會到場的朋友們,一起先睹為快吧!
大數據時代的騰飛是有目共睹的,可以說我們如今正處在風口上,物聯網的風口、有工業4.0風口、人工智能的風口,然而事實上,現在最大的風口是大數據的風口。
谷歌與雅虎 —— 大數據的起源
簡單來說,大數據就是傳統數據軟件無法處理的數據。有很多人認為大數據就是“特別大的數據”,其實大只是一個方面,更重要的是數據比以前更加多元化,流轉速度更快,而且價值密度相對更低。如果把大數據想象成各種各樣的東西擺在一起的垃圾場,那么在垃圾場里面怎樣找到寶物,這就是一個很大的問題。
大數據時代的奠基者實際上要是谷歌和雅虎。曾幾何時,雅虎是互聯網的代表,雅虎一開始也是做搜索引擎的,但是雅虎提高搜索效率的方式是搭配更高配置的電腦、更高配置的系統。
而谷歌一開始也是從車庫起家,兩個創始人發現,通過軟件、通過分布式計算系統,在降低系統配置的同時又極大程度地提高了運算效率,能夠實現比傳統的搜索引擎要快的項目。實際上,谷歌數據中心的電腦可能比公司前臺用的電腦配置還低。
在創立初期,谷歌的兩個創始人曾找到雅虎,提出要把谷歌用100萬的價格賣掉。然而當時的雅虎是斷然拒絕的。在2000年前后,谷歌的發展進入佳境,這時雅虎反過來希望以10億美金對谷歌進行收購,這個價格后來被談到30億美金,谷歌的創始人卻拒絕收購。短短3、4年時間,公司的價值從100萬美金變成超過30億美金,只有在IT行業、軟件這樣的行業才能有如此增長。
在2004年,雅虎已經意識到巨大的危機,隨著這段時期谷歌發布了兩大著名傳奇論文GFS和Mapreduce,雅虎也希望有一個能與谷歌競爭的技術。于是在2007年的1月28號,Doug Cutting進入到了雅虎公司,帶領一個100多人的工程師團隊來完善hadoop。雅虎和谷歌的搜索之爭,直接催生了hadoop。hadoop誕生在塔克的廚房,其規?;膽檬窃谘呕?。不過這個時候,雅虎已經錯過了機會,無論怎樣也無法迎頭趕上了??梢哉f,谷歌是從整個系統層面將雅虎打敗的。
通過谷歌和雅虎的搜索引擎之爭,我們可以看到,大數據的人才是非常重要的。那么大數據最缺什么樣的人才呢?
大數據人才缺口與培養
大數據人才可以分為三個層面:技術層面、業務層面和創新層面。
技術層面
實際上,當前主流的大數據人才是大數據開發程序員、軟件工程師。
大數據開發工程師是目前最緊缺的人才。大數據要在一個全新的平臺上進行很多開發,由于傳統架構與分布式計算架構完全不一樣,開發工程師要學習大量新的理念。
現在在開源環境里,有各種各樣的免費軟件工具,做什么事情有對應的工具。在大數據環境下,其實你不需要再去寫幾千幾萬行代碼,有時候幾十行、上百行、最多幾百行的代碼就可以了。但前提是,你需要熟悉不同的、新的開源軟件,熟悉各類行業的場景,這就給IT從業人提出了全新的挑戰。
大數據運維工程師可以說是次緊缺的人才。以前我們是運維在oracle、ADM系統上,現在要遷移到hadoop體系?,F在的計算中心和以往的有很大區別,現在是采用云計算的方式來做新的架構。大數據時代的運維工程師也可以被稱作是大數據管理員,也是一個非常重要的崗位。
很多人認為大數據時代,最緊俏的是數據分析師。事實上,數據分析師確實是一個明星職業,但并不是最緊缺的。這是因為數據分析在過去的十年已經產生了大量人才,將這些人才平移到大數據是相對比較容易的。只是以前面對的是傳統數據,而現在是大數據,工作平臺變了,方式方法還是一樣的。現在也可以看到,數據分析師在人才市場上尚未有爆炸式的增長,但也在迅速增長之中。我們還能夠發現一些數學、統計學、經濟學教育背景的人也正在轉向這個領域,應該說數據分析師是未來的黃金職位。
此外,數據倉庫工程師也非常緊俏。很多企業對于大數據應用都是從數據倉庫的遷移開始的,所以現在數據倉庫工程師在掌握一定大數據知識,將自己鍛煉成一個大數據數據倉庫工程師也是一個趨勢。
業務層面
所謂業務其實也就是用大數據來做什么。在運用大數據方面的鼻祖公司是亞馬遜,它首先在全球范圍內應用大數據來做用戶畫像,進而做精準推薦,極大地提升客戶體驗?,F在阿里巴巴和京東也在大量運用大數據做數據分析、數據挖掘、智能推薦系統。原來我們總是說電商公司沒技術,搜索公司才有技術,事實上自從出現了hadoop系統,這種定式早已被打破了。
大數據時代的一個非常重要的崗位是大數據項目經理?,F在在很多企業里,大數據是一個項目,但往往就是幾個數據分析、幾個器材設備組合起來,其實完全不是這樣的。大數據是遷移各個方面的應用場景的匯集,而幕后最大的推動力就是項目經理。在很多企業不知道如何推動大數據經濟核心的時候,項目經理的眼光就非常重要。大數據項目經理需要了解一部分大數據知識,了解跨行業、跨部門的數據,更重要的是了解趨勢,懂得帶團隊。
在大數據時代,還會需要大數據科學家和大數據產品經理。大數據科學家可以說是大數據通才,是一個非常高端的職業。另外也非常需要產品經理,通過大數據產品來滿足各個行業的需求。未來的移動互聯網產品都應該帶有大數據分析的功能,所以說未來的產品經理也必須要懂大數據。
創新層面
歐盟曾發表預測過直到2020年的數據呈現領域,并提出可以產生3300億的收入,說明大數據是一個非常大的市場。大數據在工業等領域也可以有很多嶄新的應用,大家的想象力有多大,未來的大數據就有多大的功能。大數據引發深度學習,深度學習引發人工智能,人工智能又革新機器人科學……可以說大數據真正的開啟了智慧時代,未來的五年、十年,難以想象大數據會改變我們多少。
現在我們可能感到大數據很遙遠,實際上用戶在互聯網上的所有行為都被記錄下來,大數據是天天跟人們在一起的。美劇“紙牌屋”之所以受歡迎,也是得益于大數據的運用,通過大數據捕捉到了最符合網民心意的劇情。請到最受網民歡迎的演員,可以說從一開始就贏在了起跑線上。
另一個典型的例子就是亞馬遜和華盛頓郵報。貝索斯在三年前收購華盛頓郵報時曾說過,他絕對不參與新聞編輯的任何事情,他所做的是依靠大數據來分析讀者的口味,記錄每一個讀者的使用動作,對不同的讀者進行測試,將華盛頓郵報變為了一家媒體技術公司。你會發現在現代,技術創新是企業的終極驅動力。
大數據帶來的變革與行業洗牌
當年雅虎的市值曾高達1000億美金,那么多人都認為它是技術公司,雅虎卻依舊把自己看作一個媒體公司。今天我們也能看到,有大量的公司,比如以前的新浪、搜狐,他們也將自己定位為互聯網的媒體公司,技術上沒趕上潮流,逐漸被IT時代所淘汰。這是非常有意思的現象。IT媒體導向型公司卻忘了它的出現是受益于技術創新。
反而是像順豐這樣的公司,卻沒有把自己看作一個快遞公司,據了解,順豐的IT研發團隊有兩千多人,創始人王衛就認為順豐本質上是一個IT公司、大數據公司。
大數據時代下,很多公司都在進行革新。IBM也砍掉無數人,把自己看作一個人工智能的公司進行自我革命。這種變革必然會產生IT行業的洗牌,原先舊的技術人才可能在未來的幾年里逐漸跟不上時代。
中國與美國對于整個大數據人才的需求量都非常巨大,然而真正有成熟經驗的人才相當少,這個對于傳統的IT人是一個“彎道超車”的機會。實際上,我相信中國同樣也可以通過“彎道超車”與美國硅谷成為雙雄。大數據技術發展速度非??欤赡芪磥磉€有會有更先進、更好用的框架。IT人善于快速學習,我們也能夠不斷提升自己,成為大數據領域的專家。