2018 PASS峰會于 11.5~11.9 舉行完畢,本文簡介PASS峰會中有關(guān)PowerBI企業(yè)現(xiàn)代商務(wù)智能的進展以及未來展望,絕對震撼,超乎想象。
文后附贈完整大會視頻。
關(guān)于 PASS
PASS是一個由社區(qū)和社區(qū)運營的非營利組織。PASS支持全球使用Microsoft數(shù)據(jù)平臺的數(shù)據(jù)專業(yè)人員。PASS峰會是Microsoft數(shù)據(jù)平臺社區(qū)最大的技術(shù)會議。
PASS努力通過以下方式履行其使命:
- 通過我們的本地和虛擬團體,在線活動,地方和區(qū)域活動以及國際會議促進會員聯(lián)網(wǎng)和信息交流。
- 為深入學(xué)習(xí)和專業(yè)發(fā)展提供高質(zhì)量,及時的技術(shù)內(nèi)容。
PASS由CA Technologies和Microsoft于1999年共同創(chuàng)立,旨在推廣和教育全球的SQL Server用戶。自成立以來,PASS已在全球范圍內(nèi)擴展,并使其成員多元化,以包容所有使用任何Microsoft數(shù)據(jù)技術(shù)的專業(yè)人士。
PowerBI 主題演講
開始。
總結(jié) PowerBI 的發(fā)展
PowerBI最新的發(fā)展現(xiàn)狀:
PowerBI要做的就是打造數(shù)據(jù)文化:
PowerBI堅守著不變的宗旨:
這又是PowerBI不可思議的一年:
已經(jīng)形成了興旺的生態(tài):
并已形成了大型的社區(qū):
一起回顧下2018年P(guān)owerBI的發(fā)展:
總結(jié)下來,可以歸類為:
回顧最近12個月,可以概括為:
- 自助分析趨于成熟
- 大規(guī)模企業(yè)應(yīng)用不斷增強
- 跨越式的改進
PowerBI 在自助分析角度的發(fā)展
從 自助分析 角度來看,可以概括為:
具體包括:
佐羅:視覺對象智能對齊,該功能目前暫未出現(xiàn)(截止2018.11),或許這將在2018.12發(fā)布。
除此以外:
PowerBI 在企業(yè)應(yīng)用方面的發(fā)展
BI佐羅:對于企業(yè)級應(yīng)用使用 Premium 版本,實際 8 核的 P1 可以覆蓋1450個用戶的使用,折算成本相當于3.45美元/人/月。
目前正在使用 PowerBI 的各行業(yè)典型客戶:
PowerBI的使用飛速增長:
BI佐羅:PowerBI的使用增長速度非常快,截止2018.10,同比YTD增長了7倍。
OK。以上就是截止 2018.11 PowerBI 的發(fā)展總結(jié)。相信大家和我一樣,對PoweBI 在 2018年的整體發(fā)展有了一個宏觀了解。
現(xiàn)代商業(yè)智能的未來趨勢
該部分由 Amir Netz 為大家呈現(xiàn)。
首先介紹一下 Amir Netz,他是:
他是微軟PowerBI及商業(yè)智能平臺首席技術(shù)官,也是SSAS,VertiPaq(運行在PowerBI內(nèi)部的引擎)以及PowerPivot 教父。
他是位非常有激情的技術(shù)專家:
不難看出,Amir 為技術(shù)的付出已經(jīng)表現(xiàn)在他的照片上了。致敬!讓我們來認真聽取 Amir 為我們帶來的精彩演講。
教父指出:數(shù)據(jù)文化的形成是一種網(wǎng)絡(luò)效應(yīng),需要人人都可以參與進來,人們應(yīng)該可以找到他們所需要的所有數(shù)據(jù)并同時可以分享給任何需要的人,從而一起自然形成一個沒有邊界的數(shù)據(jù)組織。并強調(diào):各自為政的分散式模式是不利于構(gòu)成數(shù)據(jù)文化的。
因此,微軟構(gòu)建了統(tǒng)一的全局BI平臺,為每一個組織,應(yīng)對任何工作負荷及規(guī)模。
首先就是要將自助式BI與企業(yè)級BI統(tǒng)一起來:
我們知道 PowerBI 已經(jīng)可以讓任何人都可以在其基礎(chǔ)上快速構(gòu)建模型和交互式報告,但我們很快就會面臨企業(yè)級的需求:
BI佐羅:很多人(包括自己)都會發(fā)現(xiàn),使用 Power BI Pro 很快就會達到極限(邊界),例如:企業(yè)有 上千萬行 數(shù)據(jù)要處理,并統(tǒng)一提供給終端用戶使用,這在現(xiàn)實中超出了 Power BI Pro 的能力范圍,不管從加載速度,數(shù)據(jù)重復(fù)利用,性能等方面。
目前正將 SSAS 的能力逐步引入 PowerBI,其實這些能力早就在那里了,因此 PowerBI 的底層和 SSAS 的底層技術(shù)是一樣的。
BI佐羅:Amir Netz 既然是 SSAS 及 VertiPaq 教父,相信他應(yīng)該會一直優(yōu)化 VertiPaq ,也就是 Tabular 模型。
另外正在做到就是處理企業(yè)級報表。
再有,就是企業(yè)如何治理及控制:
這其實也包括很多重要內(nèi)容:
例如:中國的網(wǎng)路安全法規(guī)定中國的數(shù)據(jù)不可以離開中國,那PowerBI應(yīng)該保證這點;以及如何追蹤數(shù)據(jù)的使用;元數(shù)據(jù)管理及生命周期管理等。
至此,教父的演講告一段落,接下來應(yīng)該演示一些內(nèi)容,教父請出高級項目經(jīng)理 Christian Wade 為大家演示:
讓我們一起跟隨 Christian 來實際感受 PowerBI 帶來的可能:
一上來就直接高潮,整出來100張表的模型:
利用已經(jīng)在 2018.11 發(fā)布的模型視圖功能,可以輕松管理大型模型并將其拆分成不同部分:
并將度量值裝入文件夾,進行管理:
接著演示企業(yè)報表功能:
當然,每次都會刷新一下PowerBI處理大規(guī)模數(shù)據(jù)的能力:
這次是:60000億行數(shù)據(jù)。
用戶可以直接拖拽字段和指標并可視化,而且非常流暢,例如達成如下效果不到3秒:
這反映了Top100的客戶的所有歷史訂單,高達10億筆,也是個不小的數(shù)字。
PowerBI 采用了 聚合 的原理(該功能已于2018.11正式發(fā)布)在物理上實現(xiàn)這點。但如果用戶向下鉆取到詳細數(shù)據(jù),這是非聚合數(shù)據(jù),又會怎樣呢?
系統(tǒng)也會很快返回明細數(shù)據(jù)。可以用性能監(jiān)視器監(jiān)測,可以看到:
當用戶(拖拽的)查詢請求可以命中聚合時,將直接返回結(jié)果;而若無法命中聚合,則使用 DirectQuery 的方式去數(shù)據(jù)源進行查詢。
BI佐羅:目前這里有兩個物理限制,或者說是技術(shù)難點,第一,數(shù)據(jù)源與PowerBI之間必須可以實現(xiàn) DirectQuery ;第二,數(shù)據(jù)源在運行和返回大規(guī)模查詢時必須很快。
這里使用的數(shù)據(jù)源是 Azure SQL Data Warehouse , 中國的用戶可以參考:
https://www.azure.cn/zh-cn/home/features/sql-data-warehouse/
這里非常值得一提的是:
用性能監(jiān)視器是可以連接到 PowerBI 平臺內(nèi)部引擎以查看其引擎工作狀態(tài)的,因為前面已經(jīng)介紹了,PowerBI 的底層原理正是 SSAS 教父當年發(fā)明的 VertiPaq 引擎,所以只要 教父 同意企業(yè)可以連接到發(fā)動機,那就可以查看其運行情況。
如果用 SSMS 連接 PowerBI 工作區(qū)的話,會發(fā)現(xiàn):
這好像是 SSAS 服務(wù)嘛~ 沒錯,這的的確確就是 SSAS Tabular 模型服務(wù),PowerBI 將會開放內(nèi)部引擎連接點給到企業(yè)用戶,以便企業(yè)用戶可以追蹤其工作性能,PowerBI 將會成為 SSAS 的超集存在。
(現(xiàn)場發(fā)出驚呼)
演示完畢,教父上臺繼續(xù)接著講,高潮起來了,教父也很激動,先切換好PPT,繼續(xù):
由于 SSAS 和 SSRS 是非常成熟的技術(shù)并廣泛用于現(xiàn)代,很多企業(yè)中甚至布滿了孤立的 SSAS ,到處都是:
但現(xiàn)在企業(yè)可以將這些分散的無法得到有效控制的孤立SSAS及SSRS全部整合到PowerBI:
PowerBI 正在致力于實現(xiàn)這件事,不久,企業(yè)就可以做到把這些全部整合到云端,完全受控,全局統(tǒng)一。
下面,來說說接下來(明年,2019)的變化,首先來看看統(tǒng)一數(shù)據(jù)準備:
這被稱為:數(shù)據(jù)流。
數(shù)據(jù)流的核心使命是:打造可重用的ETL。并且使用的技術(shù)是 PowerQuery,PowerQuery 已經(jīng)內(nèi)置在 PowerBI,甚至是Excel中,不再需要使用IT才能玩轉(zhuǎn)的SSIS,甚至在家中就可以定義 PowerQuery ,輕松完成企業(yè)統(tǒng)一的數(shù)據(jù)準備。
當然,這里要應(yīng)對復(fù)雜場景的挑戰(zhàn):
首先,就是一致性。如果確保企業(yè)中不斷變化的ETL過程,而且可能是多個不同的ETL過程,總是得到完全一致的數(shù)據(jù)結(jié)果:
上圖反映了來自85個數(shù)據(jù)源的313個數(shù)據(jù)轉(zhuǎn)換過程,該過程被革命性的計算引擎管控,一旦任何數(shù)據(jù)源發(fā)生變化,整體全部刷新,永遠保持一致性。這就像在Excel中按 F9 來重新計算,所有有關(guān)聯(lián)關(guān)系的單元格全部計算,保持 Excel 不同頁面凡是用到同樣數(shù)據(jù)的全部保持最新并且一致,而 Excel 的公式引擎自動完成了這些,未來,PowerQuery的計算引擎也會是這樣。
其次,一個重大挑戰(zhàn)是:數(shù)據(jù)量級。面對企業(yè)級海量的數(shù)據(jù),PowerQuery處理后放在哪里呢?無縫實現(xiàn)大數(shù)據(jù):
答案是采用 Azure Data Lake 來存放數(shù)據(jù),并以內(nèi)置在 Power BI Premium 服務(wù)中:
這里值得驚嘆的是:
- 所有數(shù)據(jù)以 csv 格式存放
- 所有數(shù)據(jù)元數(shù)據(jù)(用來描述數(shù)據(jù)類型,關(guān)系,引用等)以 json 格式存放
并且微軟的所有服務(wù)在 Data Lake 中均采用這種格式存在,這是一個標準。不僅如此,這個標準是開放的,微軟的生態(tài)將和 Adobe,SAP等更多廠商一起使用這個標準,一旦數(shù)據(jù)存放,不需要做任何轉(zhuǎn)義處理,因為所有服務(wù)都是同一個標準。這將推動整個業(yè)界的數(shù)據(jù)標準化。
下面請出 Justyna Lucznik 為大家演示:
Justyna Lucznik 將為大家演示如何利用 PowerBI 數(shù)據(jù)流自動使用微軟認知服務(wù)來處理數(shù)據(jù),將 AI 能力無縫整合進入 BI,無需一行代碼實現(xiàn):
- 關(guān)鍵詞提取(例如:美團評價可以識別為標簽)
- 觀點分析(例如:評價可以判斷客戶的滿意度)
- 圖像識別(例如:可以識別客戶照片是誰)
該功能已經(jīng)發(fā)布,目前為預(yù)覽階段。這里連接到 SQL Database,和普通的PowerQuery體驗完全一樣:
選擇【AI洞察】如下:
然后就可以看到一堆 PowerQuery 函數(shù)等你使用:
這里使用 分詞 功能,選擇 分詞 函數(shù)以及要處理的字段和語種:
然后,幾秒后,分詞完畢:
就是這么簡單和任性,沒有代碼,不需要編程。
BI佐羅:微軟的認知服務(wù)以PowerQuery函數(shù)的形式給出,用戶直接使用即可,沒有任何門檻。
還可以做觀點分析(),如下:
幾秒鐘后,結(jié)果如下:
就是這么簡單和任性,沒有代碼,不需要編程。
再來看看做圖像識別,這里演示使用 Azure 機器學(xué)習(xí)的示范,一樣的,機器學(xué)習(xí)訓(xùn)練好的算法也會以 PowerQuery 函數(shù)的形式給出,如下:
這個機器學(xué)習(xí)識別圖像分類的函數(shù)時怎么來的呢?假設(shè)你的企業(yè)有稱為數(shù)據(jù)科學(xué)家的人或者可以找專業(yè)做機器學(xué)習(xí)開發(fā)的服務(wù)提供商開發(fā)一個算法,這里在 Azure 中使用 Python 訓(xùn)練一個圖像識別分類的算法,如下:
該算法由某數(shù)據(jù)科學(xué)家訓(xùn)練得到,然后授權(quán)指定用戶使用即可,獲得授權(quán)的用戶便可以在數(shù)據(jù)流中自動看到以 PowerQuery 函數(shù)形式出現(xiàn)的該機器學(xué)習(xí)算法,輕松使用。
幾秒鐘后,結(jié)果如下:
就是這么簡單和任性,沒有代碼,不需要編程。
BI佐羅:AI(包括認知服務(wù)和機器學(xué)習(xí)),你可以自己關(guān)門造輪子,也可以直接使用大型科技公司的AI服務(wù),微軟研究院歷經(jīng)多年磨礪,積累的技術(shù)開發(fā)的標準化AI產(chǎn)品服務(wù)可以極大規(guī)模降低企業(yè)使用AI的成本,而與PowerBI的集成更可以說將 AI 融入 BI ,讓 PowerBI 直接升級一個Level。
很多人和我一樣,一開始不理解到底什么是AI,什么是認知服務(wù),什么是機器學(xué)習(xí)。以下插播一段案例,讓大家徹底明白。
BI佐羅插播:微軟認知服務(wù)
下面使用微軟認知服務(wù)的案例。
文本分析
你可以在:
https://azure.microsoft.com/zh-cn/services/cognitive-services/text-analytics/
自行實驗。這里演示從一句英文中分析:
- 語言判斷
- 關(guān)鍵詞分析
- 情緒
- 名詞提取
面部識別
您可以自行實驗:
https://azure.microsoft.com/zh-cn/services/cognitive-services/face/#detection
人臉分類
還可以人臉分類哦。你也可以自行實驗:
https://azure.microsoft.com/zh-cn/services/cognitive-services/face/#verification
來看看素顏和武媚娘范爺:
這都可以識別,佩服。來個難度更大的:
可以理解。
小結(jié)
以上內(nèi)容全部是成熟的 Azure 服務(wù),未來就是一個 PowerQuery 函數(shù),大家可以想象你可以展開很多場景在企業(yè)應(yīng)用而無需任何AI代碼。
整合 AI 進入 BI
Justyna 演示完畢,教父 再次登臺,繼續(xù)演講,接著來描述整合 AI 進入 BI:
包括:
- 輕松從數(shù)據(jù)中獲得洞察力
- 零代碼 AI 集成
- 定制機器學(xué)習(xí)模塊集成
首先是自然語言查詢:
接著是我們剛剛已經(jīng)看到過的 AI 集成:
以及定制機器學(xué)習(xí)模塊:
讓我們再請出 Justyna 為我們演示一個完整的案例。
基于我們剛剛介紹到的能力,可以看一個案例:
我們從賓館的住宿記錄中來進行分析,首先可以提取關(guān)鍵詞來分析:
可以通過篩選看出那類的賓館適合怎樣的客戶:
進而對銷售的商機進行機器學(xué)習(xí)分析來進行預(yù)測:
這里可以對銷售機會創(chuàng)建一個機器學(xué)習(xí)模型:
雖然我們不是數(shù)據(jù)科學(xué)家也不會用 R 或 PY 編寫任何 AI 算法,但依然可以從 PowerBI 中集成的機器學(xué)習(xí)模塊中定制自己所需要的,這里選擇一個 是/否 判斷模型:
選擇歷史數(shù)據(jù)來訓(xùn)練模型:
定義輸入并定義模型:
可以注意到這里給出了訓(xùn)練模型的說明:
訓(xùn)練模型需要一定時間:
然后就可以使用模型來預(yù)測判斷:
并將該算法用于原有PowerBI模型進行預(yù)測:
OK。如你所見,簡單任性,沒有代碼。
教父總結(jié)
PowerBI 正從自助式分析服務(wù)構(gòu)建三大能力:
- 與企業(yè)級BI統(tǒng)一整合
- 統(tǒng)一數(shù)據(jù)準備并使用DataLake
- 集成 AI 進入 BI
形成:新的 PowerBI 體系如下:
BI佐羅:可以看出現(xiàn)有的 PowerBI 在整體版圖中還只是很小一部分。
最終,PowerBI 將實現(xiàn):
總結(jié):全新 PowerBI 將打造適應(yīng) 任何負載,任何規(guī)模 的 全局一站式統(tǒng)一BI平臺,助力數(shù)據(jù)文化成為現(xiàn)實。
這就是微軟和PowerBI:
感謝。
總結(jié)
觀看完 PASS 大會對 PowerBI 前景的描述,讓我們可以更加清晰的理解 PowerBI 的全貌。
值得強調(diào)的是:
Power BI:
- 20年來 BI/AI 領(lǐng)域變革者及領(lǐng)導(dǎo)者
- 5秒注冊,5分鐘震撼,云服務(wù),免費
- 打造一站式統(tǒng)一平臺
- 超級性價比打破市場秩序
- 快速迭代,社區(qū)驅(qū)動
現(xiàn)在,PowerBI 進化成為 新PowerBI,將打造適應(yīng) 任何負載,任何規(guī)模 的 全局一站式統(tǒng)一BI平臺,助力數(shù)據(jù)文化成為現(xiàn)實。
完。
歡迎留言以表達自己的感想,添加BI佐羅自由探討并獲取【原版視頻+字幕】。