PASS 饕餮盛宴:微軟大布局 PowerBI定義BI未來

2018 PASS峰會于 11.5~11.9 舉行完畢,本文簡介PASS峰會中有關(guān)PowerBI企業(yè)現(xiàn)代商務(wù)智能的進展以及未來展望,絕對震撼,超乎想象。

文后附贈完整大會視頻。

關(guān)于 PASS

PASS是一個由社區(qū)和社區(qū)運營的非營利組織。PASS支持全球使用Microsoft數(shù)據(jù)平臺的數(shù)據(jù)專業(yè)人員。PASS峰會是Microsoft數(shù)據(jù)平臺社區(qū)最大的技術(shù)會議

PASS努力通過以下方式履行其使命:

  • 通過我們的本地和虛擬團體,在線活動,地方和區(qū)域活動以及國際會議促進會員聯(lián)網(wǎng)和信息交流。
  • 為深入學(xué)習(xí)和專業(yè)發(fā)展提供高質(zhì)量,及時的技術(shù)內(nèi)容。

PASS由CA Technologies和Microsoft于1999年共同創(chuàng)立,旨在推廣和教育全球的SQL Server用戶。自成立以來,PASS已在全球范圍內(nèi)擴展,并使其成員多元化,以包容所有使用任何Microsoft數(shù)據(jù)技術(shù)的專業(yè)人士。

PowerBI 主題演講

開始。

總結(jié) PowerBI 的發(fā)展

PowerBI最新的發(fā)展現(xiàn)狀:

PowerBI要做的就是打造數(shù)據(jù)文化:

PowerBI堅守著不變的宗旨:

這又是PowerBI不可思議的一年:

已經(jīng)形成了興旺的生態(tài):

并已形成了大型的社區(qū):

一起回顧下2018年P(guān)owerBI的發(fā)展:

總結(jié)下來,可以歸類為:

回顧最近12個月,可以概括為:

  • 自助分析趨于成熟
  • 大規(guī)模企業(yè)應(yīng)用不斷增強
  • 跨越式的改進

PowerBI 在自助分析角度的發(fā)展

從 自助分析 角度來看,可以概括為:

具體包括:

佐羅:視覺對象智能對齊,該功能目前暫未出現(xiàn)(截止2018.11),或許這將在2018.12發(fā)布。

除此以外:

PowerBI 在企業(yè)應(yīng)用方面的發(fā)展

BI佐羅:對于企業(yè)級應(yīng)用使用 Premium 版本,實際 8 核的 P1 可以覆蓋1450個用戶的使用,折算成本相當于3.45美元/人/月。

目前正在使用 PowerBI 的各行業(yè)典型客戶:

PowerBI的使用飛速增長:

BI佐羅:PowerBI的使用增長速度非常快,截止2018.10,同比YTD增長了7倍。

OK。以上就是截止 2018.11 PowerBI 的發(fā)展總結(jié)。相信大家和我一樣,對PoweBI 在 2018年的整體發(fā)展有了一個宏觀了解。

現(xiàn)代商業(yè)智能的未來趨勢

該部分由 Amir Netz 為大家呈現(xiàn)。

首先介紹一下 Amir Netz,他是:

他是微軟PowerBI及商業(yè)智能平臺首席技術(shù)官,也是SSAS,VertiPaq(運行在PowerBI內(nèi)部的引擎)以及PowerPivot 教父

他是位非常有激情的技術(shù)專家:

不難看出,Amir 為技術(shù)的付出已經(jīng)表現(xiàn)在他的照片上了。致敬!讓我們來認真聽取 Amir 為我們帶來的精彩演講。

教父指出:數(shù)據(jù)文化的形成是一種網(wǎng)絡(luò)效應(yīng),需要人人都可以參與進來,人們應(yīng)該可以找到他們所需要的所有數(shù)據(jù)并同時可以分享給任何需要的人,從而一起自然形成一個沒有邊界的數(shù)據(jù)組織。并強調(diào):各自為政的分散式模式是不利于構(gòu)成數(shù)據(jù)文化的

因此,微軟構(gòu)建了統(tǒng)一的全局BI平臺,為每一個組織,應(yīng)對任何工作負荷及規(guī)模。

首先就是要將自助式BI與企業(yè)級BI統(tǒng)一起來:

我們知道 PowerBI 已經(jīng)可以讓任何人都可以在其基礎(chǔ)上快速構(gòu)建模型和交互式報告,但我們很快就會面臨企業(yè)級的需求:

BI佐羅:很多人(包括自己)都會發(fā)現(xiàn),使用 Power BI Pro 很快就會達到極限(邊界),例如:企業(yè)有 上千萬行 數(shù)據(jù)要處理,并統(tǒng)一提供給終端用戶使用,這在現(xiàn)實中超出了 Power BI Pro 的能力范圍,不管從加載速度,數(shù)據(jù)重復(fù)利用,性能等方面。

目前正將 SSAS 的能力逐步引入 PowerBI,其實這些能力早就在那里了,因此 PowerBI 的底層和 SSAS 的底層技術(shù)是一樣的。

BI佐羅:Amir Netz 既然是 SSAS 及 VertiPaq 教父,相信他應(yīng)該會一直優(yōu)化 VertiPaq ,也就是 Tabular 模型。

另外正在做到就是處理企業(yè)級報表。

再有,就是企業(yè)如何治理及控制:

這其實也包括很多重要內(nèi)容:

例如:中國的網(wǎng)路安全法規(guī)定中國的數(shù)據(jù)不可以離開中國,那PowerBI應(yīng)該保證這點;以及如何追蹤數(shù)據(jù)的使用;元數(shù)據(jù)管理及生命周期管理等。

至此,教父的演講告一段落,接下來應(yīng)該演示一些內(nèi)容,教父請出高級項目經(jīng)理 Christian Wade 為大家演示:

讓我們一起跟隨 Christian 來實際感受 PowerBI 帶來的可能:

一上來就直接高潮,整出來100張表的模型:

利用已經(jīng)在 2018.11 發(fā)布的模型視圖功能,可以輕松管理大型模型并將其拆分成不同部分:

并將度量值裝入文件夾,進行管理:

接著演示企業(yè)報表功能:

當然,每次都會刷新一下PowerBI處理大規(guī)模數(shù)據(jù)的能力:

這次是:60000億行數(shù)據(jù)。

用戶可以直接拖拽字段和指標并可視化,而且非常流暢,例如達成如下效果不到3秒:

這反映了Top100的客戶的所有歷史訂單,高達10億筆,也是個不小的數(shù)字。

PowerBI 采用了 聚合 的原理(該功能已于2018.11正式發(fā)布)在物理上實現(xiàn)這點。但如果用戶向下鉆取到詳細數(shù)據(jù),這是非聚合數(shù)據(jù),又會怎樣呢?

系統(tǒng)也會很快返回明細數(shù)據(jù)。可以用性能監(jiān)視器監(jiān)測,可以看到:

當用戶(拖拽的)查詢請求可以命中聚合時,將直接返回結(jié)果;而若無法命中聚合,則使用 DirectQuery 的方式去數(shù)據(jù)源進行查詢。

BI佐羅:目前這里有兩個物理限制,或者說是技術(shù)難點,第一,數(shù)據(jù)源與PowerBI之間必須可以實現(xiàn) DirectQuery ;第二,數(shù)據(jù)源在運行和返回大規(guī)模查詢時必須很快。

這里使用的數(shù)據(jù)源是 Azure SQL Data Warehouse , 中國的用戶可以參考:

https://www.azure.cn/zh-cn/home/features/sql-data-warehouse/

這里非常值得一提的是:

用性能監(jiān)視器是可以連接到 PowerBI 平臺內(nèi)部引擎以查看其引擎工作狀態(tài)的,因為前面已經(jīng)介紹了,PowerBI 的底層原理正是 SSAS 教父當年發(fā)明的 VertiPaq 引擎,所以只要 教父 同意企業(yè)可以連接到發(fā)動機,那就可以查看其運行情況。

如果用 SSMS 連接 PowerBI 工作區(qū)的話,會發(fā)現(xiàn):

這好像是 SSAS 服務(wù)嘛~ 沒錯,這的的確確就是 SSAS Tabular 模型服務(wù),PowerBI 將會開放內(nèi)部引擎連接點給到企業(yè)用戶,以便企業(yè)用戶可以追蹤其工作性能,PowerBI 將會成為 SSAS 的超集存在

(現(xiàn)場發(fā)出驚呼)

演示完畢,教父上臺繼續(xù)接著講,高潮起來了,教父也很激動,先切換好PPT,繼續(xù):

由于 SSAS 和 SSRS 是非常成熟的技術(shù)并廣泛用于現(xiàn)代,很多企業(yè)中甚至布滿了孤立的 SSAS ,到處都是:

但現(xiàn)在企業(yè)可以將這些分散的無法得到有效控制的孤立SSAS及SSRS全部整合到PowerBI:

PowerBI 正在致力于實現(xiàn)這件事,不久,企業(yè)就可以做到把這些全部整合到云端,完全受控,全局統(tǒng)一。

下面,來說說接下來(明年,2019)的變化,首先來看看統(tǒng)一數(shù)據(jù)準備:

這被稱為:數(shù)據(jù)流

數(shù)據(jù)流的核心使命是:打造可重用的ETL。并且使用的技術(shù)是 PowerQuery,PowerQuery 已經(jīng)內(nèi)置在 PowerBI,甚至是Excel中,不再需要使用IT才能玩轉(zhuǎn)的SSIS,甚至在家中就可以定義 PowerQuery ,輕松完成企業(yè)統(tǒng)一的數(shù)據(jù)準備。

當然,這里要應(yīng)對復(fù)雜場景的挑戰(zhàn):
首先,就是一致性。如果確保企業(yè)中不斷變化的ETL過程,而且可能是多個不同的ETL過程,總是得到完全一致的數(shù)據(jù)結(jié)果:

上圖反映了來自85個數(shù)據(jù)源的313個數(shù)據(jù)轉(zhuǎn)換過程,該過程被革命性的計算引擎管控,一旦任何數(shù)據(jù)源發(fā)生變化,整體全部刷新,永遠保持一致性。這就像在Excel中按 F9 來重新計算,所有有關(guān)聯(lián)關(guān)系的單元格全部計算,保持 Excel 不同頁面凡是用到同樣數(shù)據(jù)的全部保持最新并且一致,而 Excel 的公式引擎自動完成了這些,未來,PowerQuery的計算引擎也會是這樣。

其次,一個重大挑戰(zhàn)是:數(shù)據(jù)量級。面對企業(yè)級海量的數(shù)據(jù),PowerQuery處理后放在哪里呢?無縫實現(xiàn)大數(shù)據(jù):

答案是采用 Azure Data Lake 來存放數(shù)據(jù),并以內(nèi)置在 Power BI Premium 服務(wù)中:

這里值得驚嘆的是:

  • 所有數(shù)據(jù)以 csv 格式存放
  • 所有數(shù)據(jù)元數(shù)據(jù)(用來描述數(shù)據(jù)類型,關(guān)系,引用等)以 json 格式存放

并且微軟的所有服務(wù)在 Data Lake 中均采用這種格式存在,這是一個標準。不僅如此,這個標準是開放的,微軟的生態(tài)將和 Adobe,SAP等更多廠商一起使用這個標準,一旦數(shù)據(jù)存放,不需要做任何轉(zhuǎn)義處理,因為所有服務(wù)都是同一個標準。這將推動整個業(yè)界的數(shù)據(jù)標準化。

下面請出 Justyna Lucznik 為大家演示:


Justyna Lucznik 將為大家演示如何利用 PowerBI 數(shù)據(jù)流自動使用微軟認知服務(wù)來處理數(shù)據(jù),將 AI 能力無縫整合進入 BI,無需一行代碼實現(xiàn):

  • 關(guān)鍵詞提取(例如:美團評價可以識別為標簽)
  • 觀點分析(例如:評價可以判斷客戶的滿意度)
  • 圖像識別(例如:可以識別客戶照片是誰)

該功能已經(jīng)發(fā)布,目前為預(yù)覽階段。這里連接到 SQL Database,和普通的PowerQuery體驗完全一樣:

選擇【AI洞察】如下:

然后就可以看到一堆 PowerQuery 函數(shù)等你使用:

這里使用 分詞 功能,選擇 分詞 函數(shù)以及要處理的字段和語種:

然后,幾秒后,分詞完畢:

就是這么簡單和任性,沒有代碼,不需要編程。

BI佐羅:微軟的認知服務(wù)以PowerQuery函數(shù)的形式給出,用戶直接使用即可,沒有任何門檻。

還可以做觀點分析(),如下:

幾秒鐘后,結(jié)果如下:

就是這么簡單和任性,沒有代碼,不需要編程。

再來看看做圖像識別,這里演示使用 Azure 機器學(xué)習(xí)的示范,一樣的,機器學(xué)習(xí)訓(xùn)練好的算法也會以 PowerQuery 函數(shù)的形式給出,如下:

這個機器學(xué)習(xí)識別圖像分類的函數(shù)時怎么來的呢?假設(shè)你的企業(yè)有稱為數(shù)據(jù)科學(xué)家的人或者可以找專業(yè)做機器學(xué)習(xí)開發(fā)的服務(wù)提供商開發(fā)一個算法,這里在 Azure 中使用 Python 訓(xùn)練一個圖像識別分類的算法,如下:

該算法由某數(shù)據(jù)科學(xué)家訓(xùn)練得到,然后授權(quán)指定用戶使用即可,獲得授權(quán)的用戶便可以在數(shù)據(jù)流中自動看到以 PowerQuery 函數(shù)形式出現(xiàn)的該機器學(xué)習(xí)算法,輕松使用。

幾秒鐘后,結(jié)果如下:

就是這么簡單和任性,沒有代碼,不需要編程。

BI佐羅:AI(包括認知服務(wù)和機器學(xué)習(xí)),你可以自己關(guān)門造輪子,也可以直接使用大型科技公司的AI服務(wù),微軟研究院歷經(jīng)多年磨礪,積累的技術(shù)開發(fā)的標準化AI產(chǎn)品服務(wù)可以極大規(guī)模降低企業(yè)使用AI的成本,而與PowerBI的集成更可以說將 AI 融入 BI ,讓 PowerBI 直接升級一個Level。

很多人和我一樣,一開始不理解到底什么是AI,什么是認知服務(wù),什么是機器學(xué)習(xí)。以下插播一段案例,讓大家徹底明白。

BI佐羅插播:微軟認知服務(wù)

下面使用微軟認知服務(wù)的案例。

文本分析

你可以在:

https://azure.microsoft.com/zh-cn/services/cognitive-services/text-analytics/

自行實驗。這里演示從一句英文中分析:

  • 語言判斷
  • 關(guān)鍵詞分析
  • 情緒
  • 名詞提取

面部識別

您可以自行實驗:

https://azure.microsoft.com/zh-cn/services/cognitive-services/face/#detection

人臉分類

還可以人臉分類哦。你也可以自行實驗:

https://azure.microsoft.com/zh-cn/services/cognitive-services/face/#verification

來看看素顏和武媚娘范爺:

這都可以識別,佩服。來個難度更大的:

可以理解。

小結(jié)

以上內(nèi)容全部是成熟的 Azure 服務(wù),未來就是一個 PowerQuery 函數(shù),大家可以想象你可以展開很多場景在企業(yè)應(yīng)用而無需任何AI代碼。

整合 AI 進入 BI

Justyna 演示完畢,教父 再次登臺,繼續(xù)演講,接著來描述整合 AI 進入 BI:

包括:

  • 輕松從數(shù)據(jù)中獲得洞察力
  • 零代碼 AI 集成
  • 定制機器學(xué)習(xí)模塊集成

首先是自然語言查詢:

接著是我們剛剛已經(jīng)看到過的 AI 集成:

以及定制機器學(xué)習(xí)模塊:

讓我們再請出 Justyna 為我們演示一個完整的案例。

基于我們剛剛介紹到的能力,可以看一個案例:

我們從賓館的住宿記錄中來進行分析,首先可以提取關(guān)鍵詞來分析:

可以通過篩選看出那類的賓館適合怎樣的客戶:

進而對銷售的商機進行機器學(xué)習(xí)分析來進行預(yù)測:

這里可以對銷售機會創(chuàng)建一個機器學(xué)習(xí)模型:

雖然我們不是數(shù)據(jù)科學(xué)家也不會用 R 或 PY 編寫任何 AI 算法,但依然可以從 PowerBI 中集成的機器學(xué)習(xí)模塊中定制自己所需要的,這里選擇一個 是/否 判斷模型:

選擇歷史數(shù)據(jù)來訓(xùn)練模型:

定義輸入并定義模型:

可以注意到這里給出了訓(xùn)練模型的說明:

訓(xùn)練模型需要一定時間:

然后就可以使用模型來預(yù)測判斷:

并將該算法用于原有PowerBI模型進行預(yù)測:

OK。如你所見,簡單任性,沒有代碼。

教父總結(jié)

PowerBI 正從自助式分析服務(wù)構(gòu)建三大能力:

  • 與企業(yè)級BI統(tǒng)一整合
  • 統(tǒng)一數(shù)據(jù)準備并使用DataLake
  • 集成 AI 進入 BI

形成:新的 PowerBI 體系如下:

BI佐羅:可以看出現(xiàn)有的 PowerBI 在整體版圖中還只是很小一部分。

最終,PowerBI 將實現(xiàn):

總結(jié):全新 PowerBI 將打造適應(yīng) 任何負載,任何規(guī)模 的 全局一站式統(tǒng)一BI平臺,助力數(shù)據(jù)文化成為現(xiàn)實

這就是微軟和PowerBI:

感謝。

總結(jié)

觀看完 PASS 大會對 PowerBI 前景的描述,讓我們可以更加清晰的理解 PowerBI 的全貌。

值得強調(diào)的是:

Power BI:

  • 20年來 BI/AI 領(lǐng)域變革者及領(lǐng)導(dǎo)者
  • 5秒注冊,5分鐘震撼,云服務(wù),免費
  • 打造一站式統(tǒng)一平臺
  • 超級性價比打破市場秩序
  • 快速迭代,社區(qū)驅(qū)動

現(xiàn)在,PowerBI 進化成為 新PowerBI,將打造適應(yīng) 任何負載,任何規(guī)模 的 全局一站式統(tǒng)一BI平臺,助力數(shù)據(jù)文化成為現(xiàn)實。

完。

歡迎留言以表達自己的感想,添加BI佐羅自由探討并獲取【原版視頻+字幕】。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,030評論 6 531
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 98,310評論 3 415
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,951評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,796評論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,566評論 6 407
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 55,055評論 1 322
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,142評論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 42,303評論 0 288
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 48,799評論 1 333
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 40,683評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,899評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,409評論 5 358
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 44,135評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,520評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,757評論 1 282
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,528評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,844評論 2 372

推薦閱讀更多精彩內(nèi)容