“三只小豬蓋房子”演繹的大數(shù)據(jù)存儲
大數(shù)據(jù)的部署實施需要結(jié)合具體的應(yīng)用場景。實際上,企業(yè)大數(shù)據(jù)的存儲處理可以用 “三只小豬蓋房子”(分別使用稻草、木頭和磚頭)的故事來說明,這個故事能更形象地反映數(shù)據(jù)存儲環(huán)境下與交付服務(wù)(成本)相對應(yīng)的不同保護(hù)級別(完整性和可靠性)。
財務(wù)數(shù)據(jù)、對外報告和法規(guī)遵從性數(shù)據(jù)需在“磚房”(BRICKS)環(huán)境中存儲處理。這些數(shù)據(jù)需要可靠的硬件基礎(chǔ)設(shè)施,并與其原始來源保持一致。企業(yè)中多個職能部門使用產(chǎn)品服務(wù)定價決策、銷售業(yè)績及分析以及至關(guān)重要的員工/管理層薪酬激勵機制計算等財務(wù)數(shù)據(jù),這是很常見的情況。
精心設(shè)計的“木房”(STICK)環(huán)境可確保存儲數(shù)據(jù)牢固耐用。該環(huán)境專用于應(yīng)用程序,而并非針對企業(yè)級使用和跨職能部門數(shù)據(jù)共享而設(shè)計。該數(shù)據(jù)類型可專門用于數(shù)據(jù)轉(zhuǎn)換,通常包括大量營銷數(shù)據(jù)集市。僅數(shù)據(jù)轉(zhuǎn)換、協(xié)調(diào)及沿襲等必要功能即可滿足特定商業(yè)用途。與上述“磚房”相比,“木房”從本質(zhì)上講,成本更低,速度更快。
最后介紹“草房”(HAY)。“草房”實際上是指在需要使用數(shù)據(jù)的特定日期對數(shù)據(jù)進(jìn)行轉(zhuǎn)換、分組及匯總。其中,數(shù)據(jù)可能以原始來源的數(shù)據(jù)格式存在,幾乎不需要任何數(shù)據(jù)結(jié)構(gòu)。用戶可任意調(diào)整數(shù)據(jù)格式。雖然 “草房”設(shè)計無法輕易復(fù)制或縱向擴展,卻適用于應(yīng)對非特定、非重復(fù)性商業(yè)問題。該方案對數(shù)據(jù)協(xié)調(diào)及復(fù)制的需求低。
使用“三只小豬”的類比相當(dāng)直觀,但具體解決方案應(yīng)參考數(shù)據(jù)管控(Data Governance)方針。如能應(yīng)對自如,業(yè)務(wù)部門希望快速獲得低成本解決方案;而IT部門則需要依托可靠的解決方案,提供健全、可靠的服務(wù)。這也是業(yè)務(wù)及IT部門大多數(shù)討論中的固有矛盾。
由于部署迅速、成本低且失敗的代價低,“草房”解決方案備受關(guān)注。在新的經(jīng)濟機制下,特別是在自助式環(huán)境下用戶對數(shù)據(jù)(包括大數(shù)據(jù))價值的認(rèn)可,是數(shù)據(jù)實驗室和探索環(huán)境快速發(fā)展的原因。因此,業(yè)務(wù)部門選擇快速、低成本的解決方案也不足為奇。
但將“草房”方案升級為“木房”或“磚房”環(huán)境時,IT部門的成本令人非常震驚。“為什么他們不能使用我們兩周內(nèi)設(shè)計的解決方案?”他們可以。但在“草房”的基礎(chǔ)上部署“磚房”甚至是“木房”方案都行不通。利用“草房”的設(shè)計方案部署“木房”及“磚房”方案,將浪費IT部門大量預(yù)算。
其主要挑戰(zhàn)是識別數(shù)據(jù)重要性的數(shù)據(jù)管控策略和過程。在“草房”環(huán)境中設(shè)計出的“創(chuàng)意”方案需遷移至更穩(wěn)定的環(huán)境時,參與數(shù)據(jù)管理方式(草房、木房還是磚房)決策的相關(guān)負(fù)責(zé)人需要全面了解下游數(shù)據(jù)的重要性。
信息首發(fā):“三只小豬蓋房子”演繹的大數(shù)據(jù)存儲