互聯(lián)網(wǎng)公司普通進(jìn)步迅速. 一方面, 業(yè)務(wù)飛速進(jìn)步, 當(dāng)前使用的方式和模型每天都在變革; 企業(yè)的產(chǎn)品也在經(jīng)歷一直的下線上線過程. 資料倉庫如何擁抱變革, 是難點(diǎn)之一.
互聯(lián)網(wǎng)的運(yùn)營人員從了解經(jīng)營情況轉(zhuǎn)化為精細(xì)化運(yùn)營, 這就于要求資料倉庫具備提供明細(xì)資料水平, 資料倉庫如何在龐大資料量的前提下, 實(shí)現(xiàn)滿足差異層次的資料提出和分析, 是難點(diǎn)之二.
資料經(jīng)過ETL后來到達(dá)應(yīng)用資料者手里; 提取資料和提出資料的需要往往來自差異的部門和出于差異的目標(biāo). 這普通會導(dǎo)致資料口徑不一致, 資料含意模糊, 甚至資料正確性很難校驗(yàn). 資料倉庫如何提升/增加資料口徑一致, 資料途徑可追溯性, 是難點(diǎn)之三.
資料倉庫的使用行業(yè)除了各個(gè)業(yè)務(wù)部門還包含技術(shù)部門自身. 因?yàn)楹A抠Y料解決, 互聯(lián)網(wǎng)的技術(shù)架構(gòu)越來越依賴大資料平臺的支持. 一個(gè)點(diǎn)上平臺每天都會有數(shù)以萬記的店鋪和商品更新, 數(shù)以億計(jì)的用戶日志, 訂單資料等. 這些資料在毫無保留的消息隊(duì)列匯總到資料倉庫中. 如果應(yīng)用資料倉庫進(jìn)行再生產(chǎn)是技術(shù)架構(gòu)重點(diǎn)考慮的事情. 資料倉庫擁有其他資料平臺無奈比擬的橫向擴(kuò)展和迭代計(jì)算水平, 可以直接或者間接面向用戶提供資料服務(wù). 這也是大資料的機(jī)遇之一.
咱們對于近源資料層的定位是可以"快速"的構(gòu)建基礎(chǔ)資料平臺. 不做業(yè)務(wù)相干的解決可以讓這局部的工作專一在大資料架構(gòu)正確性和穩(wěn)定性的問題.