首頁 考試吧論壇 Exam8視線 考試商城 網絡課程 模擬考試 考友錄 實用文檔 繽紛校園 英語學習 | ||
![]() |
2010考研 | 自學考試 | 成人高考 | 專 升 本 | 法律碩士 | MBA/MPA | 中 科 院 | |
![]() |
四六級 | 商務英語 | 公共英語 | 職稱日語 | 職稱英語 | 博思 | 口譯筆譯 | GRE GMAT | 日語 | 托福 | |
雅思 | 專四專八 | 新概念 | 自考英語 | 零起點英、法、德、日、韓語 | 在職申碩英語 | ||
在職攻碩英語 | 成人英語三級 | ||
![]() |
等級考試 | 水平考試 | 微軟認證 | 思科認證 | Oracle認證 | Linux認證 | |
![]() |
公務員 | 報關員 | 報檢員 | 外銷員 | 司法考試 | 導游考試 | 教師資格 | 國際商務師 | 跟單員 | |
單證員 | 物流師 | 價格鑒證師 | 銀行從業資格 | 證券從業資格 | 人力資源管理師 | 管理咨詢師 | ||
期貨從業資格 | 社會工作者 | ||
![]() |
會計職稱 | 注會CPA | 經濟師 | 統計師 | 注冊稅務師 | 評估師 | 精算師 | 高會 | ACCA | 審計師 | |
法律顧問 | 會計證 | ||
![]() |
一級建造師 | 二級建造師 | 造價師 | 監理師 | 安全師 | 咨詢師 | 結構師 | 建筑師 | 安全評價師 | |
房地產估價師 | 土地估價師 | 設備監理師 | 巖土工程師 | 質量資格 | 房地產經紀人 | 造價員 | ||
投資項目管理 | 土地代理人 | 環保師 | 環境影響評價 | 物業管理師 | 城市規劃師 | 公路監理師 | ||
公路造價工程師 | 招標師 | ||
![]() |
執業護士 | 執業醫師 | 執業藥師 | 衛生資格 |
關鍵詞:數據倉庫(DW),操作數據存儲(ODS),即時聯機分析處理(OLAP)
1.問題提出
面向主題的數據倉庫(DW)概念的提出,不但為有效地支持企業經營管理決策提供了一個全局一致的數據環境,也為歷史數據,綜合數據的處理提出了一種行之有效的解決方法。數據倉庫概念的提出也清楚的把數據處理劃分為了操作型處理和分析型處理兩種不同類型,從而建立起了DB-DW的兩層體系結構。但是有很多情況,DB-DW的兩層體系結構并不能涵蓋企業所有的數據處理要求,因為企業的數據處理雖然可以較為粗略的劃分成操作型和分析型兩部分,但這兩種類型也不是涇渭分明的,它們之間也有交叉的情況,譬如,有些是操作型的,但不適合在操作型DB中進行,而又有一些是分析型處理,但不適合在DW中進行。
比如我們開發的一個醫藥銷售公司的決策系統,按要求公司經理要解決什么商品該進貨了,各種商品近來的贏利情況,客戶的信任情況等等。要回答這些問題,他必須首先要弄清楚藥品的存貨是否充裕,還要了解該藥品近期的銷售情況,另外還要和別的藥品的庫存和銷售情況進行比較等。如果我們把這個決策分析過程放在原有的面向應用的分散DB系統中去完成的話,不一定得到每個部門的準確一致的信息,而要進行各部門間的協調配合,工作量勢必會很大,但如果把其放在DW中去進行分析的話,不但費時,而且會有很多的不必要的數據檢索存在。
對于上述問題可以借助于DB-DW的中間層ODS(操作數據存儲)來解決。它象DW一樣是一種面向主題,集成的數據環境,又象操作型DB一樣包含著全局一致的,細節的當前的數據。建立基于ODS的即時OLAP應用是應中層決策分析之需要的一種解決方案,它能很好的適應企業日常頻繁的中低層次的決策分析應用。
2.ODS技術和即時OLAP
是用于支持企業日常的全局應用的數據集合,ODS的數據具有面向主題、集成的、可變的和數據是當前的或是接近當前的4個基本特征。ODS是介于DB和DW之間的一種數據存儲技術,和原來面向應用的分散的DB相比,ODS中的數據組織方式和數據倉庫(DW)一樣也是面向主題的和集成的,所以對進入ODS的數據也象進入數據倉庫的數據一樣進行轉化和集成處理。另外ODS只是存放當前或接近當前的數據,如果需要的話還可以對ODS中的數據進行增、刪和更新等操作,雖然DW中的數據也是面向主題和集成的,但這些數據一般不進行修改,所以ODS和DW的區別主要體現數據的可變性和當前性上。
ODS主要是適應企業級的全局應用的需要而產生的,對它的應用主要是在即時"OLAP"的數據處理上。
我們在DW上實現OLAP主要是為了進行長期趨勢分析,DW中是數據量很大,所以OLAP應用的運行時間都比較長。在企業日常經營中,常常要進行一些非戰略的中層決策以實現企業的日常管理和控制,譬如,醫藥銷售公司經理要每周查看藥品的銷售情況,各地區的藥品銷售情況,業務員的業績情況等等,并且這種決策過程并不需要參考太多的歷史數據,主要是參考當前的或比較當前的數據,還需要比較快的執行速度,可以把這種分析決策稱為"即時OLAP"。顯然利用DW不但運行的效率是無法讓人忍受而且也很難準確的反映近期的真實情況,ODS的建立克服了DW系統過于臃腫,處理時間過長和不適應即時OLAP的情況,提供給中層決策者以快捷準確的分析信息。
在DB-ODS的體系結構中,ODS的實現機制表現在其記錄系統定義的數據傳送關系上,如圖1所示。操作型環境中各分散的DB記錄經過過濾后形成了ODS系統的記錄系統,向ODS系統中提供數據。記錄系統定義了原有分散DB中那些數據送往ODS,并指明與ODS數據相應的數據表。通過ODS的定義可以把分散于應用的DB中的數據復制到ODS中去,這樣原來的分散DB中的記錄就形成了ODS中的面向主題的記錄。ODS維護著一個分析型的環境,數據處理簡單得多,實際需要的支持技術也很少。
圖1 從DB向ODS轉化機制
上圖沒有給出從ODS向DB轉化的實現機制,這種情況主要用在有關企業全局操作應用的情況,可以通過在ODS系統中存放一些參數表,它所反應的關系是ODS全局更新時必須要反應到所有DB中的相關記錄。此時,ODS是一個操作型環境,實現ODS所要求的技術跟原來的面向應用的分散的數據庫系統一樣,包括事務管理、封鎖管理、數據恢復等等技術。
3 基于ODS的藥品銷售即時OLAP應用的設計
我們知道ODS是介于DB和DW之間的一種新的數據存儲技術,它兼有DW和DB的特點,在開發即時OLAP系統時,其開發方式更接近DW的開發模式。
該藥品銷售公司原本的一個銷售數據庫管理系統數據庫結構如圖2所示,是分布在
圖2 源數據庫ER模型
ACCESS97數據庫中,分屬于財務,銷售和庫存等幾個數據庫中。
根據前面的分析,優先選擇銷售區域,客戶和藥品三個在銷售領域最關切的的主題,把事務數據庫中涉及到此領域的數據轉入到ODS中。ODS(主要對照DW)邏輯模型的類別主要有星形模型,雪花模型和混合模型等三種,我們在開發ODS邏輯模型時用了星形模型。一個簡單的星形模型由一個事實表和若干個維表組成,而復雜的的星形模型可能包括數百個維表。星形模型從支持商務決策的角度定義了數據實體,它能客觀在實體中反映商務運行的規則和屬性,與后兩種模型相比,設計相對簡單,更容易被用戶所理解和接受,圖3是本系統的邏輯模型。
圖3 ODS的星形模型
定義記錄系統時,主要考慮如何將主題域的各個屬性分配到應用系統中去,這里主要考慮把各主題中的屬性分配到藥品銷售的操作環境中的銷售和庫存等子系統中。
數據采集過程跨越分散DB操作環境和ODS分析環境。本系統中數據采集過程較為簡單,只需要按照ODS記錄系統和ODS記錄系統定義兩者之間的映射關系,將DB中的數據傳送到ODS,這里我們采用了SQL SERVER 7.0的DTS數據轉換服務,SQL SERVER 7.0的DTS(Data Transformation Services)提供了數據的提取,轉換和裝載的功能。利用SQL SERVER 7。0的輸入輸出向導創建DTS包,在復制時使用SNAPSHOT(快照類型)對ODS中的數據進行清除和重建,由于數據量不是很大,故可以取得很好的執行效率。