單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,數據倉庫與數據挖掘,講解人,：,李婧潔,講稿設計,：,曾國強,劉歡,資料收集,：,吳婷婷,李冰潔,劉婧桃,杜曉霜,數據倉庫與數據挖掘講解人：,1,日常生活,的問題：,人們在日常生活中經常會遇到這樣的情況：,超市的經營者希望將經常被同時購買的商品放在一起，以增加銷售；,保險公司想知道購買保險的客戶一般具有哪些特征；,醫(yī)學研究人員希望從已有的成千上萬份病歷中找出患某種疾病的病人的共同特征，從而為治愈這種疾病提供一些幫助；,日常生活的問題：,2,企業(yè)面臨的問題,經過多年的計算機應用和市場積累，許多企業(yè)保存了大量原始數據和各種業(yè)務數據,它是企業(yè)生產經營活動的真實記錄，由于缺乏集中存儲和管理，這些數據不能為本企業(yè)加以利用,不能進行有效的統計、分析及評估，無法將這些數據轉換成企業(yè)有用的信息,企業(yè)面臨的問題,3,數據爆炸：,自動的數據收集工具和成熟的數據庫技術導致巨大的數據存儲在文件系統、數據庫和其它的信息庫中。,我們會淹死在數據中,但卻為信息、知識所餓!,數據爆炸：,4,面臨的問題,如何使企業(yè)或組織在激烈的市場競爭中保持對客戶的吸引力？,如何預先發(fā)現和避免企業(yè)運作過程中不易察覺的商業(yè)風險？,如何在堆積如山的企業(yè)交易數據中發(fā)現具有商業(yè)價值的閃光點？,面臨的問題,5,不同層次的信息處理需求,事物處理需求,分析處理需求,不同層次的信息處理需求事物處理需求,6,事務處理需求（,OLTP,）,不同的事務處理子系統,采購子系統：,訂單、訂單細則、供應商,銷售子系統：,顧客、銷售,庫存子系統：,出庫領料單、進料入庫單、庫存臺帳,人事子系統：,員工、部門,各種事務處理需求,一筆訂購、一筆銷售、一次進料、一次出料,要求,強調多用戶并發(fā)環(huán)境，數據的一致性、完整性,事務處理需求（OLTP）不同的事務處理子系統,7,分析處理需求(,OLAP,),今年銷售量下降的因素（時間、地區(qū)、商品、銷售部門）,某種商品今年的銷售情況與以往相比，有怎樣的變化？每年的第一季度商品銷售在各類商品上的分布情況怎樣？,要求,多個子系統中的數據（數據集成）,歷史數據,匯總、綜合的數據,分析處理需求(OLAP)今年銷售量下降的因素（時間、地區(qū)、商,8,隨著數據庫技術的應用普及和發(fā)展，人們不再僅僅滿足于一般的業(yè)務處理，而對系統提出了更高的要求：,提供決策支持,隨著數據庫技術的應用普及和發(fā)展，人們不再僅僅滿足于一般的業(yè)務,9,數據庫 數據倉庫,數據庫系統能夠很好的用于事務處理，但它對分析處理的支持一直不能令人滿意。特別是當以業(yè)務處理為主的聯機事務處理（OLTP）應用和以分析處理為主的決策支持系統(DSS)應用共存于一個數據庫系統時，就會產生許多問題（混亂現象）。,例如，事務處理應用一般需要的是當前數據，主要考慮較短的響應時間；而分析處理應用需要是歷史的、綜合的、集成的數據，它的分析處理過程可能持續(xù)幾個小時，從而消耗大量的系統資源。,數據庫 數據倉庫,10,人們逐漸認識到直接用事務處理環(huán)境來支持DSS是行不通的。要提高分析和決策的有效性，分析型處理及其數據必須與操作型處理及其數據分離（不能都在一個數據庫環(huán)境中）。必須把分析型數據從事務處理環(huán)境中提取出來，按照DSS處理的需要進行重新組織，建立單獨的分析處理環(huán)境。,數據倉庫技術正是為了構建這種新的分析處理環(huán)境而出現的一種,數據存儲,和,組織技術。,人們逐漸認識到直接用事務處理環(huán)境來支持DSS是行不通的。要提,11,數據倉庫的定義,數據倉庫,是一種面向主題的數據管理技術，它提供集成化的、歷史的數據管理功能，支持綜合性的數據分析，特別是戰(zhàn)略分析。,數據倉庫構成了DSS 和DBMS的技術基礎，它必將推動DSS研究的全面發(fā)展和方法的實用性化。,數據倉庫的定義數據倉庫是一種面向主題的數據管理技術，它提供集,12,通俗的解釋,人們專門為業(yè)務的統計分析建立一個數據中心，它的數據可以從聯機的事務處理系統、異構的外部數據源、脫機的歷史業(yè)務數據中得到；它是一個聯機的系統，專門為分析統計和決策支持應用服務，通過它可滿足決策支持和聯機分析應用所要求的一切。這個數據中心就叫作數據倉庫。,通俗的解釋人們專門為業(yè)務的統計分析建立一個數據中心，它的數據,13,特征及體系結構,數據倉庫的特征,數據倉庫的體系結構,特征及體系結構數據倉庫的特征,14,數據倉庫的體系結構,一個完整的數據倉庫結構一般由6個基本層次組成,1)數據源層。,2)數據后端處理層。,3)數據倉庫及其管理層(包括源數據管理)。,4)數據集市層。,5)數據倉庫應用層,(或稱前端處理層)。,6)數據展示層。,數據倉庫的體系結構一個完整的數據倉庫結構一般由6個基本層次組,15,數據倉庫層次結構示意圖,數據展示層,數據倉庫應用層,數據集市層,數據倉庫及管理層,數據后端處理層,數據源層,數據倉庫層次結構示意圖數據展示層數據倉庫應用層數據集市層數據,16,數據挖掘,定義：,數據挖掘(Data Mining,)，就是從存放在數據庫，數據倉庫或其他信息庫中的大量的數據中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程。,數據挖掘定義：數據挖掘(Data Mining)，就是從存放,17,經典案例尿布與啤酒,在一家超市中，人們發(fā)現了一個特別有趣的現象：尿布與啤酒這兩種風馬牛不相及的商品居然擺在一起。但這一奇怪的舉措居然使尿布和啤酒的稍量大幅增加了。這可不是一個笑話，而是一直被商家所津津樂道的發(fā)生在美國沃爾瑪連鎖超市的真實案例。,原來，美國的婦女通常在家照顧孩子，所以她們經常會囑咐丈夫在下班回家的路上為孩子買尿布，而丈夫在買尿布的同時又會順手購買自己愛喝的啤酒。這個發(fā)現為商家?guī)砹舜罅康睦麧櫍侨绾螐暮迫鐭熀s又雜亂無章的數據中，發(fā)現啤酒和尿布銷售之間的聯系呢？這又給了我們什么樣的啟示呢？,經典案例尿布與啤酒在一家超市中，人們發(fā)現了一個特別有趣的,18,數據挖掘能做以下七種分析方法,分類（Classification）,估計（Estimation）,預測（Prediction）,相關性分組或關聯規(guī)則（Affinity grouping or association rules）,聚類（Clustering）,描述和可視化（Description and Visualization）,復雜數據類型挖掘(Text,Web,圖形圖像，視頻，音頻等),數據挖掘能做以下七種分析方法分類（Classificati,19,數據挖掘分類,直接數據挖掘,：目標是利用可用的數據建立一個模型，這個模型對剩余的數據，對一個特定的變量（可以理解成數據庫中表的屬性，即列）進行描述。,間接數據挖掘,：目標中沒有選出某一具體的變量，用模型進行描述；而是在所有的變量中建立起某種關系,分類、估值、預言屬于直接數據挖掘；后三種屬于間接數據挖掘,。,數據挖掘分類直接數據挖掘：目標是利用可用的數據建立一個模型，,20,數據挖掘過程和主要步驟,數據挖掘過程和主要步驟,21,數據挖掘過程簡介,(1).確定業(yè)務對象,(2).數據準備,1)、數據的選擇,2)、數據的預處理,3)、數據的轉換,(3).,數據挖掘,(4).,結果分析,(5).,知識的同化,數據挖掘過程簡介 (1).確定業(yè)務對象,22,數據挖掘的發(fā)展前景,當前數據挖掘應用主要集中在電信、零售、農業(yè)、網絡日志、銀行、電力、生物、天體、化工、醫(yī)藥等方面?？此茝V泛，,實際應用還遠沒有普及,。而據Gartner的報告也指出，數據挖掘會成為未來10年內重要的技術之一。而數據挖掘，也已經開始成為一門獨立的專業(yè)學科。,具體發(fā)展趨勢和應用方向主要有：,對知識發(fā)現方法的研究進一步發(fā)展,，如對Bayes和Boosting方法的研究和提高；商業(yè)工具軟件不斷產生和完善，注重建立解決問題的整體系統，例如Weka等軟件。,數據挖掘的發(fā)展應是,挖掘工具,在先進理論指導下的,改進,，而就國內情況而言，還有至少,20年,的發(fā)展空間。,數據挖掘的發(fā)展前景 當前數據挖掘應用主要集中在電,23,謝謝觀賞,謝謝觀賞,24,決策支持系統,(decision support system，簡稱DSS)是輔助決策者通過數據、模型和知識，以,人機交互方式,進行半結構化或非結構化決策的計算機應用系統。,它是管理信息系統(MIS)向更高一級發(fā)展而產生的,先進信息管理系統,。它為決策者提供分析問題、建立模型、模擬決策過程和方案的環(huán)境，調用各種信息資源和分析工具，幫助決策者,提高決策水平和質量,。,決策支持系統(decision support system,25,應具備的特性,效率足夠高,數據質量可靠,可擴展性,應具備的特性效率足夠高,26,數據倉庫的四個主要特征,數據的時變性,數據的非易失性,數據是集成的,面向主題,數據倉庫的四個主要特征數據的時變性,27,subject-oriented(面向主題性),面向主題,表示了數據倉庫中數據組織的基本原則，數據倉庫中的數據都是圍繞著某一主題組織展開的。例如，企業(yè)中的客戶、產品、供應商等都可以作為主題看待。,從信息管理的角度看,，主題就是在一個較高的管理層次上對信息系統的數據按照某一具體的管理對象進行綜合、歸類所形成的分析對象。,從數據組織的角度看,，主題是一些數據集合，這些數據集合對分析對象作了比較完整的、一致的描述，這種描述不僅涉及到數據自身，而且涉及到數據之間的關系。,確定主題,是組織數據倉庫中數據的,前提,。,subject-oriented(面向主題性)面向主題表,28,integrated(數據集成性),數據倉庫的,集成性,是指根據決策分析的要求，將分散于各處的源數據進行,抽取、篩選、清理、綜合,等工作，使數據倉庫的數據具有集成性。,數據倉庫在從業(yè)務處理系統那里獲取數據時，并不能將源數據庫中的數據直接加載到數據倉庫中，而是需要進行一系列的,數據預處理,，即數據的抽取、篩選、清理、綜合等集成工作。,integrated(數據集成性)數據倉庫的集成性是指根據,29,time-variant 數據的時變性,數據倉庫的,時變性,，就是數據應該隨著時間的推移而變化。,盡管數據倉庫中的數據并不像業(yè)務數據庫那樣反映業(yè)務處理的實際狀況，但是數據也不能長期不變，如果依據10前的數據進行決策分析，那決策所帶來的后果將是十分可怕的。,time-variant 數據的時變性數據倉庫的時變性，就,30,non-volatile,數據的非易失性,數據倉庫的,非易失性,是指數據倉庫的數據不進行更新處理，而是一旦數據進入數據倉庫以后，就會,保持一個相當長的時間,。原因是數據倉庫中數據大多表示過去某一時刻的數據，主要用于查詢、分析，不像業(yè)務系統中的數據庫那樣，要經常進行修改、添加，除非數據倉庫中的數據是錯誤的。,non-volatile 數據的非易失性數據倉庫的非易失性是,31,數據源,數據源是數據倉庫的,數據來源,，它是多種OLTP系統及外部文件，,一個數據倉庫往往可以含多個數據源，這些數據源可以有多種不同數據結構類型，可以有桌面式數據庫如Access，也可以是對象關系數據庫、面向對象數據庫.同時，數據源也可以包括各種數據文件如Excel、Word以及基于WWW的HTML、XML等文件形式。,數據源一般可以分布于網絡的各個結點，通過網絡中的數據接口與數據倉庫相互連接。,數據源數據源是數據倉庫的數據來源，它是多種OLTP系統及外部,32,數據后端處理,數據后端處理：數據源中數據經提取、清洗、轉換最終成為數據倉庫所需的數據。,它的主要工作是為數據倉庫提供統一的數據并按階段及時更新這些數據。,數據后端處理,33,數據后端處理,一個完整的后端處理包括下面5個方面,1)數據提取,2)數據清洗,3)數據轉換,4)數據加載,5)數據刷新,數據后端處理一個完整的后端處理包括下面5個方面,34,后端處理4個環(huán)節(jié)的流程圖,后端處理4個環(huán)節(jié)的流程圖,35,數據倉庫及管理層,1數據倉庫,數據倉庫是存儲分析與決策數據的實體。它一般以關系結構形式存儲，能支持數據共享