最新数据仓库实践培训PPT课件.ppt 56页

'数据仓库实践培训 什么是OLTP（联机事务处理）？On-LineTransactionProcessing联机事务处理系统(OLTP)也称为面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。这样做的最大优点是可以即时地处理输入的数据，及时地回答。也称为实时系统(RealtimeSystem)。衡量联机事务处理系统的一个重要性能指标是系统性能，具体体现为实时响应时间(ResponseTime)，即用户在终端上送入数据之后，到计算机对这个请求给出答复所需要的时间。　　OLTP数据库旨在使事务应用程序仅写入所需的数据，以便尽快处理单个事务。支持大量并发用户定期添加和修改数据。反映实时变化的对象状态，但不保存其历史记录。包含大量数据，其中包括用于验证事务的大量数据。一般具有复杂的数据结构。可以进行优化以对事务活动做出响应。提供用于支持单位日常运营的技术基础结构。个别事务能够很快地完成，并且只需访问相对较少的数据。OLTP系统旨在处理同时输入的成百上千的事务。OLTP系统中的数据主要被组织为支持一些事务性的数据操作，完成基础业务数据的增、删、改及简单的查询操作，这些操作往往是基于关系数据库的数据操作。包括的应用系统小型的有如MIS、OA系统、电子商务交易系统、财务系统、eHR等；大型的如ERP、BOSS等。这类应用系统对响应时间要求比较高，强调的是密集数据更新处理的性能和系统的可靠性及效率。定义特征应用领域 什么是OLAP（联机分析处理）？联机分析处理（OLAP）的概念最早是由关系数据库之父E.F.Codd于1993年提出的。当时，Codd认为联机事务处理(OLTP）已不能满足终端用户对数据库复杂查询分析的需要，SQL对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求，因此Codd提出了多维数据库和多维分析的概念即OLAP。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果，OLAP的技术核心就是“维度”这个概念。基本多维分析操作有钻取（rollup和drilldown）、切片（slice）和切块（dice）、以及旋转（pivot）、drillacross、drillthrough等。钻取是改变维的层次，变换分析的粒度。它包括向上钻取（rollup）和向下钻取（drilldown）。切片和切块是在一部分维上选定值后，关心度量数据在剩余维上的分布。旋转是变换维的方向，即在表格中重新安排维的放置（例如行列互换）。ROLAP表示基于关系数据库的OLAP实现（RelationalOLAP）。以关系数据库为核心,以关系型结构进行多维数据的表示和存储MOLAP表示基于多维数据结构组织的OLAP实现（MultidimensionalOLAP）MOLAP使用多维数组存储数据。HOLAP表示基于混合数据组织的OLAP实现（HybridOLAP）。如低层是关系型的，高层是多维矩阵型的。这种方式具有更好的灵活性。定义OLAP操作OLAP存储 数据仓库建立“五步法”二、确定度量它们一般为数值型数据。我们或者将该数据汇总，或者将该数据取次数、独立次数或取最大最小值等，这样的数据称为量度。量度是要统计的指标，必须事先选择恰当，基于不同的量度可以进行复杂关键性能指标(KPI)等的设计和计算。在确定了主题以后，我们将考虑要分析的技术指标，诸如年销售额之类 数据仓库建立“五步法”三、确定事实数据粒度例如：假设目前的数据最小记录到秒，即数据库中记录了每一秒的交易额。那么，如果我们可以确认，在将来的分析需求中，时间只需要精确到天就可以的话，我们就可以在ETL处理过程中，按天来汇总数据，此时，数据仓库中量度的粒度就是“天”;反过来，如果我们不能确认将来的分析需求在时间上是否需要精确到秒，那么，我们就需要遵循“最小粒度原则”，在数据仓库的事实表中保留每一秒的数据，以便日后对“秒”进行分析。在采用“最小粒度原则”的同时，我们不必担心海量数据所带来的汇总分析效率问题，因为在后续建立多维分析模型(CUBE)的时候，我们会对数据提前进行汇总，从而保障产生分析结果的效率。关于建立多维分析模型(CUBE)的相关问题，我们将在下期栏目中予以阐述。在确定了量度之后，我们要考虑到该量度的汇总情况和不同维度下量度的聚合情况。考虑到量度的聚合程度不同，我们将采用“最小粒度原则”，即将量度的粒度设置到最小。 数据仓库建立“五步法”四、确定维度这里我们首先要确定维度的层次(Hierarchy)和级别(Level)(图四：pic4.bmp)。如图所示，我们在时间维度上，按照“年-季度-月”形成了一个层次，其中“年”、“季度”、“月”成为了这个层次的3个级别;同理，当我们建立产品维度时，我们可以将“产品大类-产品子类-产品”划为一个层次，其中包含“产品大类”、“产品子类”、“产品”三个级别。那么，我们分析中所用到的这些维度，在数据仓库中的存在形式是怎样的呢?我们可以将3个级别设置成一张数据表中的3个字段，比如时间维度;我们也可以使用三张表，分别保存产品大类、产品子类、产品三部分数据，比如产品维度。(图五：pic5.bmp)　　另外，值得一提的是，我们在建立维度表时要充分使用代理键。代理键是数值型的ID号码(例如图六中每张表的第一个字段)，它唯一标识了每一维度成员。更重要的是，在聚合时，数值型字段的匹配和比较，JOIN效率高，便于聚合。同时，代理键对缓慢变化维度有着重要的意义，在原数据主键相同的情况下，它起到了对新数据与历史数据的标识作用。维度是指分析的各个角度。例如我们希望按照时间，或者按照地区，或者按照产品进行分析，那么这里的时间、地区、产品就是相应的维度。基于不同的维度，我们可以看到各量度的汇总情况，也可以基于所有的维度进行交叉分析。 数据仓库建立“五步法”四、确定维度在此，我们不妨谈一谈维度表随时间变化的问题，这是我们经常会遇到的情况，我们称其为缓慢变化维度。比如我们增加了新的产品，或者产品的ID号码修改了，或者产品增加了一个新的属性，此时，维度表就会被修改或者增加新的记录行。这样，我们在ETL的过程中，就要考虑到缓慢变化维度的处理。对于缓慢变化维度，有三种情况：1、缓慢变化维度第一种类型：历史数据需要修改。这种情况下，我们使用UPDATE方法来修改维度表中的数据。例如：产品的ID号码为123，后来发现ID号码错了，需要改写成456，那么，我们就在ETL处理时，直接修改维度表中原来的ID号码为456。2、缓慢变化维度第二种类型：历史数据保留，新增数据也要保留。这时，要将原数据更新，将新数据插入，我们使用UPDATE/INSERT。比如：某一员工2005年在A部门，2006年时他调到了B部门。那么在统计2005年的数据时就应该将该员工定位到A部门;而在统计2006年数据时就应该定位到B部门，然后再有新的数据插入时，将按照新部门(B部门)进行处理，这样我们的做法是将该维度成员列表加入标识列，将历史的数据标识为“过期”，将目前的数据标识为“当前的”。另一种方法是将该维度打上时间戳，即将历史数据生效的时间段作为它的一个属性，在与原始表匹配生成事实表时将按照时间段进行关联，这种方法的好处是该维度成员生效时间明确。3、缓慢变化维度第三种类型：新增数据维度成员改变了属性。例如：某一维度成员新加入了一列，该列在历史数据中不能基于它浏览，而在目前数据和将来数据中可以按照它浏览，那么此时我们需要改变维度表属性，即加入新的字段列。那么，我们将使用存储过程或程序生成新的维度属性，在后续的数据中将基于新的属性进行查看。 数据仓库建立“五步法”五、创建事实表在确定好事实数据和维度后，我们将考虑加载事实表。在公司的大量数据堆积如山时，我们想看看里面究竟是什么，结果发现里面是一笔笔生产记录，一笔笔交易记录…那么这些记录是我们将要建立的事实表的原始数据，即关于某一主题的事实记录表。我们的做法是将原始表与维度表进行关联，生成事实表(图六：pic6.bmp)。注意在关联时有为空的数据时(数据源脏)，需要使用外连接，连接后我们将各维度的代理键取出放于事实表中，事实表除了各维度代理键外，还有各量度数据，这将来自原始表，事实表中将存在维度代理键和各量度，而不应该存在描述性信息，即符合“瘦高原则”，即要求事实表数据条数尽量多(粒度最小)，而描述性信息尽量少。如果考虑到扩展，可以将事实表加一唯一标识列，以为了以后扩展将该事实作为雪花型维度，不过不需要时一般建议不用这样做。事实数据表是数据仓库的核心，需要精心维护，在JOIN后将得到事实数据表，一般记录条数都比较大，我们需要为其设置复合主键和索引，以实现数据的完整性和基于数据仓库的查询性能优化。事实数据表与维度表一起放于数据仓库中，如果前端需要连接数据仓库进行查询，我们还需要建立一些相关的中间汇总表或物化视图，以方便查询。 什么是ETL?在数据仓库的构建中，ETL贯穿于项目始终，它是整个数据仓库的生命线，包括了数据清洗、整合、转换、加载等各个过程。如果说数据仓库是一座大厦，那么ETL就是大厦的根基。ETL抽取整合数据的好坏直接影响到最终的结果展现。所以ETL在整个数据仓库项目中起着十分关键的作用，必须摆到十分重要的位置。ETL是数据抽取(Extract)、转换(Transform)、加载(Load)的简写，它是指：将OLTP系统中的数据抽取出来，并将不同数据源的数据进行转换和整合，得出一致性的数据，然后加载到数据仓库中。例如：下图就向我们展示了ETL的数据转换效果。(图七：pic7.bmp)那么，在这一转换过程中，我们就完成了对数据格式的更正、对数据字段的合并、以及新增指标的计算三项操作。类似地，我们也可以根据其他需求，完善数据仓库中的数据。简而言之，通过ETL，我们可以基于源系统中的数据来生成数据仓库。ETL为我们搭建了OLTP系统和OLAP系统之间的桥梁。 项目实践技巧一、准备区的应用在构建数据仓库时，如果数据源位于一台服务器上，数据仓库在另一台服务器端，考虑到数据源Server端访问频繁，并且数据量大，需要不断更新，所以可以建立准备区数据库(图八：pic8.bmp)。先将数据抽取到准备区中，然后基于准备区中的数据进行处理，这样处理的好处是防止了在原OLTP系统中频繁访问，进行数据运算或排序等操作。例如我们可以按照天将数据抽取到准备区中，基于数据准备区，我们将进行数据的转换、整合、将不同数据源的数据进行一致性处理。数据准备区中将存在原始抽取表、转换中间表和临时表以及ETL日志表等。 项目实践技巧二、时间戳的运用时间维度对于某一事实主题来说十分重要，因为不同的时间有不同的统计数据信息，那么按照时间记录的信息将发挥很重要的作用。在ETL中，时间戳有其特殊的作用，在上面提到的缓慢变化维度中，我们可以使用时间戳标识维度成员;在记录数据库和数据仓库的操作时，我们也将使用时间戳标识信息。例如：在进行数据抽取时，我们将按照时间戳对OLTP系统中的数据进行抽取，比如在午夜0：00取前一天的数据，我们将按照OLTP系统中的时间戳取GETDATE到GETDATE减一天，这样得到前一天数据。 项目实践技巧三、日志表的运用在对数据进行处理时，难免会发生数据处理错误，产生出错信息，那么我们如何获得出错信息并及时修正呢?方法是我们使用一张或多张Log日志表，将出错信息记录下来，在日志表中我们将记录每次抽取的条数、处理成功的条数、处理失败的条数、处理失败的数据、处理时间等等。这样，当数据发生错误时，我们很容易发现问题所在，然后对出错的数据进行修正或重新处理。 项目实践技巧四、使用调度在对数据仓库进行增量更新时必须使用调度(图九：pic9.bmp)，即对事实数据表进行增量更新处理。在使用调度前要考虑到事实数据量，确定需要多长时间更新一次。比如希望按天进行查看，那么我们最好按天进行抽取，如果数据量不大，可以按照月或半年对数据进行更新。如果有缓慢变化维度情况，调度时需要考虑到维度表更新情况，在更新事实数据表之前要先更新维度表。调度是数据仓库的关键环节，要考虑缜密。在ETL的流程搭建好后，要定期对其运行，所以调度是执行ETL流程的关键步骤。每一次调度除了写入Log日志表的数据处理信息外，还要使用发送Email或报警服务等，这样也方便的技术人员对ETL流程的把握，增强了安全性和数据处理的准确性。 总结构建企业级数据仓库需要简单的五步，掌握了这五步的方法，我们可以构建一个强大的数据仓库。然而，每一步都有很深的内容需要研究与挖掘，尤其在实际项目中，我们要综合考虑。例如：如果数据源的脏数据很多，在搭建数据仓库之前我们首先要进行数据清洗，以剔除掉不需要的信息和脏数据。ETL是OLTP系统和OLAP系统之间的桥梁，是数据从源系统流入数据仓库的通道。在数据仓库的项目实施中，它关系到整个项目的数据质量，所以马虎不得，必须将其摆到重要位置，将数据仓库这一大厦的根基筑牢。 气溶胶测量原理、技术及应用南开大学环境科学与工程学院2009.10.15 粒子的物理化学变化简介气溶胶是不稳定的，其密度和粒子特征随时间而变化。外界力量可以引起这些变化，如较大粒子通过重力沉降而损失，或物理和化学作用而引起粒子大小和成分的变化。凝结、蒸发、成核现象、吸附、吸收和化学反应，也有可能是粒子相互间的质量传递，如凝聚。 粒子的物理化学变化简介蒸汽分压是气体体积中蒸汽的浓度。分压是蒸汽单独存在时的压力。分压一般用分压与大气压力的比值表示，即蒸汽的浓度分数。特定温度下的蒸汽压或饱和蒸汽压是任何流体的特征，它反映了流体中的水蒸汽在气-液界面不蒸发而必需达到的最小分压。气溶胶凝结和蒸发过程中的重要参数是蒸汽分压与饱和蒸汽压的比值，称为饱和度 粒子的物理化学变化简介开尔文效应蒸汽压是指在平坦液体表面上，质量达到平衡（没有净蒸发或凝结）时所需要的分压。液体气溶胶粒子的表面较为弯曲，在一定温度下液滴要达到质量平衡，所需分压就要大于平坦液面所需分压。因蒸汽分压提高，所以就需要达到质量平衡时饱和度随粒度减小而增强，这种效应称为开尔文效应（KelvinEffect） 粒子的物理化学变化1、凝结当纯净水滴处于超饱和环境下时，即其饱和度大于开尔文公式的计算值，蒸汽将凝结在液滴表面，使液滴增大。增长率取决于饱和度和粒度，并受到蒸汽分子到达液滴表面的速率的控制。小于平均自由程的液滴的生长速率与其大小没有关系，大于平均自由程的液滴的生长速率与其大小成反比。 粒子的物理化学变化2、核化现象同类成核蒸汽中液滴的最初形成过程很复杂。没有凝结核，也可以形成液滴，但这个过程叫同类成核或叫自动成核，这通常需要饱和度范围为2~10，如此高的饱和度在专业实验室或化学过程中才会出现。异类成核最常见的形成机制是核凝结或异类成核。这个过程取决于亚微米级粒子，它们被称为凝结核，即凝结点。每cm3空气中包含数以千计的这样的核子。在超饱和状态下，不溶解的核子是凝结的发生点。 粒子的物理化学变化2、核化现象存在可溶性核子的情况要更复杂更重要正常空气中含有大量的可溶性核子这些可溶性核子具有很强的亲水性，有助于液滴形成并使液滴在低饱和度下也能生长，而不溶性核子则不能。与纯净液体相比，可溶盐提高了生长速率，降低了蒸发速率。当液滴中存在可溶盐时，随着液滴蒸发或生长，有两种效应在起作用：随着液滴蒸发，因为只有水消失，所以盐的浓度增加，这增强了盐保持液滴中水分的亲水性；另一种效应是开尔文效应，导致平衡蒸汽压提高 粒子的物理化学变化3、蒸发纯净液滴（没有溶解盐类）的蒸发过程与生长过程很相似，只是其发展方向与生长方向相反。当蒸汽分压小于饱和蒸汽压时（p