决策树

有限理性决策的主要观点如下： （1）手段-目标链的内涵有一定矛盾，简单的手段-目标链分析会导致不准确的结论。 西蒙认为，手段-目标链的次序系统很少是一个系统的、全面联系的链，组织活动和基本目的之间的联系常常是模糊不清的，这些基本目的也是个不完全系统，这些基本目的内部和达到这些目的所选择的各种手段内部，也存在着冲突和矛盾。 （2）决策者追求理性，但又不是最大限度地追求理性，他只要求有限理性。 这是因为人的知识有限，决策者既不可能掌握全部信息，也无法认识决策的详尽规律。比如说，人的计算能力有限，即使借助计算机，也没有办法处理数量巨大的变量方程组；人的想像力和设计能力有限，不可能把所有备择方案全部列出；人的价值取向并非一成不变，目的时常改变；人的目的往往是多元的，而且互相抵触，没有统一的标准。因此，作为决策者的个体，其有限理性限制他作出完全理性的决策，他只能尽力追求在他的能力范围内的有限理性。 （3）决策者在决策中追求“满意”标准，而非最优标准。 在决策过程中，决策者定下一个最基本的要求，然后考察现有的备择方案。如果有一个备择方案能较好地满足定下的最基本的要求，决策者就实现了满意标准，他就不愿意再去研究或寻找更好的备择方案了。 这是因为一方面，人们往往不愿发挥继续研究的积极性，仅满足于已有的备择方案； 另一方面，由于种种条件的约束，决策者本身也缺乏这方面的能力。在现实生活中，往往可以得到较满意的方案，而非最优的方案。 根据以上几点，决策者承认自己感觉到的世界只是纷繁复杂的真实世界的极端简化，他们满意的标准不是最大值，所以不必去确定所有可能的备择方案，由于感到真实世界是无法把握的，他们往往满足于用简单的方法，凭经验、习惯和惯例去办事。因此，导致的决策结果也各有不同。（完全)理性决策的观点：1、决策者面临的是一个既定的问题， 2、决策者选择决定的各种目的，价值或目标是明确的，而且可以依据不同目标的重要性进行排序。 3、决策者有可供选择的两个以上的方案，面对着这些方案，通常在逐一选择的基础上，选取其中一个。假如方案基本是相同的，通常会作相同的决定。 4、决策者对同一个问题会面临着一种或多种自然状态。它们是不以人们意志为转移的不可控因素。或者可以说决策者的偏好会随着时空的变化而变化。 5、决策者会将每一个方案，在不同的自然状态下的收益值(程度)或损失值(程度)计(估)算出来，经过比较后，按照决策者的价值偏好，选出其中最佳者。建立在“经济人”假说之上的完全理性决策理论只是一种理想模式，不可能指导实际中的决策。西蒙的有限理性模型（最满意模型），这是一个比较现实的模型，它认为人的理性是处于完全理性和完全非理性之间的一种有限理性。您可以参考一下这里的信息：

确定型经营决策方法有（A、B、C、D）A差量分析法 B本量利分析法 C贡献边际分析法 D决策树法

项目期权估值净现值和决策树分析摘 要在项目固有的灵活性的基础上，包括放弃，推迟，扩大，合同或切换到一个不同的项目的可能性, 实物期权分析（ROA）已经发展成为正确评估项目价值的方法。实物期权允许使用的复制组合技术或风险中性概率方法计算正确的贴现率。我们在等值版本的净现值公式的基础上提出一个评估实物期权的变换方法，从而消除了确定孪生证券市场定价的需要。此外，我们的方法可以扩展到多项树的情况下，即建模项目中的不确定性的一个有用的工具。我们引进内决策树分析（DTA）的方法，以获得盛行于不同的机会节点的不同的折现率。我们在“情景容量规划法”[Eppen G.D.,马丁，R.K.，施拉格，L.E.，1989年。情景容量规划方法。运筹学，37（4）]中提出的有关该方法的应用的基础上阐明我们的方法。书中作者在通用汽车公司研究能力配置投资决策的基础上指出“...... 在预计需求的基础上没有科学的方法来确定适当的折现率”。我们的方法可以得出科学正确的贴现率。分析的一个重大成果是，在当时的市场条件下，贴现率从项目的结构和其行为中内源性派生，而不是外部强加的。关键词：决策分析；金融；投资分析；实物期权分析；情景介绍大量的研究工作已经投入到投资项目的分析和估价。传统金融理论提出的净现值（NPV）的概念，是在固有的项目风险的基础上使用的资本成本。NPV的框架已经受到批评，因为它声称，它不能应付来自投资项目的潜在的灵活性，这将使原有的现金流量模式发生变化。特里杰奥吉斯（1996）声称，传统的资本预算方法或贴现现金流方法无法应付经营灵活的期权和各种项目有关战略方面的问题，但正确的使用期权技术可以解决这一问题。此外，平狄克和迪克西特（1995）认为，传统的投资决策准则的假设是要在特定的时间点上的投资决策，但决策时间点的机会成本不顾随后的决策选择所创造的价值。这使企业暴露在高风险之下，导致净现值计算的谬论，同时整个投资决策的失误，将造成不可挽回的投资损失。但事实上，投资项目也许能够等待更多的信息出现以后，然后才实施投资决策。史密斯和麦卡德尔（1999）写了到“......使用以资本成本为基础的贴现规则也许会......总体来说当应用到明显不同的项目时会导致麻烦。如果你打算对不同的项目使用风险调整贴现率，你应该针对不同的项目使用不同的贴现率，在各自的资本成本基础上各自地评估它们......鉴于项目的灵活性，你可能需要更近一步的和使用不同的折现率对其进行估值，因为在不同的时期和不同的场景，一个项目的风险可能会随时间而改变，这决定于不确定性如何展开和管理者的反应......虽然原则上，人们可以使用时间和状态不同的折扣率来评估灵活性的项目的价值，但是它会变得很难确定适当的折现率在这一框架内使用。布雷利和梅尔斯（2000）注意到“大多数项目在几年内都产生现金流量。企业通常使用相同的风险调整后的利率折现这些现金流量。当他们这样做时，他们都隐含假设着累积风险的增加，在以后以至未来都是一个恒定的比率。这种假设通常是合理的......但有时例外证明了这个假设。风险明显并不稳步增加的时候应对项目进行警报。在这些情况下，你应该打破该项目分为各段，使同一折现率能够合理使用。使用净现值方法对项目价值进行评估遭受到的这些批评，导致评价项目管理上的灵活性的实物期权分析（ROA）方法的出现。实物期权分析法中的未定权益分析方法利用证券市场定价导向来构建投资组合，即利用无套利的论点复制项目的回报和确定项目值。通过计算调整后的概率而使用无风险贴现率估价项目的方法与风险中性概率方法是等效的方法。这两种方法都使用几何布朗运动过程或二叉树模型来构建项目的不确定性。在本文中，我们在确定性等价版本的净现值公式基础上提出了一种实物期权的替代方法。我们的方法消除了需要确定市场定价孪生证券价值的实物期权，其中，在评估金融期权时，虽然理论上健全且容易做到，但是在具体项目的实践中是相当困难的。我们还表明，如果能正确采用以净现值法为基础的项目评估方法，在项目的灵活性的情况下仍然是有效。此外，基于实物期权历来受到二叉树的限制，我们的方法可以扩展到多项树下。虽然二叉树对建模金融资产是有用的，但是真正的项目经常使用多项式树来建模。我们也将概述如何扩展决策树分析（DTA），那对建造管理者对未来的信心来说是一个实用的工具，即用盛行于每个机会节点上的合适的折现率来评价项目的灵活性价值。这将大体上使估值一般项目的期权和灵活性成为可能，同时，不再需要区分底层固定项目的期权和推迟，放弃，加速，扩大，合同，转换等形式的实物期权或其他类型的实物期权。最后，我们，在“情景容量规划方法”（Eppen等，1989）提出的应用中阐明了估值方法。表1说明了本文的贡献和指出了哪些部分在本文中被讨论到。表1实物期权估价法复制组合的方法 风险中性概率方法 我们的方法 二叉树 考克斯与罗斯(1976) 考克斯与罗斯(1976) 第2节考克斯等人(1979) 哈里森和克雷普斯(1979)迪克西特和平狄克(1995) 迪克西特和平狄克(1995)多项式树 – – 第3节 决策树分析 – – 第4节在第1节中，我们将介绍传统的投资决策分析方法和其缺陷分析。在第2节中，我们通过使用的修改版本的净现值法代替复制组合或确定等值的概率方法来讨论如何在二叉树中确定实物期权的价值。第3节讨论如何可以扩展到多项树下，即用更多更通用的工具来表示项目中的不确定性和灵活性。在第4节中，我们描述了该方法如何也可用于一般项目估价的，不管该项目有或没有灵活性，都可以结合决策树对其进行分析。在第5节提出一个实际的应用。最后，在第6节，我们对未来研究给出一些结论和概述思想。 1 传统投资决策方法和缺陷分析在投资决策分析的传统理论，现金流量折现法（DCF）是一个很好的理论基础方法，可以在一个稳定的环境下应用。其中，所谓的净现值法（NPV）是一个典型的资本投资的评估方法，但是传统的投资项目评价方法的核心。该方法通过估计项目未来预期的现金流，并以合适的折现率将其折算为现值。计算公式为：NPV??t?1nFt-F0 (1?r)t其中：Ft为第t年现金净流量(现金流人量与现金流出量之差)，F0为初始投资额，r为预定的折现率，n为项目从投资到终结的年数。其决策的基本原则：对于独立方案，如果NPV> 0，可以认为是可以接受的，如果NPV<0，则拒绝接受; 对于互斥投资方案，双方在多项选择，如果选择没有资金的限制，应以NPV值大者为优。净现值法考虑货币时间价值，也考虑到投资风险和投资分析，和股东财富最大化的业务目标一致的，是更完整，更科学的理论。然而，用来估算未来现金流的变量如劳动力成本、原材料成本、产品销售的数量和价格、公司的市场份额、市场的规模和增长性、税率、预期的通货膨胀率、项目生命期等因素的预测是不确定的、时刻发生变化的，因此，导致现金流量预测及净现值的估计，存在很多变数，使投资项目的决策不可避免地要考虑的风险和不确定性。面对不确定性，净现值分析方法进行了适当的修正和改造，如用确定的现金流表示等同的不确定现金流的风险调整的确定等价方法和确定不同的风险调整折现率来对应于每一阶段风险的风险调整折现率法。然而，对于投资管理的灵活性和或有性带来了一系列净现值法的框架中的估值问题不能得到解决。传统DCF分析方法存在的本质缺陷，主要是源于其理论方法的假设与实际情况的差异。 DCF分析方法是建立以下隐含的基本假设，一是现金流的“期望情景”，即项目的现金流按照预期的情况发生；二是管理者对确定项目经营策略的被动接受。综上述，传统DCF分析方法在以下四个方面存在缺陷：（1）贴现率难以确定净现值法选择折扣率往往是投资者的预期回报率。投资者的期望报酬率大多由无风险报酬率(或行业基准折现率)通货膨胀系数和风险报酬率三部分构成，投资项目的无风险报酬率和通货膨胀系数可采用惯常的方法确定。大多数在高风险的投资项目，受多种因素影响，因此无风险利率的确定更加困难。（2）缺乏灵活性也就是说，没有延迟，放弃，投资能力的扩张或收缩。净现值法没有考虑到这种灵活性的价值，决策基于纯粹的净现值多少。（3）缺乏或有性或有性具有根据目前投资是否成功来决定未来投资是否进行的特征。管理者可以在当前投资一项NPV为负值的项目，目的是获得未来的投资机会。传统方法不能准确估价这种产生实物期权的投资。（4）不考虑波动在一定程度上难以直观地了解的具有很大不确定性的投资项目具有较高的期权价值。在标准的净现值中，较高的波动性意味着更高的折扣率和净现值较低，导致该项目被低估的价值。由于传统的DCF法没有处理高风险的技术，往往会放弃一些高风险，但该项目具有较高的潜在价值。传统的投资决策方法中，处理不确定性和复杂性的资本预算方法，如灵敏度分析，蒙特卡洛仿真和决策树等，试图评价产生于管理灵活性的具有非对称要求的实际投资机会。虽然具有正确的想法，但仍有很大的困难，以确定适当的折扣率（非固定）。传统的DCF法忽略的“战略”的价值，且不能正确的解决积极的项目管理问题。在不确定条件下，当管理灵活性出现时，DCF不能充分的描述在现金流分布中的非对称性和非线性以及变化着的项目的风险特征。因此，净现值法的应用，导致不良的投资决策。2 实物期权的引入和二叉树的实物期权2.1 实物期权的引入与传统的资本预算理论不同，实物期权理论提供了新的处理不确定性的方法。基于实物期权理论，因为项目本身具有的灵活性，不确定性的增加（增加波动），使得获得收益的潜力变大，同时，限制向下损失。因此，不确定性实际上可以提高项目的价值。在这方面，实物期权与金融期权的相似性变得很清晰。它们具有相同的有益的不对称性：有权利而不是义务投资。简单地说，真正的选择是一种权利，而不是义务，到以预定的成本在一个预定的周期内执行一个行动(如推迟，扩张，收缩或放弃)，这个预定的成本被称为方称为实物期权期权，是一个概念的定义，真正的资产选择，是指企业长期投资决策的决定，根据时尚的不确定因素，改变投资行为的权利，而不是义务。基于实物期权的有效期内，投资者根据新的信息延迟或提前，扩大或合同，进或出的投资选择。项目投资的实物期权价值：扩展的净现值=静态净现值+灵活性价值(期权价值)实物期权方法评价规则：ENPV≥O时，项目可行；NEPV<O时，项目不可行。一般来说，只要它具有灵活的实物资产投资决策可以运用实物期权方法进行分析与评价。2.2 实物期权定价问题尽管这一概念的水平上将资本预算决策看作期权不是很困难，但是期权定价理论的实际应用，并不是一件容易的事。导出B-s期权定价模型及其推广模型的基础是无套利定价原则。根据这一原则，通过标的证券及无风险债券的组合，复制相应的选择相应的功能。为了正确的实物期权定价，必须将此与可以应用无套利原理的金融市场建立某种联系。由于现实资本市场效率很低，所以无套利原理不能直接应用于实际的市场。这需要在金融市场上找到一个希望投资项目具有相同的风险收益特征的证券。如果这些证券可以被发现，应用程序可以创建一个证券组合，在任何情况下，这种结合产生的现金和投资项目现金流量是相同的，因此称为现金等价物的组合。同样，我们可以使用的方法计算的风险中性的未来项目价值贴现值和双资产的当前价格相等的概率。然而，在可公开交易的资产和投资项目的现金流之间建立联系是很难的。几乎找不到市场价格的基本风险资产，甚至当它们明显相关时，基础项目的波动率也与可交易的资产的波动率不同。这些困难已经成为执行实物期权分析的主要障碍。因此，实物期权定价问题一直是实物期权理论的研究和应用的核心问题。Mason和Merton (1985)指出，

决策树的画法：入度为0的点称为树根,出度为0的点称为树叶,树叶以外的点称为内点。1、绘制决策树图。从左到右的顺序画决策树，此过程本身就是对决策问题的再分析过程。2、按从右到左的顺序计算各方案的期望值，并将结果写在相应方案节点上方。期望值的计算是从右到左沿着决策树的反方向进行计算的。3、对比各方案的期望值的大小，进行剪枝优选。在舍去备选方案枝上，用不等号记号隔断。结果结点：用三角结点△表示，将每个方案在各种自然状态下取得的收益值或损失值标注于结果节点的右端。

造价工程师2018造价-案例-精讲75、(2018)第四章第六节：决策树方法在投标决策中的运用。决策树方法在投标决策中的运用;分析背景材料，按照事件逻辑关系绘制决策树图，特别是多阶段绘图需要仔细分析背景材料。决策树分析与工程造价典型计算和资金时间价值分析相结合具有实际意义。在解析与资金时间价值有关的决策树分析题目时，应当绘制相应的现金流量图进行辅助分析与计算。决策树基本内容决策树是在进行方案决策时的分析事件发生概率、产生期望值、评定风险的一种工具。决策树通常由“三点”“两枝”组成，即三点为决策点、状态点、结果点，两枝为方案枝、概率枝。决策点，是对几种可能方案的选择;状态点，又称机会点表示备选方案的经济效果(期望值);结果点。每个方案在正常状态下取得的损益值、净现金流量等;方案枝，由决策点出发的，对应实现决策目标的方案;概率枝，表示可能出现的自然状态的概率。

决策树的画法如下：1、下载一个“决策树”的绘制软件，比如亿图图示，更新到最新版本，在电脑联网的情况下启动软件，登录账号后新建一个“决策树”。依次点击“管理-咨询”-“项目管理”-“决策树”，然后选择一个模板，点击使用。2、打开画布左侧的符号库，可以看到很多专业的决策树符号，然后对想用的符号进行拖拽和使用，也可以修改模板的绘图形状打造个性化的决策树。3、双击文本框，替换掉决策树模板中文字或者删除一些不需要的文本框。4、完成对决策树的绘制后，可以点击右侧上方的保存、下载、分析等按钮，对制作好的决策树进行存储。还可以将决策树导出为图片、PDF、PPT等多种格式。绘制软件亿图图示亿图图示是一款国产的办公软件，支持Windows、Mac系统平台，还支持网页在线版和云同步储存，只需要登录账号就能绘制图示。它支持多种导入格式，例如Visio文件、SVG、Excel等，也支持多样的导出格式，如图片、PDF、PPT、SVG等。

主成分分析法不属于监督学习，而是属于无监督学习。

决策树的基本思想决策树算法是最早的机器学习算法之一。算法框架1.决策树主函数各种决策树的主函数都大同小异，本质上是一个递归函数。该函数的主要功能是按照某种规则生长出决策树的各个分支节点，并根据终止条件结束算法。一般来讲，主函数需要完成如下几个功能。（1）输入需要分类的数据集和类别标签（2）根据某种分类规则得到最优的划分特征，并创建特征的划分节点--计算最优特征子函数（3）按照该特征的每个取值划分数据集为若干部分--划分数据集子函数（4）根据划分子函数的计算结果构建出新的节点，作为树生长出的新分支（5）检验是否符合递归的终止条件（6）将划分的新节点包含的数据集和类别标签作为输入，递归执行上述步骤。2.计算最优特征子函数计算最优特征子函数是除主函数外最重要的函数。每种决策树之所以不同，一般都是因为最优特征选择的标准上有所差异，不同的标准导致不同类型的决策树。如：ID3的最优特征选择标准是信息增益、C4.5是信息增益率、CART是节点方差的大小等。在算法逻辑上，一般选择最优特征需要遍历整个数据集，评估每个特征，找到最优的那一个特征返回。3.划分数据集函数划分数据集函数的主要功能是分隔数据集，有的需要删除某个特征轴所在的数据列，返回剩余的数据集；有的干脆将数据集一分为二。4.分类器所有的机器学习算法都要勇于分类或回归预测。决策树的分类器就是通过遍历整个决策树，使测试集数据找到决策树中叶子节点对应的类别标签。这个标签就是返回的结果。

首先教材认为事件树是故障风险发生后的分析，即故障如果没发生或者有不发生的可能都不能使用事件树，因此此时没有构成风险事件;而决策树不是，其决策时是专门针对不确定事件的发生;其次事件树发生的可能性仅仅有两种，要么成功要么失败;而决策树不是这样的，其是根据概率发生的可能性会有多种情况来应对分析。联系：它们都开始于初因事项或是最初决策，同时由于可能发生的事项及可能做出的决策，需要对不同路径和结果进行建模。区别：事件树发生的结果是互斥性后果，比如说发生火灾是一个结果，不发生火灾是另一个结果，事情只有这两种互斥性的后果。而决策树是从多种方案中选出最好的那种结果，决策树并不强调后果的互斥，它的关注点只在最高期望值的结果上。且事件树是定性与定量分析，而决策树仅仅是定量分析。

减少数的深度用决策树法训练大量数据集最节约时间。决策树分析法是一种运用概率与图论中的树对决策中的不同方案进行比较，从而获得最优方案的风险型决策方法。图论中的树是连通且无回路的有向图，入度为0的点称为树根，出度为0的点称为树叶，树叶以外的点称为内点。决策树由树根（决策节点）、其他内点（方案节点、状态节点）、树叶（终点）、树枝（方案枝、概率枝）、概率值、损益值组成。决策树的另一个使用是作为计算条件概率的描述性手段。决策论中（如风险管理），决策树由一个决策图和可能的结果（包括资源成本和风险）组成， 用来创建到达目标的规划。决策树建立并用来辅助决策，是一种特殊的树结构。决策树是一个利用像树一样的图形或决策模型的决策支持工具，包括随机事件结果，资源代价和实用性。它是一个算法显示的方法。决策树经常在运筹学中使用，特别是在决策分析中，它帮助确定一个能最可能达到目标的策略。如果在实际中，决策不得不在没有完备知识的情况下被在线采用，一个决策树应该平行概率模型作为最佳的选择模型或在线选择模型算法。决策树法原理：它利用了概率论的原理，并且利用一种树形图作为分析工具。其基本原理是用决策点代表决策问题，用方案分枝代表可供选择的方案，用概率分枝代表方案可能出现的各种结果，经过对各种方案在各种结果条件下损益值的计算比较，为决策者提供决策依据。决策树分析法是常用的风险分析决策方法。该方法是一种用树形图来描述各方案在未来收益的计算。比较以及选择的方法，其决策是以期望值为标准的。人们计算的各种方案在未来的经济效果只能是考虑到各种自然状态出现的概率的期望值，与未来的实际收益不会完全相等。

决策树计算公式公式：H(X)=_∑P(x)log[P(x)]H(x)：表示熵 P(x)：表示x事件发生的概率。决策树法的具体计算过程：(1)画出决策树，画决策树的过程也就是对未来可能发生的各种事件进行周密思考、预测的过程，把这些情况用树状图表示出来．先画决策点，再找方案分枝和方案点．最后再画出概率分枝。(2)由专家估计法或用试验数据推算出概率值．并把概率写在概率分枝的位置上。(3)计算益损期望值，从树梢开始，由右向左的顺序进行．用期望值法计算．若决策目标是盈利时，比较各分枝，取期望值最大的分枝，其他分枝进行修剪。决策树分析法，是将构成决策方案的有关因素，以树状图形的方式表现出来，并据以分析和选择决策方案的一种系统分析法。它以损益值为依据。该方法特别适于分析比较复杂的问题。（1）决策树的构成　　由决策结点“口”、方案枝、状态结点“O”和概率支构成。（2）决策步骤　　决策树分析法的程序主要包括以下步骤：①绘制决策树图形，按上述要求由左向右顺序展开。②计算每个结点的期望值，计算公式为：状态结点的期望值=Σ（损益值×概率值）×经营年限③剪枝，即进行方案的选优。方案净效果=该方案状态结点的期望值-该方案投资额

决策树属于风险型的决策。风险型指的就是未来情况不确定但是知道每个事件发生的概率，多级风险型决策对应的方法一般都是决策树法。但决策树的这种明确性可能回带来误导。比如，决策树每个节点对应分割的定义都是非常明确毫不含糊的，但在实际生活中这种明确可能带来麻烦。一、决策树的定义如下：决策树分析法是一种运用概率与图论中的树对决策中的不同方案进行比较，从而获得最优方案的风险型决策方法。图论中的树是连通且无回路的有向图，入度为0的点称为树根，出度为0的点称为树叶，树叶以外的点称为内点。决策树由树根（决策节点）、其他内点（方案节点、状态节点）、树叶（终点）、树枝（方案枝、概率枝）、概率值、损益值组成。二、决策树的原理如下：它利用了概率论的原理，并且利用一种树形图作为分析工具。其基本原理是用决策点代表决策问题，用方案分枝代表可供选择的方案，用概率分枝代表方案可能出现的各种结果，经过对各种方案在各种结果条件下损益值的计算比较，为决策者提供决策依据。如果一个决策树只在树的根部有一决策点，则称为单级决策；若一个决策不仅在树的根部有决策点，而且在树的中间也有决策点，则称为多级决策。

决策树法属于风险型决策方法。决策树法就是把决策过程用树状图来表示。树状图一般是由决策点、方案分枝、自然状态点、概率分枝和结果点几个关键部分构成。树状图表现了两种不同的决策环节，一种是主观抉择环节，另一种是客观抉择环节。决策树法适用于风险型决策。决策树分析法是指分析每个决策或事件（即自然状态）时，都引出两个或多个事件和不同的结果，并把这种决策或事件的分支画成图形，这种图形很像一棵树的枝干，故称决策树分析法。决策树法的几个关键步骤是：（1）画出决策树，画决策树的过程也就是对未来可能发生的各种事件进行周密思考、预测的过程，把这些情况用树状图表示出来。先画决策点，再找方案分枝和方案点。最后再画出概率分枝。（2）由专家估计法或用试验数据推算出概率值。并把概率写在概率分枝的位置上。（3）计算益损期望值，从树梢开始，由右向左的顺序进行。用期望值法计算。若决策目标是盈利时，比较各分枝，取期望值最大的分枝，其他分枝进行修剪。

两者区别如下所述：决策树法指的是人们把决策问题的自然状态或条件出现的概率、行动方案、益损值、预测结果等，用一个树状图表示出来，并利用该图反映出人们思考、预测、决策的全过程。综合评价法指的是运用多个指标对多个参评单位进行评价的方法，简称综合评价方法。

造价工程师案例分析的例题决策树是按照节点值乘以概率比较节点的期望值大小来决定优选哪个方案的。这里是动态考虑，考虑了时间效应，所以才折算的

对目标类尝试进行最佳的分割。

【答案】：A2021教材P76 本题考查的是建设工程监理投标工作内容。决策树分析法是适用于风险型决策分析的一种简便易行的实用方法，其特点是用一种树状图表示决策过程，通过事件出现的概率和损益期望值的计算比较，帮助决策者对行动方案作出抉择。

利用了概率论原理并且利用种树形图作分析工具其基本原理用决策点代表决策问题用方案分枝代表供选择方案用概率分枝代表方案能出现各种结经过对各种方案各种结条件下损益值计算比较决策者提供决策依据决策树分析法常用风险分析决策方法该方法种用树形图来描述各方案未来收益计算比较及选择方法其决策期望值标准人们对未来能会遇好几种同情况每种情况均有出现能人们目前无法确知根据前资料来推断各种自状态出现概率样条件下人们计算各种方案未来经济效只能考虑各种自状态出现概率期望值与未来实际收益会完全相等决策树只树根部有决策点则称单级决策;若决策仅树根部有决策点而且树间也有决策点则称多级决策

优点：1)　可以生成可以理解的规则；2)　计算量相对来说不是很大；3) 可以处理连续和种类字段；4) 决策树可以清晰的显示哪些字段比较重要。缺点：1) 对连续性的字段比较难预测；2) 对有时间顺序的数据，需要很多预处理的工作；3) 当类别太多时，错误可能就会增加的比较快；4) 一般的算法分类的时候，只是根据一个字段来分类。

决策树分析中机会节用无法控制表示。决策树（Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy=系统的凌乱程度，使用算法ID3，C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。分类树（决策树）是一种十分常用的分类方法。它是一种监督学习，所谓监督学习就是给定一堆样本。每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。优点：决策树易于理解和实现，人们在在学习过程中不需要使用者了解很多的背景知识，这同时是它的能够直接体现数据的特点，只要通过解释后都有能力去理解决策树所表达的意义。对于决策树，数据的准备往往是简单或者是不必要的，而且能够同时处理数据型和常规型属性，在相对短的时间内能够对大型数据源做出可行且效果良好的结果。易于通过静态测试来对模型进行评测，可以测定模型可信度；如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。

决策树是确定生产能力方案的一条简捷的途径。决策树不仅可以帮助人们理解问题，还可以帮助人们解决问题。决策树是一种通过图示罗列解题的有关步骤以及各步骤发生的条件与结果的一种方法。近年来出现的许多专门软件包可以用来建立和分析决策树，利用这些专门软件包，解决问题就变得更为简便了。决策树由决策结点、机会结点与结点间的分枝连线组成。通常，人们用方框表示决策结点，用圆圈表示机会结点，从决策结点引出的分枝连线表示决策者可作出的选择，从机会结点引出的分枝连线表示机会结点所示事件发生的概率。在利用决策树解题时，应从决策树末端起，从后向前，步步推进到决策树的始端。在向前推进的过程中，应在每一阶段计算事件发生的期望值。需特别注意：如果决策树所处理问题的计划期较长，计算时应考虑资金的时间价值。计算完毕后，开始对决策树进行剪枝，在每个决策结点删去除了最高期望值以外的其他所有分枝，最后步步推进到第一个决策结点，这时就找到了问题的最佳方案。下面以南方医院供应公司为例，看一看如何利用决策树作出合适的生产能力计划。南方医院供应公司是一家制造医护人员的工装大褂的公司。该公司正在考虑扩大生产能力。它可以有以下几个选择：1、什么也不做；2、建一个小厂；3、建一个中型厂；4、建一个大厂。新增加的设备将生产一种新型的大褂，目前该产品的潜力或市场还是未知数。如果建一个大厂且市场较好就可实现$100，000的利润。如果市场不好则会导致$90，000的损失。但是，如果市场较好，建中型厂将会获得$ 60,000，小型厂将会获得$40，000，市场不好则建中型厂将会损失$10,000，小型厂将会损失$5，000。当然，还有一个选择就是什么也不干。最近的市场研究表明市场好的概率是0.4，也就是说市场不好的概率是0.6。参下图：在这些数据的基础上，能产生最大的预期货币价值（EMV）的选择就可找到。EMV（建大厂）=（0.4）*($100,000)+(0.6)*(-$90,000)=-$14,000 EMV（中型厂）=(0.4) *($ 600,000))+(0.6)* (-$10,000)=+$18,000 EMV(建小厂)=(0.4)* ($40,000)+(0.6)*(-$5,000)=+$13,000 EMV(不建厂)=$0 　根据EMV标准，南方公司应该建一个中型厂。

决策树更准。根据查询相关信息，决策树分析的判别正确率高达百分之92，距离判别正确率为百分之87，所以决策树更准。距离判别是以待判样品到各总体的距离远近为判据的一种直观判别方法，也称为直观判别法。决策树是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。

问题一：决策树算法是按什么来进行分类的 决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。 决策树方法最早产生于上世纪60年代，到70年代末。由J Ross Quinlan提出了ID3算法，此算法的目的在于减少树的深度。但是忽略了叶子数目的研究。C4.5算法在ID3算法的基础上进行了改进，对于预测变量的缺值处理、剪枝技术、派生规则等方面作了较大改进，既适合于分类问题，又适合于回归问题。 决策树算法构造决策树来发现数据中蕴涵的分类规则．如何构造精度高、规模小的决策树是决策树算法的核心内容。决策树构造可以分两步进行。第一步，决策树的生成：由训练样本集生成决策树的过程。一般情况下，训练样本数据集是根据实际需要有历史的、有一定综合程度的，用于数据分析处理的数据集。第二步，决策树的剪枝：决策树的剪枝是对上一阶段生成的决策树进行检验、校正和修下的过程，主要是用新的样本数据集（称为测试数据集）中的数据校验决策树生成过程中产生的初步规则，将那些影响预衡准确性的分枝剪除。 问题二：数据挖掘分类方法决策树可以分多类么 数据挖掘,也称之为数据库中知识发现是一个可以从海量数据中智能地和自动地抽取一些有用的、可信的、有效的和可以理解的模式的过程.分类是数据挖掘的重要内容之一.目前,分类已广泛应用于许多领域,如医疗诊断、天气预测、信用证实、顾客区分、欺诈甄别. 现己有多种分类的方法,其中决策树分类法在海量数据环境中应用最为广泛.其原因如下： 1、决策树分类的直观的表示方法较容易转化为标准的数据库查询 2、决策树分类归纳的方法行之有效,尤其适合大型数据集. 3、决策树在分类过程中,除了数据集中已包括的信息外,不再需要额外的信息. 4、决策树分类模型的精确度较高. 该文首先研究了评估分类模型的方法.在此基础上着重研究了决策树分类方法,并对决策树算法的可伸缩性问题进行了具体分析,最后给出了基于OLE DB for DM开发决策树分类预测应用程序. 问题三：基于规则的分类器（比如用RIPPER算法）和决策树的区别在哪，使用场景有什么不同？ 决策树实际上是规则分类器。基于转换的错误驱动学习方法的提出者曾经在论文中论证过这个问题，他的学习方法是规则学习器，但和决策树等价。 问题四：决策树的优缺点是什么啊 决策树(Decision Tree)是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。 决策树的优缺点： 优点： 1) 可以生成可以理解的规则。 2) 计算量相对来说不是很大。 3) 可以处理连续和种类字穿。 4) 决策树可以清晰的显示哪些字段比较重要 缺点： 1) 对连续性的字段比较难预测。 2) 对有时间顺序的数据，需要很多预处理的工作。 3) 当类别太多时，错误可能就会增加的比较快。 4) 一般的算法分类的时候，只是根据一个字段来分类。 问题五：c4.5决策树算法怎么得到分类结果 决策树主要有ID3，C4.5，CART等形式。ID3选取信息增益的属性递归进行分类，C4.5改进为使用信息增益率来选取分类属性。CART是Classfication and Regression Tree的缩写。表明CART不仅可以进行分类，也可以进行回归。 问题六：决策树分类算法的适用领域，不要概括成经济、社会、医疗领域，具体到实际问题。且用什么软件实现较方便。 决策树算法主要用于数据挖掘和机器学习，数据挖掘就是从海量数据中找出规律。一个有名的例子就是啤酒和尿布的例子，这是数据挖掘的典型。决策树算法包括ID3，C4.5，CART等，各种算法都是利用海量的数据来生成决策树的，决策树能帮助人或者机器做出决策。最简单的一个例子就是你去看病，根据决策树，医生能够判断这是什么病。软件的话用VISUAL STUDIO就可以，C语言，C++,C#，java都可以。 问题七：贝叶斯网络和贝叶斯分类算法的区别 贝叶斯分类算法是统计学的一种分类方法，它是一类利用概率统计知识进行分类的算法。在许多场合，朴素贝叶斯(Na?ve Bayes，NB)分类算法可以与决策树和神经网络分类算法相媲美，该算法能运用到大型数据库中，而且方法简单、分类准确率高、速度快。 由于贝叶斯定理假设一个属性值对给定类的影响独立于其它属性的值，而此假设在实际情况中经常是不成立的，因此其分类准确率可能会下降。为此，就衍生出许多降低独立性假设的贝叶斯分类算法，如TAN(tree augmented Bayes network)算法。

周末学习知识点。 何为决策树？ 你在任何一个场合或者任何一个时间中只要有纸和笔在你需要作出选择的时候，就可以通过画上几笔分析图，帮你做出当下更好的选择。举例： 1上街买衣服如何选择呢？ 有两个选择买还是不买？买衣服就是原点的开始，画树叉图，一条线是买，另一条线是不买，再往下延伸，买衣服的理由,价位,款式，喜好，不买的理由原因，然后分析出买与不买的最佳选择。 2可以用在去哪里就业？ 如果你想在一线城市发展，又想在二线三线城市发展，以到哪里就业为原点，画两条竖叉图，一条是一线城市就业；另外一条是二三线城市就业，在从一线城市就业往下画树叉图，优势和劣势按照金字塔结构画出并分析，优势1,2,3，劣势1,2,3，按同样的方法画出另一条同样的线，分析出自己在一线城市发展和在二三线城市发展的优势和劣势，然后以此3做出最佳的选择。 3买一张去北京的火车票。 已买火车票为原点，画树叉图，当你大概确定了买几点的火车票的时候就要进行选择，画两条竖叉图或者多条，然后写出选择和放弃的的理由，最终做出最优判断，选择。 很多时候我们在做选择的时候一直在纠结，如果能为自己画一个决策树模型的树杈图，很快就会做出当下正确的决策。 这个决策树模型是可以广泛的运用在需要选择的任何场合，记得随身携带一张纸和一支笔，就会帮你轻松简单的决策出当下最需要做的事情。

白话一下什么是决策树模型有一天，小明无聊，对宿舍玩CS的舍友进行统计，结果刚记下四行，被舍友认为影响发挥，给踢到床下去了，让我们看看可怜的小明的记录：-----------------------------武器 | 子弹数量 | 血 | 行为-----------------------------机枪 | 多 | 少 | 战斗机枪 | 少 | 多 | 逃跑小刀 | 少 | 多 | 战斗小刀 | 少 | 少 | 逃跑-----------------------------为了对得起小明记录的这四条记录，我们对其进行决策树分析，从数据中看：1. 如果一个玩家子弹很多，那么即使血少他也会战斗，如果子弹少的话，即使血多，他也会逃跑隐蔽起来；2. 那我们再看子弹少的情况下，武器靠刀子，当血多时候，他还是会打一打得，但是血少，就立即逃跑隐蔽了。这是我们大脑直觉上去分析，既然本文我是想聊一聊决策树，那么我们就用决策树来对小明的这些数据小试牛刀一下，顺便来慰藉一下小明（从小到大我们已经看过无数的小明了，这里再借用一下大度的小明）。我们现在将数据分为两块：X = {武器类型，子弹数量，血}Y = {行为}我们建立这颗决策树的目的就是，让计算机自动去寻找最合适的映射关系，即：Y = f(X)，所谓听上去大雅的“数据挖掘”学科，干得也差不多就是这回事，X我们称之为样本，Y我们称之为结果（行为/类）。样本是多维的，X = {x1,x2,...xn}，如本例：X = {x1=武器类型，x2=子弹数量，x3=血}，我们就是要通过这些不同维度的观测记录数据，和应对的不同结果，找到规律（映射关系），举个例子：X = {天气，温度，湿度，女友约会} -> Y = {是否答应兄弟下午去打篮球}X = {老妈说你是胖子，老婆说你是胖子，自己上秤评估自己体重} -> Y = {去办健身卡减肥}这样来说，X的多维不同的数据，大个比方，更像是很多大臣，那么我们就是要根据这些大臣的意见，来决策，如本例：>> 左大臣：武器类型>> 中大臣：子弹数量>> 右大臣：血这些大臣每个人都有想法，左右着皇帝继续战斗还是撤退，但是三个也不能全信，那么我们就要根据他们的陈年老帐（训练样本）来评判他们的话语的重要性，当然，优先级高的肯定话语是有重量的，我们先提前来预览一下这个例子训练出来的决策树的样子：这个根据小明的数据训练出来的决策树是不是和我们刚才拍脑门分析出来的结果差不多呢？看，子弹多就开打，子弹少，在看看用什么武器，如果又没子弹又用机枪，那铁定跑，如果用小刀，在掂量一下自己血厚不厚，厚则打，不厚则逃，看来决策树分析的结果还是可以的啊,接下来，我们来研究研究，计算机（这个只会重复人们给它设定的代码的家伙）是如何实现这样的分析的。既然是三个大臣提意见{左大臣：武器类型，中大臣：子弹数量，右大臣：血}，那么我们要分析一下历史数据（训练数据）他们哪个话更靠谱：我们先单纯的看看左大臣的历史战绩（统计训练样本）：机枪 -> 战斗机枪 -> 逃跑小刀 -> 战斗小刀 -> 逃跑用机枪，你战斗逃跑的概率都是50%，用刀子，你亦似打似逃！看来这个大臣立场不坚定啊！再看看中大臣的：子弹多 -> 战斗子弹少 -> 逃跑子弹少 -> 战斗子弹少 -> 逃跑用机枪，你战斗概率是100%，用刀子，你33.3%打，你66.6%撤！这位大臣似乎坚定了一些。再看看右大臣的：血少 -> 战斗血多 -> 逃跑血多 -> 战斗血少 -> 逃跑和左大臣一样，立场不坚定，50:50啊！这样，中大臣的话的重量就提升了，因此决策书的第一层就重用中大臣吧（中大臣变成一品大员）计算机是怎么来做到这一步的呢？且让我一步一步讲：决策树训练中，有一个很重要的尺子，来衡量大臣的可信度，这个尺子，就是信息论的熵(Entropy)，这个熵是何许人也，竟然朝廷大臣的可信度竟然用次来衡量，让我们对他做个自我介绍吧：熵，洋名为（Entropy），乃测量信息的混乱程度为职，纵横科学界各门学术之中，为人低调，俭朴，就一个很短的公式：E = sum(-p(I)*log(p(I)))，I=1:N（N类结果，如本例两种，战斗或逃跑），当信息一致，所有样本都属于一个类别I，那么熵为0，如果样本完全随机，那么熵为1，表明这个臣子对这种状态的预测就是胡言乱语。OK，熵，告诉我你对这个数据的看法：E(机枪) = -(1/2)Log2(1/2) - (1/2)Log(1/2) = 0.5 + 0.5 = 1E(小刀) = -(1/2)Log2(1/2) - (1/2)Log(1/2) = 0.5 + 0.5 = 1E(子弹多) = -(1/1)Log2(1/1) - (0/1)Log(0/1) = 0 + 0 = 0E(子弹少) = -(1/3)Log2(1/3) - (2/3)Log(2/3) = 0.5283 + 0.39 = 0.9183E(血多) = -(1/2)Log2(1/2) - (1/2)Log(1/2) = 0.5 + 0.5 = 1E(血少) = -(1/2)Log2(1/2) - (1/2)Log(1/2) = 0.5 + 0.5 = 1那么我们怎么用这个熵来衡量大臣（每维数据）的可信度呢，这里还要再引出一位仁兄，其是熵的上级，他熟知熵的能力，很会用熵，他就是信息增益(Information Gain)，我们来看看这位上级是如何用熵来衡量的：Gain(Sample,Action) = E(sample) - sum(|Sample(v)|/Sample * E(Sample(v)))OK，Information Gain，说说你是怎么评估这个例子的三位大臣的！Gain(武器类型) = E(S) - (2/4)*E(机枪) - (2/4)*E(小刀) = 1 - (2/4)*1 - (2/4)*1 = 0Gain(子弹数量) = E(S) - (1/4)*E(子弹多) - (3/4)*E(子弹少) = 1 - (1/4)*0 - (3/4)*0.9183 = 0.3113Gain(血量) = E(S) - (2/4)*E(血多) - (2/4)*E(血少) = 1 - (2/4)*1 - (2/4)*1 = 0接着，计算机通过信息增益结果，选择最大的，作为一品大员且看一品大员对子弹多的情况下料事如神（暂且不说本例样本少），但是其在子弹少的情况下，决策还是不行的，那么，再用同样的方法，再去选择二品，三品，这就是决策树的训练，呵呵，不知有没有帮助各位理解

决策树方法如下：决策树是一种从无次序、无规则的样本数据集中推理出决策树表示形式的分类规则方法。它采用自顶向下的递归方式，在决策树的内部节点进行属性值的比较并根据不同的属性值判断从该节点向下的分支．在决策树的叶节点得到结论．因此从根节点到叶节点的一条路径就对应着一条规则．整棵决策树就对应着一组表达式规则。分类决策树模型是一种描述对实例进行分类的树形结构，决策树由节点和有向边组成。节点有两种类型：内部节点和叶节点。内部节点表示一个特征或属性．叶节点表示一个类。用决策树分类，从根节点开始，对实例的某一特征进行测试，根据测试结果，将实例分配到其子节点；这时，每一个子节点对应着该特征的一个取值。如此递归地对实例进行测试并分配，直到达到叶节点。最后将实例分到叶节点的类中。决策树学习算法是以实例为基础的归纳学习算法，本质上是从训练数据集中归纳出一组分类规则，与训练数据集不相矛盾的决策树可能有多个，也可能一个也没有。我们需要的是一个与训练数据集矛盾较小的决策树，同时具有很好的泛化能力。

　决策树是用二叉树形图来表示处理逻辑的一种工具。可以直观、清晰地表达加工的逻辑要求。特别适合于判断因素比较少、逻辑组合关系不复杂的情况。　　决策树提供了一种展示类似在什么条件下会得到什么值这类规则的方法。比如，在贷款申请中，要对申请的风险大小做出判断，图是为了解决这个问题而建立的一棵决策树，从中我们可以看到决策树的基本组成部分：决策节点、分支和叶子。　　决策树中最上面的节点称为根节点，是整个决策树的开始。本例中根节点是“收入>￥40,000”，对此问题的不同回答产生了“是”和“否”两个分支。　　决策树的每个节点子节点的个数与决策树在用的算法有关。如CART算法得到的决策树每个节点有两个分支，这种树称为二叉树。允许节点含有多于两个子节点的树称为多叉树。　　每个分支要么是一个新的决策节点，要么是树的结尾，称为叶子。在沿着决策树从上到下遍历的过程中，在每个节点都会遇到一个问题，对每个节点上问题的不同回答导致不同的分支，最后会到达一个叶子节点。这个过程就是利用决策树进行分类的过程，利用几个变量（每个变量对应一个问题）来判断所属的类别（最后每个叶子会对应一个类别）。　　假如负责借贷的银行官员利用上面这棵决策树来决定支持哪些贷款和拒绝哪些贷款，那么他就可以用贷款申请表来运行这棵决策树，用决策树来判断风险的大小。“年收入>￥40,00”和“高负债”的用户被认为是“高风险”，同时“收入5年”的申请，则被认为“低风险”而建议贷款给他/她。　　数据挖掘中决策树是一种经常要用到的技术，可以用于分析数据，同样也可以用来作预测（就像上面的银行官员用他来预测贷款风险）。常用的算法有CHAID、CART、Quest和C5.0。　　建立决策树的过程，即树的生长过程是不断的把数据进行切分的过程，每次切分对应一个问题，也对应着一个节点。对每个切分都要求分成的组之间的“差异”最大。　　各种决策树算法之间的主要区别就是对这个“差异”衡量方式的区别。对具体衡量方式算法的讨论超出了本文的范围，在此我们只需要把切分看成是把一组数据分成几份，份与份之间尽量不同，而同一份内的数据尽量相同。这个切分的过程也可称为数据的“纯化”。看我们的例子，包含两个类别--低风险和高风险。如果经过一次切分后得到的分组，每个分组中的数据都属于同一个类别，显然达到这样效果的切分方法就是我们所追求的。　　到现在为止我们所讨论的例子都是非常简单的，树也容易理解，当然实际中应用的决策树可能非常复杂。假定我们利用历史数据建立了一个包含几百个属性、输出的类有十几种的决策树，这样的一棵树对人来说可能太复杂了，但每一条从根结点到叶子节点的路径所描述的含义仍然是可以理解的。决策树的这种易理解性对数据挖掘的使用者来说是一个显著的优点。　　然而决策树的这种明确性可能带来误导。比如，决策树每个节点对应分割的定义都是非常明确毫不含糊的，但在实际生活中这种明确可能带来麻烦（凭什么说年收入￥40,001的人具有较小的信用风险而￥40,000的人就没有）。　　建立一颗决策树可能只要对数据库进行几遍扫描之后就能完成，这也意味着需要的计算资源较少，而且可以很容易的处理包含很多预测变量的情况，因此决策树模型可以建立得很快，并适合应用到大量的数据上。　　对最终要拿给人看的决策树来说，在建立过程中让其生长的太“枝繁叶茂”是没有必要的，这样既降低了树的可理解性和可用性，同时也使决策树本身对历史数据的依赖性增大，也就是说这是这棵决策树对此历史数据可能非常准确，一旦应用到新的数据时准确性却急剧下降，我们称这种情况为训练过度。为了使得到的决策树所蕴含的规则具有普遍意义，必须防止训练过度，同时也减少了训练的时间。因此我们需要有一种方法能让我们在适当的时候停止树的生长。常用的方法是设定决策树的最大高度（层数）来限制树的生长。还有一种方法是设定每个节点必须包含的最少记录数，当节点中记录的个数小于这个数值时就停止分割。　　与设置停止增长条件相对应的是在树建立好之后对其进行修剪。先允许树尽量生长，然后再把树修剪到较小的尺寸，当然在修剪的同时要求尽量保持决策树的准确度尽量不要下降太多。　　对决策树常见的批评是说其在为一个节点选择怎样进行分割时使用“贪心”算法。此种算法在决定当前这个分割时根本不考虑此次选择会对将来的分割造成什么样的影响。换句话说，所有的分割都是顺序完成的，一个节点完成分割之后不可能以后再有机会回过头来再考察此次分割的合理性，每次分割都是依赖于他前面的分割方法，也就是说决策树中所有的分割都受根结点的第一次分割的影响，只要第一次分割有一点点不同，那么由此得到的整个决策树就会完全不同。那么是否在选择一个节点的分割的同时向后考虑两层甚至更多的方法，会具有更好的结果呢？目前我们知道的还不是很清楚，但至少这种方法使建立决策树的计算量成倍的增长，因此现在还没有哪个产品使用这种方法。　　而且，通常的分割算法在决定怎么在一个节点进行分割时，都只考察一个预测变量，即节点用于分割的问题只与一个变量有关。这样生成的决策树在有些本应很明确的情况下可能变得复杂而且意义含混，为此目前新提出的一些算法开始在一个节点同时用多个变量来决定分割的方法。比如以前的决策树中可能只能出现类似“收入<￥35,000”的判断，现在则可以用“收入￥35,000或抵押<150,000”这样的问题。　　决策树很擅长处理非数值型数据，这与神经网络只能处理数值型数据比起来，就免去了很多数据预处理工作。　　甚至有些决策树算法专为处理非数值型数据而设计，因此当采用此种方法建立决策树同时又要处理数值型数据时，反而要做把数值型数据映射到非数值型数据的预处理。

决策树属于风险型的决策。风险型指的就是未来情况不确定但是知道每个事件发生的概率，多级风险型决策对应的方法一般都是决策树法。但决策树的这种明确性可能回带来误导。比如，决策树每个节点对应分割的定义都是非常明确毫不含糊的，但在实际生活中这种明确可能带来樱高麻烦。一、决策树的定义如下：决策树分析法是一种运用概率与图论中的树对决策中的不同方案进行比较，从而获得最优方案的风险型决策方法。图论中的树是连通且无回路的有向图，入度为0的点称为树根，出度为0的点称为树叶，树叶以外的点称为内点。决策树由树根（决策节点）、其他内点（方案节点、状闭链态节点）、树叶（终点）、树枝（方案枝、概率枝）、概率值、损益值组成。二、决策树的原理如下：它利用了概率论的原理，并且利用一种树形图作为分析工具。其基本原理是用决策点代表决策问题，用方案分枝代表可供选择的方案，用概率分枝代表方案可能出现的各种结果，经过对各种方案在各种结果条件下损益值的计算比较，为决策者提供决策依据。如果一个决策树只在树的根部有一决策点，则称为单级决策；若一个决策不仅在树的根部有决策点，而且在树的中间也有轿颂孙决策点，则称为多级决策。

1.绘制决策树。见图。2.计算期望值。状态点2的期望值：0状态点3的期望值：(-60000) ×0.02 = -1200(元)状态点4的期望值：(-60000) ×0.02 + (-10000) ×0.25 = -3700(元)3.选择损失最小的方案。min{(0-1800),(-1200-500),(-3700-0)}=-1700(元)以不搬走施工机械并作好防护措施最为合算。

算法原理决策树（Decision Tree）是一种简单但是广泛使用的分类器。通过训练数据构建决策树，可以高效的对未知的数据进行分类。决策数有两大优点：1）决策树模型可以读性好，具有描述性，有助于人工分析；2）效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。如何预测先看看下面的数据表格：ID拥有房产（是/否）婚姻情况（单身，已婚，离婚）年收入（单位：千元）无法偿还债务（是/否）1是单身125否2否已婚100否3否单身70否4是已婚120否5否离婚95是6否已婚60否7是离婚220否8否单身85是9否已婚75否10否单身90是上表根据历史数据，记录已有的用户是否可以偿还债务，以及相关的信息。通过该数据，构建的决策树如下：

决策树分析法是一种运用概率与图论中的树对决策中的不同方案进行比较，从而获得最优方案的风险型决策方法。图论中的树是连通且无回路的有向图，入度为0的点称为树根，出度为0的点称为树叶，树叶以外的点称为内点。决策树由树根(决策节点)、其他内点(方案节点、状态节点)、树叶(终点)、树枝(方案枝、概率枝)、概率值、损益值组成。

利用决策树进行决策的过程是由右向左，逐步后退。根据右端的损益值和概率枝上的概率，计算出同一方案的期望损益值的大小来选择最优方案。决策树方法人们把决策问题的自然状态或条件出现的概率、行动方案、益损值、预测结果等，用一个树状图表示出来，并利用该图反映出人们思考、预测、决策的全过程。根据右端的损益值和概率枝上的概率，计算出同一方案的期望损益值的大小来选择最优方案。1、画出决策树2、计算各方案结点的期望值3、将个方案结点的期望值标在相应的结点上4、比较各方案结点上的值。并在没有中选的方案上标上记号

管理学决策树画法如下：第一步：点击下载“亿图图示”软件，也可以访问亿图图示在线网页版。然后启动软件，开作图。第二步：新建一个“决策树”。依次点击“管理-咨询”-“项目管理”-“决策树”。这样我们需要的决策树模板就会在下方，然后选择一个模板，点击使用。第三步：首先打开画布左侧的符号库，可以看到很多专业的决策树符号，然后对想用的符号进行拖拽和使用，也可以修改模板的绘图形状打造个性化的决策树。第四步：双击文本框，替换掉决策树模板中文字或者删除一些不需要的文本框第五步：完成对决策树的绘制后，可以点击右侧上方的保存、下载、分析等按钮，对制作好的决策树进行存储。还可以将决策树导出为图片、PDF、PPT等多种格式。决策树的常见用途：绘制出一幅决策树的前提便是要有足够的数据来支撑计算，当有足够多的数据后，决策树便能根据数据进行整理和计算，决策树也可以对人们日常生活中的学习或者各种选择进行分析和预测。企业的方案制定当企业在面临机遇或者危机时，急需找到正确的决策，那么便可以用决策树对自己目前的状况进行分析，选择出适合当前的决策，来将利益最大化。

处理功能分析常用的方法有决策树决策表和A.结构化语言。补充资料：1.决策树：概念：决策树又称判定树，是一种呈树状的图形工具，适合于描述处理中具有多种策略，要根据若干条件的判定，确定所采用策略的情况。左端圆圈为树根表示决策结点；由决策结点引出的直线，形似树枝，称为条件技，每条树枝代表一个条件；中间的圆圈称为条件结点；右端的实心圆表示决策结果。决策树中条件结点以及每个结点所引出条件技的数量依具体问题而定。决策树的优点：是清晰、直观。决策树的缺点：是当条件多，而且互相组合时，不容易清楚地表达判断过程。2.决策表：概念：决策表又称判断表，是一种呈表格状的图形工具，适用于描述处理判断条件较多、各条件又相互组合、有多种决策方案的情况。3.结构化语言：在自然语言的基础上发展了一种规范化的语言表达方式，它使用的词汇主要有三种：即祈使语句中明确的动词；数据字典和数据流程图中的名词；表示处理逻辑结构的保留字。用结构化语言任何处理逻辑都可以表达为顺序、选择判断、循环三种结构。(1) 顺序结构中的祈使语句应包含一个动词及一个宾语，表示要进行的处理(包括输入、输出及运算等) 。(2) 判断结构有两种表示形式，可与判定树、判定表的表达方式相对应。(3) 循环结构是指在条件成立时，重复执行某处理，直到条件不成立时为止。

决策树在机器学习中是一个十分优秀的算法，在很多技术中都需要用到决策树这一算法，由此可见，决策树是一个经典的算法，在这篇文章中我们给大家介绍决策树算法的优缺点，希望这篇文章能够更好的帮助大家理解决策树算法。其实决策树倍受大家欢迎的原因就是其中的一个优势，那就是易于解释。同时决策树可以毫无压力地处理特征间的交互关系并且是非参数化的，因此你不必担心异常值或者数据是否线性可分。但是决策树的有一个缺点就是不支持在线学习，于是在新样本到来后，决策树需要全部重建。另一个缺点就是容易出现过拟合，但这也就是诸如随机森林RF之类的集成方法的切入点。另外，随机森林经常是很多分类问题的赢家，决策树训练快速并且可调，同时大家无须担心要像支持向量机那样调一大堆参数，所以在以前都一直很受欢迎。那么决策树自身的优点都有什么呢，总结下来就是有六点，第一就是决策树易于理解和解释，可以可视化分析，容易提取出规则。第二就是可以同时处理标称型和数值型数据。第三就是比较适合处理有缺失属性的样本。第四就是能够处理不相关的特征。第五就是测试数据集时，运行速度比较快。第六就是在相对短的时间内能够对大型数据源做出可行且效果良好的结果。那么决策树的缺点是什么呢？总结下来有三点，第一就是决策树容易发生过拟合，但是随机森林可以很大程度上减少过拟合。第二就是决策树容易忽略数据集中属性的相互关联。第三就是对于那些各类别样本数量不一致的数据，在决策树中，进行属性划分时，不同的判定准则会带来不同的属性选择倾向；信息增益准则对可取数目较多的属性有所偏好，而增益率准则CART则对可取数目较少的属性有所偏好，但CART进行属性划分时候不再简单地直接利用增益率尽心划分，而是采用一种启发式规则。通过上述的内容相信大家已经知道了决策树的优点和缺点了吧，大家在学习或者使用决策树算法的时候可以更好的帮助大家理解决策树的具体情况，只有了解了这些算法，我们才能够更好的使用决策树算法。

（1）绘制决策树图。从左到右的顺序画决策树，此过程本身就是对决策问题的再分析过程。（2）按从右到左的顺序计算各方案的期望 值，并将结果写在相应方案节点上方。期望值的计算是从右到左沿着决策树的反方向进行计算的。（3）对比各方案的期望值的大小，进行剪枝优选。在舍去备选方案枝上，用“=”记号隔断。

决策树（Decision Tree，DT）分类法是一个简单且广泛使用的分类技术。决策树是一个树状预测模型，它是由结点和有向边组成的层次结构。树中包含3种结点：根结点、内部结点和叶子结点。决策树只有一个根结点，是全体训练数据的集合。树中的一个内部结点表示一个特征属性上的测试，对应的分支表示这个特征属性在某个值域上的输出。一个叶子结点存放一个类别，也就是说，带有分类标签的数据集合即为实例所属的分类。

用户获取和流失是一对相对概念，就好比一个水池，有进口，也有出口。我们不能只关心进口的进水速率，却忽略了出水口的出水速率。挽留一个老用户相比拉动一个新用户，在增加营业收入、产品周期维护方面都是有好处的。并且获得一个新用户的成本是留存一个老用户的5~6倍。 定义流失周期——数据获取与处理——建立决策树模型——用户流失预警 用户流失周期的确定采用回访率（回访用户数/流失用户数* 100%）作为判定指标。即在定义流失周期内没有访问行为后再度访问网站或APP的用户。借助用户回访率这一指标可以不断的修正用户流失周期长度的判定。用户流失周期越长，用户的访问率越低，存在一个时间拐点，在该周期后的用户访问率随周期的延长而下降缓慢，下降缓慢的这批用户即为平台长期活跃的用户，而该周期即为用户流失周期。 操作方法 建立样本模型如上表，字段分别为用户id、性别、最后一次访问距今时间、近35日访问次数、近35日访问页面数、近35日访问时长、近35日访问天数、近35日搜索次数、近35日有效订单数、近35日付费订单数、近35日付费订单金额。 {"max_depth": 3, "min_samples_leaf": 2, "min_samples_split": 2} 经过10重交叉验证网格搜索，得到各参数最佳组合为3，2，2。接下来利用这些参数来构造决策树模型。 如图所示，ROC曲线下面积AUC为0.95，模型还是很理想的。 从图可以看出，决策树生成为一个深度为3的树，根节点所选的变量为visit_times，并以50.5作为分割点，其对应的左分支节点为visit_pv。其中最左侧的一条分支路径可以解释为：如果用户的近35天访问时长小于等于50.5，访问页面数小于等于20.5，并且付费金额小于70.5，那么此用户将会流失。 总结：根据模型可知，在一个流失周期内，用户的访问时长小于等于50.5，访问页面数小于等于20.5，并且付费金额小于70.5，那么此用户有流失的风险，针对此类用户进行精细化运营，以达到留存老用户的目的。 针对流失用户特征，给出以下建议： 将训练好的模型结果保存下来，方便调用。后续只需定期将抽取清洗好的用户数据直接输入到模型中即可输出该用户是否流失的标识。

数据分析之美：决策树R语言实现R语言实现决策树1.准备数据[plain] view plain copy > install.packages("tree") > library(tree) > library(ISLR) > attach(Carseats) > High=ifelse(Sales<=8,"No","Yes") //set high values by sales data to calssify > Carseats=data.frame(Carseats,High) //include the high data into the data source > fix(Carseats) 2.生成决策树[plain] view plain copy > tree.carseats=tree(High~.-Sales,Carseats) > summary(tree.carseats) [plain] view plain copy //output training error is 9% Classification tree: tree(formula = High ~ . - Sales, data = Carseats) Variables actually used in tree construction: [1] "ShelveLoc" "Price" "Income" "CompPrice" "Population" [6] "Advertising" "Age" "US" Number of terminal nodes: 27 Residual mean deviance: 0.4575 = 170.7 / 373 Misclassification error rate: 0.09 = 36 / 400 3. 显示决策树[plain] view plain copy > plot(tree . carseats ) > text(tree .carseats ,pretty =0) 4.Test Error[plain] view plain copy //prepare train data and test data //We begin by using the sample() function to split the set of observations sample() into two halves, by selecting a random subset of 200 observations out of the original 400 observations. > set . seed (1) > train=sample(1:nrow(Carseats),200) > Carseats.test=Carseats[-train,] > High.test=High[-train] //get the tree model with train data > tree. carseats =tree (High~.-Sales , Carseats , subset =train ) //get the test error with tree model, train data and predict method //predict is a generic function for predictions from the results of various model fitting functions. > tree.pred = predict ( tree.carseats , Carseats .test ,type =" class ") > table ( tree.pred ,High. test) High. test tree. pred No Yes No 86 27 Yes 30 57 > (86+57) /200 [1] 0.715 5.决策树剪枝[plain] view plain copy /** Next, we consider whether pruning the tree might lead to improved results. The function cv.tree() performs cross-validation in order to cv.tree() determine the optimal level of tree complexity; cost complexity pruning is used in order to select a sequence of trees for consideration. For regression trees, only the default, deviance, is accepted. For classification trees, the default is deviance and the alternative is misclass (number of misclassifications or total loss). We use the argument FUN=prune.misclass in order to indicate that we want the classification error rate to guide the cross-validation and pruning process, rather than the default for the cv.tree() function, which is deviance. If the tree is regression tree, > plot(cv. boston$size ,cv. boston$dev ,type="b ") */ > set . seed (3) > cv. carseats =cv. tree(tree .carseats ,FUN = prune . misclass ,K=10) //The cv.tree() function reports the number of terminal nodes of each tree considered (size) as well as the corresponding error rate(dev) and the value of the cost-complexity parameter used (k, which corresponds to α. > names (cv. carseats ) [1] " size" "dev " "k" " method " > cv. carseats $size //the number of terminal nodes of each tree considered [1] 19 17 14 13 9 7 3 2 1 $dev //the corresponding error rate [1] 55 55 53 52 50 56 69 65 80 $k // the value of the cost-complexity parameter used [1] -Inf 0.0000000 0.6666667 1.0000000 1.7500000 2.0000000 4.2500000 [8] 5.0000000 23.0000000 $method //miscalss for classification tree [1] " misclass " attr (," class ") [1] " prune " "tree. sequence " [plain] view plain copy //plot the error rate with tree node size to see whcih node size is best > plot(cv. carseats$size ,cv. carseats$dev ,type="b ") /** Note that, despite the name, dev corresponds to the cross-validation error rate in this instance. The tree with 9 terminal nodes results in the lowest cross-validation error rate, with 50 cross-validation errors. We plot the error rate as a function of both size and k. */ > prune . carseats = prune . misclass ( tree. carseats , best =9) > plot( prune . carseats ) > text( prune .carseats , pretty =0) //get test error again to see whether the this pruned tree perform on the test data set > tree.pred = predict ( prune . carseats , Carseats .test , type =" class ") > table ( tree.pred ,High. test) High. test tree. pred No Yes No 94 24 Yes 22 60 > (94+60) /200 [1] 0.77

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。分类树（决策树）是一种十分常用的分类方法。他是一种监管学习，所谓监管学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。数据挖掘中决策树是一种经常要用到的技术，可以用于分析数据，同样也可以用来作预测。从数据产生决策树的机器学习技术叫做决策树学习, 通俗说就是决策树。一个决策树包含三种类型的节点：决策节点：通常用矩形框来表示机会节点：通常用圆圈来表示终结点：通常用三角形来表示决策树学习也是资料探勘中一个普通的方法。在这里，每个决策树都表述了一种树型结构，它由它的分支来对该类型的对象依靠属性进行分类。每个决策树可以依靠对源数据库的分割进行数据测试。这个过程可以递归式的对树进行修剪。 当不能再进行分割或一个单独的类可以被应用于某一分支时，递归过程就完成了。另外，随机森林分类器将许多决策树结合起来以提升分类的正确率。决策树同时也可以依靠计算条件概率来构造。决策树如果依靠数学的计算方法可以取得更加理想的效果。 数据库已如下所示：　　(x, y) = (x1, x2, x3…, xk, y)相关的变量 Y 表示我们尝试去理解，分类或者更一般化的结果。 其他的变量x1, x2, x3 等则是帮助我们达到目的的变量。

决策树法的几个关键步骤是：1、画出决策树，画决策树的过程也就是对未来可能发生的各种事件进行周密思考、预测的过程，把这些情况用树状图表示出来．先画决策点，再找方案分枝和方案点．最后再画出概率分枝。2、由专家估计法或用试验数据推算出概率值．并把概率写在概率分枝的位置上。3、计算益损期望值，从树梢开始，由右向左的顺序进行．用期望值法计算．若决策目标是盈利时，比较各分枝，取期望值最大的分枝，其他分枝进行修剪。扩展资料决策树的优点1、决策树易于理解和实现. 人们在通过解释后都有能力去理解决策树所表达的意义。2、对于决策树，数据的准备往往是简单或者是不必要的 . 其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。3、能够同时处理数据型和常规型属性。其他的技术往往要求数据属性的单一。4、 在相对短的时间内能够对大型数据源做出可行且效果良好的结果。5、对缺失值不敏感6、可以处理不相关特征数据7、效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。决策树的缺点1、对连续性的字段比较难预测。2、对有时间顺序的数据，需要很多预处理的工作。3、当类别太多时，错误可能就会增加的比较快。4、一般的算法分类的时候，只是根据一个字段来分类。5、在处理特征关联性比较强的数据时表现得不是太好

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。分类树（决策树）是一种十分常用的分类方法。他是一种监管学习，所谓监管学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。数据挖掘中决策树是一种经常要用到的技术，可以用于分析数据，同样也可以用来作预测。从数据产生决策树的机器学习技术叫做决策树学习, 通俗说就是决策树。一个决策树包含三种类型的节点：决策节点：通常用矩形框来表示机会节点：通常用圆圈来表示终结点：通常用三角形来表示决策树学习也是资料探勘中一个普通的方法。在这里，每个决策树都表述了一种树型结构，它由它的分支来对该类型的对象依靠属性进行分类。每个决策树可以依靠对源数据库的分割进行数据测试。这个过程可以递归式的对树进行修剪。 当不能再进行分割或一个单独的类可以被应用于某一分支时，递归过程就完成了。另外，随机森林分类器将许多决策树结合起来以提升分类的正确率。决策树同时也可以依靠计算条件概率来构造。决策树如果依靠数学的计算方法可以取得更加理想的效果。 数据库已如下所示：(x, y) = (x1, x2, x3…, xk, y)相关的变量 Y 表示我们尝试去理解，分类或者更一般化的结果。 其他的变量x1, x2, x3 等则是帮助我们达到目的的变量。希望我能帮助你解疑释惑。

步骤：(1)绘制决策树图。从左到右的顺序画决策树，此过程本身就是对决策问题的再分析过程。(2)按从右到左的顺序计算各方案的期望值，并将结果写在相应方案节点上方。期望值的计算是从右到左沿着决策树的反方向进行计算的。(3)对比各方案的期望值的大小，进行剪枝优选。在舍去备选方案枝上，用"="记号隔断。

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。分类树（决策树）是一种十分常用的分类方法。他是一种监管学习，所谓监管学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。

决策树学习是机器学习方法中的一种。这种方法将习得的训练集函数表示成树结构，通过它来近似离散值的目标函数。这种树结构是一种有向树，它以训练集的一个属性作节点，这个属性所对应的一个值作边。决策树一般都是自上而下的来生成的。每个决策或事件（即自然状态）都可能引出两个或多个事件，导致不同的结果，把这种决策分支画成图形很像一棵树的枝干，故称决策树。选择分割的方法有好几种，但是目的都是一致的：对目标类尝试进行最佳的分割。从根到叶子节点都有一条路径，这条路径就是一条“规则”。决策树可以是二叉的，也可以是多叉的。对每个节点的衡量：1) 通过该节点的记录数2) 如果是叶子节点的话，分类的路径3) 对叶子节点正确分类的比例。有些规则的效果可以比其他的一些规则要好。决策树对于常规统计方法的优缺点优点：1)　可以生成可以理解的规则。2)　计算量相对来说不是很大。3)可以处理连续和种类字段。4)决策树可以清晰的显示哪些字段比较重要缺点：1) 对连续性的字段比较难预测。2) 对有时间顺序的数据，需要很多预处理的工作。3) 当类别太多时，错误可能就会增加的比较快。4) 一般的算法分类的时候，只是根据一个字段来分类。

决策树法用于风险性决策，就是在比较和选择活动方案时未来情况不止一种，管理者无法确定那种情况将发生，但是知道每种情况发生的概率。决策树法是用树状图来描述各种方案在不同情况(或自然状态）下的收益，据此计算每种方案的期望收益从而作出决策的方法。举例：某企业为了扩大某产品的生产，拟建设新厂。据市场预测，产品销路好的概率为0.7，销路差的概率为0.30有三种方案可供企业选择：方案1、新建大厂，需投资300万元。据初步估计，销路好时，每年可获利100万元；销路差时，每年亏损20万元。服务期为10年。方案2、新建小厂，需投资140万元。销路好时，每年可获利40万元；销路差时，每年仍可获利30万元。服务期为10年。方案3、先建小厂，三年后销路好时再扩建，需追加投资200万元，服务期为7年，估计每年获利95万元。问哪种方案最好？决策树中，矩形结点称为决策点，从决策点引出的若干条树枝枝表示若干种方案，称为方案枝。圆形结点称为状态点，从状态点引出的若干条树枝表示若干种自然状态，称为状态枝。图中有两种自然状态：销路好和销路差，自然状态后面的数字表示该种自然状态出现的概率。位于状态枝末端的是各种方案在不同自然状态下的收益或损失。据此可以算出各种方案的期望收益。方案1的期望收益为：[0.7×100+0.3×(-20)]×10-300=340（万元）方案2的期望收益为：(0.7×40+0.3×30)-140=230（万元）至于方案3，由于结点④的期望收益465(=95×7-200)万元，大于结点⑤的期望收益280(=40×7)万元，所以销路好时，扩建比不扩建好。方案3（结点③）的期望收益为：(0.7×40×3+0.7X465+0.3×30×10)-140=359.5（万元）计算结果表明，在三种方案中，方案3最好在复杂的决策树中还会将利率（货币的时间价值因素）考虑进去，简单建模做出决策树以后计算收益或损失即可。

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。分类树（决策树）是一种十分常用的分类方法。他是一种监管学习，所谓监管学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。数据挖掘中决策树是一种经常要用到的技术，可以用于分析数据，同样也可以用来作预测。从数据产生决策树的机器学习技术叫做决策树学习, 通俗说就是决策树。一个决策树包含三种类型的节点：决策节点：通常用矩形框来表示机会节点：通常用圆圈来表示终结点：通常用三角形来表示决策树学习也是资料探勘中一个普通的方法。在这里，每个决策树都表述了一种树型结构，它由它的分支来对该类型的对象依靠属性进行分类。每个决策树可以依靠对源数据库的分割进行数据测试。这个过程可以递归式的对树进行修剪。 当不能再进行分割或一个单独的类可以被应用于某一分支时，递归过程就完成了。另外，随机森林分类器将许多决策树结合起来以提升分类的正确率。决策树同时也可以依靠计算条件概率来构造。决策树如果依靠数学的计算方法可以取得更加理想的效果。 数据库已如下所示：　　(x, y) = (x1, x2, x3…, xk, y)相关的变量 Y 表示我们尝试去理解，分类或者更一般化的结果。 其他的变量x1, x2, x3 等则是帮助我们达到目的的变量。

决策树法属于风险型决策方法。决策树法就是把决策过程用树状图来表示。树状图一般是由决策点、方案分枝、自然状态点、概率分枝和结果点几个关键部分构成。树状图表现了两种不同的决策环节，一种是主观抉择环节，另一种是客观抉择环节。决策树法适用于风险型决策。决策树分析法是指分析每个决策或事件（即自然状态）时，都引出两个或多个事件和不同的结果，并把这种决策或事件的分支画成图形，这种图形很像一棵树的枝干，故称决策树分析法。决策树法的几个关键步骤是：（1）画出决策树，画决策树的过程也就是对未来可能发生的各种事件进行周密思考、预测的过程，把这些情况用树状图表示出来。先画决策点，再找方案分枝和方案点。最后再画出概率分枝。（2）由专家估计法或用试验数据推算出概率值。并把概率写在概率分枝的位置上。（3）计算益损期望值，从树梢开始，由右向左的顺序进行。用期望值法计算。若决策目标是盈利时，比较各分枝，取期望值最大的分枝，其他分枝进行修剪。

【答案】B【答案解析】决策树以决策节点为出发点，引出若干方案枝，每条方案枝代表一个方案。方案枝的末端有一个状态节点，从状态节点引出若干概率枝，每条概率枝代表一种自然状态的决策方法。决策树的分析程序为：①绘制树形图；②计算期望值；③剪枝决策。?

决策树(decision tree)一般都是自上而下的来生成的。每个决策或事件（即自然状态）都可能引出两个或多个事件，导致不同的结果，把这种决策分支画成图形很像一棵树的枝干，故称决策树。 应用决策树决策方法必须具备以下条件： ①具有决策者期望达到的明确目标； ②存在决策者可以选择的两个以上的可行备选方案； ⑧存在着决策者无法控制的两种以上的自然状态(如气候变化、市场行情、经济发展动向等)； ④不同行动方案在不同自然状态下的收益值或损失值(简称损益值)可以计算出来； ⑤决策者能估计出不同的自然状态发生概率。

决策树计算公式公式：H(X)=–∑P(x)log[P(x)]H(x)：表示熵 P(x)：表示x事件发生的概率。决策树法的具体计算过程：(1)画出决策树，画决策树的过程也就是对未来可能发生的各种事件进行周密思考、预测的过程，把这些情况用树状图表示出来．先画决策点，再找方案分枝和方案点．最后再画出概率分枝。(2)由专家估计法或用试验数据推算出概率值．并把概率写在概率分枝的位置上。(3)计算益损期望值，从树梢开始，由右向左的顺序进行．用期望值法计算．若决策目标是盈利时，比较各分枝，取期望值最大的分枝，其他分枝进行修剪。决策树分析法，是将构成决策方案的有关因素，以树状图形的方式表现出来，并据以分析和选择决策方案的一种系统分析法。它以损益值为依据。该方法特别适于分析比较复杂的问题。（1）决策树的构成　　由决策结点“口”、方案枝、状态结点“O”和概率支构成。（2）决策步骤　　决策树分析法的程序主要包括以下步骤：①绘制决策树图形，按上述要求由左向右顺序展开。②计算每个结点的期望值，计算公式为：状态结点的期望值=Σ（损益值×概率值）×经营年限③剪枝，即进行方案的选优。方案净效果=该方案状态结点的期望值-该方案投资额

决策树对于常规统计方法的优缺点：优点：1、可以生成可以理解的规则；2、计算量相对来说不是很大；3、可以处理连续和种类字段；4、决策树可以清晰的显示哪些字段比较重要。缺点：1、对连续性的字段比较难预测；2、对有时间顺序的数据，需要很多预处理的工作；3、当类别太多时，错误可能就会增加的比较快；4、一般的算法分类的时候，只是根据一个字段来分类。决策树法具有许多优点：条理清晰，程序严谨，定量、定性分析相结合，方法简单，易于掌握，应用性强，适用范围广等。人们逐渐认识到，在投资方案比较选择时考虑时间因素，建立时间可比原则和条件的重要性。当今的社会经济活动中，竞争日趋激烈，现代企业的经营方向面临着许多可供选择的方案，如何用最少的资源，赢得最大的利润以及最大限度地降低企业的经营风险，是企业决策者经常面对的决策问题，决策树法能简单明了地帮助企业决策层分析企业的经营风险和经营方向。必然地，随着经济的不断发展，企业需要做出决策的数量会不断地增加，而决策质量的提高取决于决策方法的科学化。企业的决策水平提高了，企业的管理水平就一定会提高。

（1）绘制决策树图。从左到右的顺序画决策树，此过程本身就是对决策问题的再分析过程。（2）按从右到左的顺序计算各方案的期望值，并将结果写在相应方案节点上方。期望值的计算是从右到左沿着决策树的反方向进行计算的。（3）对比各方案的期望值的大小，进行剪枝优选。在舍去备选方案枝上，用“=”记号隔断。

决策树法用于风险性决策，就是在比较和选择活动方案时未来情况不止一种，管理者无法确定那种情况将发生，但是知道每种情况发生的概率。决策树法是用树状图来描述各种方案在不同情况(或自然状态）下的收益，据此计算每种方案的期望收益从而作出决策的方法。举例：某企业为了扩大某产品的生产，拟建设新厂。据市场预测，产品销路好的概率为0.7，销路差的概率为0. 30有三种方案可供企业选择：方案1、新建大厂，需投资300万元。据初步估计，销路好时，每年可获利100万元；销路差时，每年亏损20万元。服务期为10年。方案2、新建小厂，需投资140万元。销路好时，每年可获利40万元；销路差时，每年仍可获利30万元。服务期为10年。 方案3 、 先建小厂，三年后销路好时再扩建，需追加投资200万元，服务期为7年，估计每年获利95万元。问哪种方案最好？决策树中，矩形结点称为决策点，从决策点引出的若干条树枝枝表示若干种方案，称为方案枝。圆形结点称为状态点，从状态点引出的若干条树枝表示若干种自然状态，称为状态枝。图中有两种自然状态：销路好和销路差，自然状态后面的数字表示该种自然状态出现的概率。位于状态枝末端的是各种方案在不同自然状态下的收益或损失。据此可以算出各种方案的期望收益。方案1的期望收益为：[0.7×100+0.3×(-20)]×10 - 300=340（万元）方案2的期望收益为：(0.7×40+0.3×30) - 140= 230（万元）至于方案3，由于结点④的期望收益465(= 95×7- 200)万元，大于结点⑤的期望收益280(= 40×7)万元，所以销路好时，扩建比不扩建好。方案3（结点③）的期望收益为：(0.7×40×3+0.7 X465 +0.3×30×10) - 140= 359.5（万元）计算结果表明，在三种方案中，方案3最好在复杂的决策树中还会将利率（货币的时间价值因素）考虑进去，简单建模做出决策树以后计算收益或损失即可。

决策树属于风险型的决策。风险型指的就是未来情况不确定但是知道每个事件发生的概率，多级风险型决策对应的方法一般都是决策树法。但决策树的这种明确性可能回带来误导。比如，决策树每个节点对应分割的定义都是非常明确毫不含糊的，但在实际生活中这种明确可能带来麻烦。一、决策树的定义如下：决策树分析法是一种运用概率与图论中的树对决策中的不同方案进行比较，从而获得最优方案的风险型决策方法。图论中的树是连通且无回路的有向图，入度为0的点称为树根，出度为0的点称为树叶，树叶以外的点称为内点。决策树由树根（决策节点）、其他内点（方案节点、状态节点）、树叶（终点）、树枝（方案枝、概率枝）、概率值、损益值组成。二、决策树的原理如下：它利用了概率论的原理，并且利用一种树形图作为分析工具。其基本原理是用决策点代表决策问题，用方案分枝代表可供选择的方案，用概率分枝代表方案可能出现的各种结果，经过对各种方案在各种结果条件下损益值的计算比较，为决策者提供决策依据。如果一个决策树只在树的根部有一决策点，则称为单级决策；若一个决策不仅在树的根部有决策点，而且在树的中间也有决策点，则称为多级决策。

1、决策树分析法能显示出决策过程，具体形象，便于发现问题。1、决策树分析法能把风险决策的各个环节联系成一个统一的整体，有利于决策过程中的思考，易于比较各种方案的优劣。3、决策树分析法既可以进行定性分析，也可以进行定量计算。

它利用了概率论的原理，并且利用一种树形图作为分析工具。其基本原理是用决策点代表决策问题，用方案分枝代表可供选择的方案，用概率分枝代表方案可能出现的各种结果，经过对各种方案在各种结果条件下损益值的计算比较，为决策者提供决策依据。 决策树分析法是常用的风险分析决策方法。该方法是一种用树形图来描述各方案在未来收益的计算。比较以及选择的方法，其决策是以期望值为标准的。人们对未来可能会遇到好几种不同的情况。每种情况均有出现的可能，人们现无法确知，但是可以根据以前的资料来推断各种自然状态出现的概率。在这样的条件下，人们计算的各种方案在未来的经济效果只能是考虑到各种自然状态出现的概率的期望值，与未来的实际收益不会完全相等。 如果一个决策树只在树的根部有一决策点，则称为单级决策；若一个决策不仅在树的根部有决策点，而且在树的中间也有决策点，则称为多级决策。

决策树法的几个关键步骤是：1、画出决策树，画决策树的过程也就是对未来可能发生的各种事件进行周密思考、预测的过程，把这些情况用树状图表示出来．先画决策点，再找方案分枝和方案点．最后再画出概率分枝。2、由专家估计法或用试验数据推算出概率值．并把概率写在概率分枝的位置上。3、计算益损期望值，从树梢开始，由右向左的顺序进行．用期望值法计算．若决策目标是盈利时，比较各分枝，取期望值最大的分枝，其他分枝进行修剪。扩展资料决策树的优点1、决策树易于理解和实现. 人们在通过解释后都有能力去理解决策树所表达的意义。2、对于决策树，数据的准备往往是简单或者是不必要的 . 其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。3、能够同时处理数据型和常规型属性。其他的技术往往要求数据属性的单一。4、 在相对短的时间内能够对大型数据源做出可行且效果良好的结果。5、对缺失值不敏感6、可以处理不相关特征数据7、效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。决策树的缺点1、对连续性的字段比较难预测。2、对有时间顺序的数据，需要很多预处理的工作。3、当类别太多时，错误可能就会增加的比较快。4、一般的算法分类的时候，只是根据一个字段来分类。5、在处理特征关联性比较强的数据时表现得不是太好

决策树分析法是指分析每个决策或事件（即自然状态）时，都引出两个或多个事件和不同的结果，并把这种决策或事件的分支画成图形，这种图形很像一棵树的枝干，故称决策树分析法。决策树法的优点：1、可以生成可以理解的规则；2、计算量相对来说不是很大；3、可以处理连续和种类字段；4、决策树可以清晰的显示哪些字段比较重要。决策树法的缺点：1、对连续性的字段比较难预测；2、对有时间顺序的数据，需要很多预处理的工作；3、当类别太多时，错误可能就会增加的比较快；4、一般的算法分类的时候，只是根据一个字段来分类。决策树法的几个关键步骤是：1、画出决策树，画决策树的过程也就是对未来可能发生的各种事件进行周密思考、预测的过程，把这些情况用树状图表示出来。先画决策点，再找方案分枝和方案点。最后再画出概率分枝。2、由专家估计法或用试验数据推算出概率值。并把概率写在概率分枝的位置上。3、计算益损期望值，从树梢开始，由右向左的顺序进行。用期望值法计算。若决策目标是盈利时，比较各分枝，取期望值最大的分枝，其他分枝进行修剪。

决策树法的几个关键步骤是：1、画出决策树，画决策树的过程也就是对未来可能发生的各种事件进行周密思考、预测的过程，把这些情况用树状图表示出来．先画决策点，再找方案分枝和方案点．最后再画出概率分枝。2、由专家估计法或用试验数据推算出概率值．并把概率写在概率分枝的位置上。3、计算益损期望值，从树梢开始，由右向左的顺序进行．用期望值法计算．若决策目标是盈利时，比较各分枝，取期望值最大的分枝，其他分枝进行修剪。扩展资料决策树的优点1、决策树易于理解和实现. 人们在通过解释后都有能力去理解决策树所表达的意义。2、对于决策树，数据的准备往往是简单或者是不必要的 . 其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。3、能够同时处理数据型和常规型属性。其他的技术往往要求数据属性的单一。4、 在相对短的时间内能够对大型数据源做出可行且效果良好的结果。5、对缺失值不敏感6、可以处理不相关特征数据7、效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。决策树的缺点1、对连续性的字段比较难预测。2、对有时间顺序的数据，需要很多预处理的工作。3、当类别太多时，错误可能就会增加的比较快。4、一般的算法分类的时候，只是根据一个字段来分类。5、在处理特征关联性比较强的数据时表现得不是太好

决策树分析法是一种运用概率与图论中的树对决策中的不同方案进行比较，从而获得最优方案的风险型决策方法。图论中的树是连通且无回路的有向图，入度为0的点称为树根，出度为0的点称为树叶，树叶以外的点称为内点。决策树由树根(决策节点)、其他

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。

决策树是数学、计算机科学与管理学中经常使用的工具。决策论中 (如风险管理)，决策树(Decision tree)由一个决策图和可能的结果(包括资源成本和风险)组成， 用来创建到达目标的规划。决策树建立并用来辅助决策，是一种特殊的树结构。决策树是一个利用像树一样的图形或决策模型的决策支持工具，包括随机事件结果，资源代价和实用性。它是一个算法显示的方法。决策树经常在运筹学中使用，特别是在决策分析中，它帮助确定一个能最可能达到目标的策略。如果在实际中，决策不得不在没有完备知识的情况下被在线采用，一个决策树应该平行概率模型作为最佳的选择模型或在线选择模型算法。决策树的另一个使用是作为计算条件概率的描述性手段。　　决策树提供了一种展示类似在什么条件下会得到什么值这类规则的方法。比如，在贷款申请中，要对申请的风险大小做出判断，图是为了解决这个问题而建立的一棵决策树，从中我们可以看到决策树的基本组成部分：决策节点、分支和叶子。 　　决策树中最上面的节点称为根节点，是整个决策树的开始。本例中根节点是“收入>￥40,000”，对此问题的不同回答产生了“是”和“否”两个分支。 　　决策树的每个节点子节点的个数与决策树在用的算法有关。如CART算法得到的决策树每个节点有两个分支，这种树称为二叉树。允许节点含有多于两个子节点的树称为多叉树。决策树的内部节点（非树叶节点）表示在一个属性上的测试。 　　每个分支要么是一个新的决策节点，要么是树的结尾，称为叶子。在沿着决策树从上到下遍历的过程中，在每个节点都会遇到一个问题，对每个节点上问题的不同回答导致不同的分支，最后会到达一个叶子节点。这个过程就是利用决策树进行分类的过程，利用几个变量（每个变量对应一个问题）来判断所属的类别（最后每个叶子会对应一个类别）。例如，　　假如负责借贷的银行官员利用上面这棵决策树来决定支持哪些贷款和拒绝哪些贷款，那么他就可以用贷款申请表来运行这棵决策树，用决策树来判断风险的大小。“年收入>￥40,00”和“高负债”的用户被认为是“高风险”，同时“收入5年”的申请，则被认为“低风险”而建议贷款给他/她。 　　数据挖掘中决策树是一种经常要用到的技术，可以用于分析数据，同样也可以用来作预测（就像上面的银行官员用他来预测贷款风险）。常用的算法有CHAID、 CART、ID3、C4.5、 Quest 和C5.0。 　　建立决策树的过程，即树的生长过程是不断的把数据进行切分的过程，每次切分对应一个问题，也对应着一个节点。对每个切分都要求分成的组之间的“差异”最大。 　　对决策树算法的研究开发主要以国外为主， 现有的涉及决策树算法的软件有SEE5、Weka、spss等，在国内也有不少人开展了对决策树算法的构建及应用研究，如中国测绘科学研究院在原有C5.0算法的基础上进行了算法重构，将其用于地表覆盖遥感影像分类中。

决策树的画法及计算方法如下：1、画决策树决策数的画法是从左至右分阶段展开的。画图时先分析决策点的起点，备选方案，各方案所面临的自然状态机器概率，以及个方案在不同自然状态下的损益值。然后先画一个方框作为出发点，从出发点向右引出若干条直线，在每个方案枝的末端画一个圆圈，从自然状态点引出代表各自然状态的分枝，则概率分枝末端画三角形，表示终点。如果是多级决策，则要确定是哪几个阶段逐段展开其方案枝、状态节点、概率枝及结果节点。最后将决策点、状态点自左向右分别编号。2、计算期望值一般按反向的时间程序逐步计算，将各方案的几种可能结果的数值和它们各自的概率相乘，并汇总所得之和，其和就是该方案的期望值。比较不同方案的期望值，在比较方案考虑的是收益值时，则取最大期望值；若考虑的是损失时，则取最小期望值。舍弃的方案可在方案枝上画“11”符号，称为剪枝。最后决策点只留下一根方案枝，即为最优方案枝。决策树的优点：决策树易于理解和实现，人们在在学习过程中不需要使用者了解很多的背景知识这同时是它的能够直接体现数据的特点，只要通过解释后都有能力去理解决策树所表达的意义。对于决策树，数据的准备往往是简单或者是不必要的，而且能够同时处理数据型和常规型属性，在相对短的时间内能够对大型数据源做出可行且效果良好的结果。易于通过静态测试来对模型进行评测，可以测定模型可信度；如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。

SPSS——回归——线性——选择分析变量——保存（save）——预测区间（prediction intervals）——选择上均数（Mean）和个体（individual）运行即可。结果在SPSS打开的

决策树基本上就是把我们以前的经验总结出来。我给你准备了一个打篮球的训练集。如果我们要出门打篮球，一般会根据“天气”、“温度”、“湿度”、“刮风”这几个条件来判断，最后得到结果：去打篮球？还是不去？ 上面这个图就是一棵典型的决策树。我们在做决策树的时候，会经历两个阶段：构造和剪枝。 构造就是生成一棵完整的决策树。简单来说，构造的过程就是选择什么属性作为节点的过程，那么在构造过程中，会存在三种节点： 根节点：就是树的最顶端，最开始的那个节点。在上图中，“天气”就是一个根节点； 内部节点：就是树中间的那些节点，比如说“温度”、“湿度”、“刮风”； 叶节点：就是树最底部的节点，也就是决策结果。 剪枝就是给决策树瘦身，防止过拟合。分为“预剪枝”（Pre-Pruning）和“后剪枝”（Post-Pruning）。 预剪枝是在决策树构造时就进行剪枝。方法是在构造的过程中对节点进行评估，如果对某个节点进行划分，在验证集中不能带来准确性的提升，那么对这个节点进行划分就没有意义，这时就会把当前节点作为叶节点，不对其进行划分。 后剪枝就是在生成决策树之后再进行剪枝，通常会从决策树的叶节点开始，逐层向上对每个节点进行评估。如果剪掉这个节点子树，与保留该节点子树在分类准确性上差别不大，或者剪掉该节点子树，能在验证集中带来准确性的提升，那么就可以把该节点子树进行剪枝。 1是欠拟合，3是过拟合，都会导致分类错误。 造成过拟合的原因之一就是因为训练集中样本量较小。如果决策树选择的属性过多，构造出来的决策树一定能够“完美”地把训练集中的样本分类，但是这样就会把训练集中一些数据的特点当成所有数据的特点，但这个特点不一定是全部数据的特点，这就使得这个决策树在真实的数据分类中出现错误，也就是模型的“泛化能力”差。 p(i|t) 代表了节点 t 为分类 i 的概率，其中 log2 为取以 2 为底的对数。这里我们不是来介绍公式的，而是说存在一种度量，它能帮我们反映出来这个信息的不确定度。当不确定性越大时，它所包含的信息量也就越大，信息熵也就越高。 ID3 算法计算的是信息增益，信息增益指的就是划分可以带来纯度的提高，信息熵的下降。它的计算公式，是父亲节点的信息熵减去所有子节点的信息熵。 公式中 D 是父亲节点，Di 是子节点，Gain(D,a) 中的 a 作为 D 节点的属性选择。 因为 ID3 在计算的时候，倾向于选择取值多的属性。为了避免这个问题，C4.5 采用信息增益率的方式来选择属性。信息增益率 = 信息增益 / 属性熵，具体的计算公式这里省略。 当属性有很多值的时候，相当于被划分成了许多份，虽然信息增益变大了，但是对于 C4.5 来说，属性熵也会变大，所以整体的信息增益率并不大。 ID3 构造决策树的时候，容易产生过拟合的情况。在 C4.5 中，会在决策树构造之后采用悲观剪枝（PEP），这样可以提升决策树的泛化能力。 悲观剪枝是后剪枝技术中的一种，通过递归估算每个内部节点的分类错误率，比较剪枝前后这个节点的分类错误率来决定是否对其进行剪枝。这种剪枝方法不再需要一个单独的测试数据集。 C4.5 可以处理连续属性的情况，对连续的属性进行离散化的处理。比如打篮球存在的“湿度”属性，不按照“高、中”划分，而是按照湿度值进行计算，那么湿度取什么值都有可能。该怎么选择这个阈值呢，C4.5 选择具有最高信息增益的划分所对应的阈值。 针对数据集不完整的情况，C4.5 也可以进行处理。 暂无 请你用下面的例子来模拟下决策树的流程，假设好苹果的数据如下，请用 ID3 算法来给出好苹果的决策树。 「红」的信息增益为：1「大」的信息增益为：0 因此选择「红」的作为根节点，「大」没有用，剪枝。 数据分析实战45讲.17 丨决策树（上）：要不要去打篮球？决策树来告诉你

决策树是一种图解法。决策树（DecisionTree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，它代表的是对象属性与对象值之间的一种映射关系。Entropy=系统的凌乱程度。这一度量是基于信息学理论中熵的概念。决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。决策树的剪枝剪枝是决策树停止分支的方法之一，剪枝有分预先剪枝和后剪枝两种。预先剪枝是在树的生长过程中设定一个指标，当达到该指标时就停止生长，这样做容易产生“视界局限”，就是一旦停止分支，使得节点N成为叶节点，就断绝了其后继节点进行“好”的分支操作的任何可能性。不严格的说这些已停止的分支会误导学习算法，导致产生的树不纯度降差最大的地方过分靠近根节点。后剪枝中树首先要充分生长，直到叶节点都有最小的不纯度值为止，因而可以克服视界局限。然后对所有相邻的成对叶节点考虑是否消去它们，如果消去能引起令人满意的不纯度增长，那么执行消去，并令它们的公共父节点成为新的叶节点。以上内容参考百度百科-决策树

决策树法是管理人员和决策分析人员经常采用的一种行之有效的决策工具。它具有下列优点：1.决策树列出了决策问题的全部可行方案和可能出现的各种自然状态，以及各可行方法在各种不同状态下的期望值。2.能直观地显示整个决策问题在时间和决策顺序上不同阶段的决策过程。3.在应用于复杂的多阶段决策时，阶段明显，层次清楚，便于决策机构集体研究，可以周密地思考各种因素，有利于作出正确的决策。当然，决策树法也不是十全十美的，它也有缺点，如使用范围有限，无法适用于一些不能用数量表示的决策；对各种方案的出现概率的确定有时主观性较大，可能导致决策失误；等等。

管理学决策树画法如下：第一步：点击下载“亿图图示”软件，也可以访问亿图图示在线网页版。然后启动软件，开作图。第二步：新建一个“决策树”。依次点击“管理-咨询”-“项目管理”-“决策树”。这样我们需要的决策树模板就会在下方，然后选择一个模板，点击使用。第三步：首先打开画布左侧的符号库，可以看到很多专业的决策树符号，然后对想用的符号进行拖拽和使用，也可以修改模板的绘图形状打造个性化的决策树。第四步：双击文本框，替换掉决策树模板中文字或者删除一些不需要的文本框第五步：完成对决策树的绘制后，可以点击右侧上方的保存、下载、分析等按钮，对制作好的决策树进行存储。还可以将决策树导出为图片、PDF、PPT等多种格式。决策树的常见用途：绘制出一幅决策树的前提便是要有足够的数据来支撑计算，当有足够多的数据后，决策树便能根据数据进行整理和计算，决策树也可以对人们日常生活中的学习或者各种选择进行分析和预测。1、企业的方案制定当企业在面临机遇或者危机时，急需找到正确的决策，那么便可以用决策树对自己目前的状况进行分析，选择出适合当前的决策，来将利益最大化。2、计算机算法决策树可以说时计算机的比较基础的算法了。决策树既可以做分类算法也可以做回归算法，适合程序员学习联系计算机的代码书写。

决策树是一种常用的机器学习算法，它可以用于分类和回归问题。下面是决策树算法的基本步骤：1. 收集数据：收集一组带有标签的数据集，其中每个样本包含若干个特征和一个标签。特征是用于决策的信息，标签是我们需要预测的结果。2. 准备数据：对数据进行预处理，包括数据清洗、特征选择和特征转换等操作。这一步是为了使得数据更加规范化和易于处理。3. 选择特征：根据一定的准则选择最优的特征，将数据集分成更小的子集。4. 构建决策树：使用递归的方法构建决策树，每个非叶子节点表示一个特征，每个叶子节点表示一个类别或一个回归值。5. 对新样本进行分类或预测：使用构建好的决策树对新样本进行分类或预测。从根节点开始，依次比较特征的取值，直到到达叶子节点为止。6. 评估模型：使用测试集评估决策树的性能，可以使用准确率、精确率、召回率等指标评估。7. 调整参数：根据评估结果调整决策树的参数，如选择不同的特征选择方法、调整决策树的深度等。8. 预测未知数据：使用调整后的决策树对新的未知数据进行预测。

实践证明，根本原因分析（RCA）是六西格玛管理方法的一项宝贵技能。但是，我们如何使用根本原因分析达到最佳效果？什么工具对这项任务最有帮助呢？这就不得不提“决策树”了。这种方法在原因和结果之间进行分支，以说明选择的结果。下面是我们关于如何创建决策树作为RCA的一部分的实用指南：决策树的一个伟大之处在于，它可以让你轻松识别根本原因。他们通过突出每个因素及其原因以及几种可能的纠正措施来工作。树状图来自于决策树的分支方法。首先，你确定问题（这应该很容易！），然后你需要概述可能的原因和根本原因。这可能比听起来更难，因为问题的原因和根本原因（没错，可能不止一个）并不总是显而易见的。解决这一问题的一个很好的工具是“5 Whys”，它涉及深入的提问，以找出问题的原因。接下来，你必须根据其余部分中收集的信息来设计纠正措施。例如：如果你的问题是你的车无法启动，原因可能是它没有燃料。造成这种情况的根本原因可能是你忘记给油箱加满油，而纠正措施当然是加油。使用决策树可以将相当广泛的类别分解为更小的类别，从而在每个步骤中实现更精细的细节级别。通过映射特定任务和场景的精细细节（即，你的汽车无法启动），很容易找到困扰你的任何问题的根本原因，并从理论上提出解决方案。上面是一个基本的决策树，可以很容易地修改以适应任何情况。您还可以使用决策树来传达其他信息，如潜在风险、缺点和后果。作为一种支持工具，决策树在确定决策结果方面非常有效。当涉及到RCA时，不要低估决策树等工具的价值。决策树对于完成看似困难的目标和解决最初看起来难以克服的问题非常有用。涉及的关键因素是细节：深入、有组织、全面的数据。亲自尝试一下，看看决策树能为你做些什么。这可能会让你吃惊！

　决策树是用二叉树形图来表示处理逻辑的一种工具。可以直观、清晰地表达加工的逻辑要求。特别适合于判断因素比较少、逻辑组合关系不复杂的情况。 　　决策树提供了一种展示类似在什么条件下会得到什么值这类规则的方法。比如，在贷款申请中，要对申请的风险大小做出判断，图是为了解决这个问题而建立的一棵决策树，从中我们可以看到决策树的基本组成部分：决策节点、分支和叶子。　　决策树中最上面的节点称为根节点，是整个决策树的开始。本例中根节点是“收入>￥40,000”，对此问题的不同回答产生了“是”和“否”两个分支。　　决策树的每个节点子节点的个数与决策树在用的算法有关。如CART算法得到的决策树每个节点有两个分支，这种树称为二叉树。允许节点含有多于两个子节点的树称为多叉树。　　每个分支要么是一个新的决策节点，要么是树的结尾，称为叶子。在沿着决策树从上到下遍历的过程中，在每个节点都会遇到一个问题，对每个节点上问题的不同回答导致不同的分支，最后会到达一个叶子节点。这个过程就是利用决策树进行分类的过程，利用几个变量（每个变量对应一个问题）来判断所属的类别（最后每个叶子会对应一个类别）。　　假如负责借贷的银行官员利用上面这棵决策树来决定支持哪些贷款和拒绝哪些贷款，那么他就可以用贷款申请表来运行这棵决策树，用决策树来判断风险的大小。“年收入>￥40,00”和“高负债”的用户被认为是“高风险”，同时“收入<￥40,000”但“工作时间>5年”的申请，则被认为“低风险”而建议贷款给他/她。　　数据挖掘中决策树是一种经常要用到的技术，可以用于分析数据，同样也可以用来作预测（就像上面的银行官员用他来预测贷款风险）。常用的算法有CHAID、 CART、 Quest 和C5.0。　　建立决策树的过程，即树的生长过程是不断的把数据进行切分的过程，每次切分对应一个问题，也对应着一个节点。对每个切分都要求分成的组之间的“差异”最大。　　各种决策树算法之间的主要区别就是对这个“差异”衡量方式的区别。对具体衡量方式算法的讨论超出了本文的范围，在此我们只需要把切分看成是把一组数据分成几份，份与份之间尽量不同，而同一份内的数据尽量相同。这个切分的过程也可称为数据的“纯化”。看我们的例子，包含两个类别--低风险和高风险。如果经过一次切分后得到的分组，每个分组中的数据都属于同一个类别，显然达到这样效果的切分方法就是我们所追求的。　　到现在为止我们所讨论的例子都是非常简单的，树也容易理解，当然实际中应用的决策树可能非常复杂。假定我们利用历史数据建立了一个包含几百个属性、输出的类有十几种的决策树，这样的一棵树对人来说可能太复杂了，但每一条从根结点到叶子节点的路径所描述的含义仍然是可以理解的。决策树的这种易理解性对数据挖掘的使用者来说是一个显著的优点。　　然而决策树的这种明确性可能带来误导。比如，决策树每个节点对应分割的定义都是非常明确毫不含糊的，但在实际生活中这种明确可能带来麻烦（凭什么说年收入￥40,001的人具有较小的信用风险而￥40,000的人就没有）。　　建立一颗决策树可能只要对数据库进行几遍扫描之后就能完成，这也意味着需要的计算资源较少，而且可以很容易的处理包含很多预测变量的情况，因此决策树模型可以建立得很快，并适合应用到大量的数据上。　　对最终要拿给人看的决策树来说，在建立过程中让其生长的太“枝繁叶茂”是没有必要的，这样既降低了树的可理解性和可用性，同时也使决策树本身对历史数据的依赖性增大，也就是说这是这棵决策树对此历史数据可能非常准确，一旦应用到新的数据时准确性却急剧下降，我们称这种情况为训练过度。为了使得到的决策树所蕴含的规则具有普遍意义，必须防止训练过度，同时也减少了训练的时间。因此我们需要有一种方法能让我们在适当的时候停止树的生长。常用的方法是设定决策树的最大高度（层数）来限制树的生长。还有一种方法是设定每个节点必须包含的最少记录数，当节点中记录的个数小于这个数值时就停止分割。　　与设置停止增长条件相对应的是在树建立好之后对其进行修剪。先允许树尽量生长，然后再把树修剪到较小的尺寸，当然在修剪的同时要求尽量保持决策树的准确度尽量不要下降太多。　　对决策树常见的批评是说其在为一个节点选择怎样进行分割时使用“贪心”算法。此种算法在决定当前这个分割时根本不考虑此次选择会对将来的分割造成什么样的影响。换句话说，所有的分割都是顺序完成的，一个节点完成分割之后不可能以后再有机会回过头来再考察此次分割的合理性，每次分割都是依赖于他前面的分割方法，也就是说决策树中所有的分割都受根结点的第一次分割的影响，只要第一次分割有一点点不同，那么由此得到的整个决策树就会完全不同。那么是否在选择一个节点的分割的同时向后考虑两层甚至更多的方法，会具有更好的结果呢？目前我们知道的还不是很清楚，但至少这种方法使建立决策树的计算量成倍的增长，因此现在还没有哪个产品使用这种方法。　　而且，通常的分割算法在决定怎么在一个节点进行分割时，都只考察一个预测变量，即节点用于分割的问题只与一个变量有关。这样生成的决策树在有些本应很明确的情况下可能变得复杂而且意义含混，为此目前新提出的一些算法开始在一个节点同时用多个变量来决定分割的方法。比如以前的决策树中可能只能出现类似“收入<￥35,000”的判断，现在则可以用“收入<(0.35*抵押)”或“收入>￥35,000或抵押<150,000”这样的问题。　　决策树很擅长处理非数值型数据，这与神经网络只能处理数值型数据比起来，就免去了很多数据预处理工作。　　甚至有些决策树算法专为处理非数值型数据而设计，因此当采用此种方法建立决策树同时又要处理数值型数据时，反而要做把数值型数据映射到非数值型数据的预处理。

我找些资料，供你参考一下。应用决策树应具备以下几个条件：有决策者的明确目标；有决策者可以选择的两个以上的可行备选方案；存在决策者无法控制的两种以上的自然状态(如气候变化、市场行情、经济发展动向等)；不同行动方案在不同自然状态下的损益值可以计算出来；决策者能估计出不同的自然状态发生概率

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。分类树（决策树）是一种十分常用的分类方法。他是一种监管学习，所谓监管学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。数据挖掘中决策树是一种经常要用到的技术，可以用于分析数据，同样也可以用来作预测。从数据产生决策树的机器学习技术叫做决策树学习, 通俗说就是决策树。一个决策树包含三种类型的节点：决策节点：通常用矩形框来表示机会节点：通常用圆圈来表示终结点：通常用三角形来表示决策树学习也是资料探勘中一个普通的方法。在这里，每个决策树都表述了一种树型结构，它由它的分支来对该类型的对象依靠属性进行分类。每个决策树可以依靠对源数据库的分割进行数据测试。这个过程可以递归式的对树进行修剪。 当不能再进行分割或一个单独的类可以被应用于某一分支时，递归过程就完成了。另外，随机森林分类器将许多决策树结合起来以提升分类的正确率。决策树同时也可以依靠计算条件概率来构造。决策树如果依靠数学的计算方法可以取得更加理想的效果。 数据库已如下所示：　　(x, y) = (x1, x2, x3…, xk, y)相关的变量 Y 表示我们尝试去理解，分类或者更一般化的结果。 其他的变量x1, x2, x3 等则是帮助我们达到目的的变量。

决策树是一种非参数有监督的机器学习方法，可以用于解决回归问题和分类问题。通过学习已有的数据，计算得出一系列推断规则来预测目标变量的值，并用类似流程图的形式进行展示。决策树模型可以进行可视化，具有很强的可解释性，算法容易理解，以决策树为基础的各种集成算法在很多领域都有广泛的应用。 熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。在信息论里面，信息熵代表着一个事件或一个变量等所含有的信息量。 在信息世界，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。 发生概率低的事件比发生概率高的事件具有更大的不确定性，需要更多的信息去描述他们，信息熵更高。 我们可以用计算事件发生的概率来计算事件的信息，又称“香农信息”（ Shannon Information ）。一个离散事件x的信息可以表示为： h(x) = -log(p(x)) p() 代表事件x发生的概率， log() 为以二为底的对数函数，即一个事件的信息量就是这个事件发生的概率的负对数。选择以二为底的对数函数代表计算信息的单位是二进制。因为概率p(x)小于1，所以负号就保证了信息熵永远不为负数。当事件的概率为1时，也就是当某事件百分之百发生时，信息为0。 熵（ entropy ），又称“香农熵”（ Shannon entropy ），表示一个随机变量的分布所需要的平均比特数。一个随机变量的信息熵可以表示为： H(x) = -sum(each k in K p(k)log(p(k))) K表示变量x所可能具有的所有状态（所有事件），将发生特定事件的概率和该事件的信息相乘，最后加和，即可得到该变量的信息熵。可以理解为，信息熵就是平均而言发生一个事件我们得到的信息量大小。所以数学上，信息熵其实是事件信息量的期望。 当组成该随机变量的一个事件的概率为1时信息熵最小，为0， 即该事件必然发生。当组成该随机变量的所有事件发生的概率相等时，信息熵最大，即完全不能判断那一个事件更容易发生，不确定性最大。 当一个事件主导时，比如偏态分布（ Skewed Probability Distribution ），不确定性减小，信息熵较低（low entropy）；当所有事件发生概率相同时，比如均衡分布（ Balanced Probability Distribution ），不确定性极大，信息熵较高（high entropy）。 由以上的香农信息公式可知，信息熵主要有三条性质： - 单调性 。发生概率越高的事件，其所携带的信息熵越低。比如一个真理的不确定性是极低的，那么它所携带的信息熵就极低。 - 非负性 。信息熵不能为负。单纯从逻辑层面理解，如果得知了某个信息后，却增加了不确定性，这也是不合逻辑的。 - 可加性 。即多随机事件同时发生存在的总不确定性的量度是可以表示为各事件不确定性的量度的和。 若两事件A和B同时发生，两个事件相互独立。 p(X=A,Y=B) = p(X = A)*p(Y=B) , 那么信息熵为 H(A,B) = H(A) + H(B) 。但若两事件不相互独立，那么 H(A,B) = H(A) + H(B) - I(A,B) 。其中 I(A,B) 是互信息（ mutual information，MI ），即一个随机变量包含另一个随机变量信息量的度量。即已知X的情况下，Y的分布是否会改变。 可以理解为，两个随机变量的互信息度量了两个变量间相互依赖的程度。X 和 Y的互信息可以表示为： I(X;Y) = H(X) - H(X|Y) H(X)是X的信息熵，H(X|Y)是已知Y的情况下，X的信息熵。结果的单位是比特。 简单来说，互信息的性质为： - I(X;Y)>=0 互信息永远不可能为负 - H(X) - H(X|Y) = I(X;Y) = I (Y;X) = H(Y) - H(Y|X) 互信息是对称的 -当X，Y独立的时候， I(X;Y) = 0 互信息值越大，两变量相关性越强。 -当X，Y知道一个就能推断另一个的时候， I(X;Y) = H(Y) = H(X) 在数据科学中，互信息常用于特征筛选。在通信系统中互信息也应用广泛。在一个点到点的通信系统中，发送信号为X，通过信道后，接收端接收到的信号为Y，那么信息通过信道传递的信息量就是互信息 I(X,Y) 。根据这个概念，香农推导出信道容量（即临界通信传输速率的值）。 信息增益（ Information Gain ）是用来按照一定规则划分数据集后，衡量信息熵减少量的指数。 那数据集的信息熵又是怎么计算的呢？比如一个常见的0,1二分类问题，我们可以计算它的熵为： Entropy = -(p(0) * log(P(0)) + p(1) * log(P(1))) 当该数据集为50/50的数据集时，它的信息熵是最大的（1bit）。而10/90的数据集将会大大减少结果的不确定性，减小数据集的信息熵（约为0.469bit）。 这样来说，信息熵可以用来表示数据集的纯度（ purity ）。信息熵为0就表示该数据集只含有一个类别，纯度最高。而较高的信息熵则代表较为平衡的数据集和较低的纯度。 信息增益是提供了一种可以使用信息熵计算数据集经过一定的规则（比如决策树中的一系列规则）进行数据集分割后信息熵的变化的方法。 IG(S,a) = H(S) - H(S|a) 其中，H(s) 是原数据集S的信息熵（在做任何改变之前），H(S|a)是经过变量a的一定分割规则。所以信息增益描述的是数据集S变换后所节省的比特数。 信息增益可以用做决策树的分枝判断方法。比如最常用CART树（ Classification and Regression Tree ）中的分枝方法，只要在python中设置参数 criterion 为 “entropy” 即可。 信息增益也可以用作建模前的特征筛选。在这种场景下，信息增益和互信息表达的含义相同，会被用来计算两变量之间的独立性。比如scikit-learn 中的函数 mutual_info_classiif() 信息增益在面对类别较少的离散数据时效果较好，但是面对取值较多的特征时效果会有 偏向性 。因为当特征的取值较多时，根据此特征划分得到的子集纯度有更大的可能性会更高(对比与取值较少的特征)，因此划分之后的熵更低，由于划分前的熵是一定的，因此信息增益更大，因此信息增益比较偏向取值较多的特征。举一个极端的例子来说，如果一个特征为身份证号，当把每一个身份证号不同的样本都分到不同的子节点时，熵会变为0，意味着信息增益最大，从而该特征会被算法选择。但这种分法显然没有任何实际意义。 这种时候，信息增益率就起到了很重要的作用。 gR(D,A)=g(D,A)/HA(D) HA(D) 又叫做特征A的内部信息，HA(D)其实像是一个衡量以特征AA的不同取值将数据集D分类后的不确定性的度量。如果特征A的取值越多，那么不确定性通常会更大，那么HA(D)的值也会越大，而1/HA(D)的值也会越小。这相当于是在信息增益的基础上乘上了一个惩罚系数。即 gR(D,A)=g(D,A)u2217惩罚系数 。 在CART算法中，基尼不纯度表示一个随机选中的样本被分错类别的可能性，即这个样本被选中的概率乘以它被分错的概率。当一个节点中所有样本均为一种时（没有被分错的样本），基尼不纯度达到最低值0。 举例来说，如果有绿色和蓝色两类数据点，各占一半（蓝色50%，绿色50%）。那么我们随机分类，有以下四种情况： -分为蓝色，但实际上是绿色（u274c），概率25% -分为蓝色，实际上也是蓝色（u2714ufe0f），概率25% -分为绿色，实际上也是绿色（u2714ufe0f），概率25% -分为绿色，但实际上是蓝色（u274c），概率25% 那么将任意一个数据点分错的概率为25%+25% = 50%。基尼不纯度为0.5。 在特征选择中，我们可以选择加入后使数据不纯度减少最多的特征。 噪音数据简单来说就是会对模型造成误导的数据。分为类别噪声（ class noise 或 label noise ）和 变量噪声（ attribute noise ）。类别噪声指的的是被错误标记的错误数据，比如两个相同的样本具有不同的标签等情况。变量噪声指的是有问题的变量，比如缺失值、异常值和无关值等。 决策树其实是一种图结构，由节点和边构成。 -根节点：只有出边没有入边。包含样本全集，表示一个对样本最初的判断。 -内部节点：一个入边多个出边。表示一个特征或是属性。每个内部节点都是一个判断条件，包含数据集中从根节点到该节点所有满足条件的数据的集合。 -叶节点：一个入边无出边。表示一个类，对应于决策结果。 决策树的生成主要分为三个步骤： 1. 节点的分裂 ：当一个节点不够纯（单一分类占比不够大或者说信息熵较大）时，则选择将这一节点进行分裂。 2. 决策边界的确定 ：选择正确的决策边界（ Decision Boundary ），使分出的节点尽量纯，信息增益（熵减少的值）尽可能大。 3. 重复及停止生长 ：重复1，2步骤，直到纯度为0或树达到最大深度。为避免过拟合，决策树算法一般需要制定树分裂的最大深度。到达这一深度后，即使熵不等于0，树也不会继续进行分裂。 下面以超级知名的鸢尾花数据集举例来说明。 这个数据集含有四个特征：花瓣的长度（ petal length ）、花瓣的宽度( petal width )、花萼的长度( sepal length )和花萼的宽度( sepal width )。预测目标是鸢尾花的种类 iris setosa, iris versicolor 和 iris virginica 。 建立决策树模型的目标是根据特征尽可能正确地将样本划分到三个不同的“阵营”中。 根结点的选择基于全部数据集，使用了贪婪算法：遍历所有的特征，选择可以使信息熵降到最低、基尼不纯度最低的特征。 如上图，根节点的决策边界为" petal width = 0.8cm "。那么这个决策边界是怎么决定的呢？ -遍历所有可能的决策边界（需要注意的是，所有可能的决策边界代表的是该子集中该特征所有的值，不是以固定增幅遍历一个区间内的所有值！那样很没有必要的～） -计算新建的两个子集的基尼不纯度。 -选择可以使新的子集达到最小基尼不纯度的分割阈值。这个“最小”可以指两个子集的基尼不纯度的和或平均值。 ID3是最早提出的决策树算法。ID3算法的核心是在决策树各个节点上根据 信息增益 来选择进行划分的特征，然后递归地构建决策树。 - 缺点 ： （1）没有剪枝 （2）只能用于处理离散特征 （3）采用信息增益作为选择最优划分特征的标准，然而信息增益会偏向那些取值较多的特征(例如，如果存在唯一标识属性身份证号，则ID3会选择它作为分裂属性，这样虽然使得划分充分纯净，但这种划分对分类几乎毫无用处。) C4.5 与ID3相似，但对ID3进行了改进： -引入“悲观剪枝”策略进行后剪枝 -信息增益率作为划分标准 -将连续特征离散化，假设 n 个样本的连续特征 A 有 m 个取值，C4.5 将其排序并取相邻两样本值的平均数共 m-1 个划分点，分别计算以该划分点作为二元分类点时的信息增益，并选择信息增益最大的点作为该连续特征的二元离散分类点； -可以处理缺失值 对于缺失值的处理可以分为两个子问题： （1）在特征值缺失的情况下进行划分特征的选择？（即如何计算特征的信息增益率） C4.5 中对于具有缺失值特征，用没有缺失的样本子集所占比重来折算； （2）选定该划分特征，对于缺失该特征值的样本如何处理？（即到底把这个样本划分到哪个结点里） C4.5 的做法是将样本同时划分到所有子节点，不过要调整样本的权重值，其实也就是以不同概率划分到不同节点中。 （1）剪枝策略可以再优化； （2）C4.5 用的是多叉树，用二叉树效率更高； （3）C4.5 只能用于分类； （4）C4.5 使用的熵模型拥有大量耗时的对数运算，连续值还有排序运算； （5）C4.5 在构造树的过程中，对数值属性值需要按照其大小进行排序，从中选择一个分割点，所以只适合于能够驻留于内存的数据集，当训练集大得无法在内存容纳时，程序无法运行。 可以用于分类，也可以用于回归问题。CART 算法使用了基尼系数取代了信息熵模型，计算复杂度更低。 CART 包含的基本过程有 分裂，剪枝和树选择 。 分裂 ：分裂过程是一个二叉递归划分过程，其输入和预测特征既可以是连续型的也可以是离散型的，CART 没有停止准则，会一直生长下去； 剪枝 ：采用“代价复杂度”剪枝，从最大树开始，每次选择训练数据熵对整体性能贡献最小的那个分裂节点作为下一个剪枝对象，直到只剩下根节点。CART 会产生一系列嵌套的剪枝树，需要从中选出一颗最优的决策树； 树选择 ：用单独的测试集评估每棵剪枝树的预测性能（也可以用交叉验证）。 （1）C4.5 为多叉树，运算速度慢，CART 为二叉树，运算速度快； （2）C4.5 只能分类，CART 既可以分类也可以回归； （3）CART 使用 Gini 系数作为变量的不纯度量，减少了大量的对数运算； （4）CART 采用代理测试来估计缺失值，而 C4.5 以不同概率划分到不同节点中； （5）CART 采用“基于代价复杂度剪枝”方法进行剪枝，而 C4.5 采用悲观剪枝方法。 （1）决策树易于理解和解释，可以可视化分析，容易提取出规则 （2）可以同时处理分类型和数值型数据 （3）可以处理缺失值 （4）运行速度比较快（使用Gini的快于使用信息熵，因为信息熵算法有log） （1）容易发生过拟合（集成算法如随机森林可以很大程度上减少过拟合） （2）容易忽略数据集中属性的相互关联； （3）对于那些各类别样本数量不一致的数据，在决策树中，进行属性划分时，不同的判定准则会带来不同的属性选择倾向。 写在后面：这个专辑主要是本小白在机器学习算法学习过程中的一些总结笔记和心得，如有不对之处还请各位大神多多指正！（关于决策树的剪枝还有很多没有搞懂，之后弄明白了会再单独出一篇总结哒） 参考资料链接： 1. https://machinelearningmastery.com/what-is-information-entropy/ 2. https://zhuanlan.zhihu.com/p/29679277 3. https://machinelearningmastery.com/information-gain-and-mutual-information/ 4. https://victorzhou.com/blog/gini-impurity/ 5. https://sci2s.ugr.es/noisydata 6. https://towardsdatascience.com/understanding-decision-trees-once-and-for-all-2d891b1be579 7. https://blog.csdn.net/weixin_36586536/article/details/80468426 8. https://zhuanlan.zhihu.com/p/85731206

【答案】：B决策树是以决策节点为出发点，引出若干方案枝，每条方案枝代表一个方案。方案枝的末端有一个状态节点，从状态节点引出若干概率枝，每条概率枝代表一种自然状态的决策方法。决策树的分析程序为：①绘制树形图；②计算期望值；③剪枝决策。

1、决策树分析法能显抄示出决策过程，具体形象袭，便于发现问题。1、决策树分析法能把风险决策的各个环节联系成一个统一的整百体，有利于决策过程中的思考度，易于比较各种方知案的优劣。3、决策树分析法既可以进行定性分析，也可以进行定量道计算。

1、决策树(decision tree)一般都是自上而下的来生成的。每个决策或事件（即自然状态）都可能引出两个或多个事件，导致不同的结果，把这种决策分支画成图形很像一棵树的枝干，故称决策树。决策树就是将决策过程各个阶段之间的结构绘制成一张箭线图，我们可以用下图来表示。2、选择分割的方法有好几种，但是目的都是一致的：对目标类尝试进行最佳的分割。从根到叶子节点都有一条路径，这条路径就是一条“规则”。决策树可以是二叉的，也可以是多叉的。对每个节点的衡量：通过该节点的记录数；如果是叶子节点的话，分类的路径；对叶子节点正确分类的比例；有些规则的效果可以比其他的一些规则要好。3、决策树的构成有四个要素：(1)决策结点；(2)方案枝；(3)状态结点；(4)概率枝。如图所示：扩展资料：决策树一般由方块结点、圆形结点、方案枝、概率枝等组成，方块结点称为决策结点，由结点引出若干条细支，每条细支代表一个方案，称为方案枝；圆形结点称为状态结点，由状态结点引出若干条细支，表示不同的自然状态，称为概率枝。每条概率枝代表一种自然状态。在每条细枝上标明客观状态的内容和其出现概率。在概率枝的最末稍标明该方案在该自然状态下所达到的结果(收益值或损失值)。这样树形图由左向右，由简到繁展开，组成一个树状网络图。

决策树法优点：决策树列出了决策问题的全部可行方案和可能出现的各种自然状态，以及各可行方法在各种不同状态下的期望值。能直观地显示整个决策问题在时间和决策顺序上不同阶段的决策过程。在应用于复杂的多阶段决策时，阶段明显，层次清楚，便于决策机构集体研究，可以周密地思考各种因素，有利于作出正确的决策。决策树法缺点：使用范围有限，无法适用于一些不能用数量表示的决策；对各种方案的出现概率的确定有时主观性较大，可能导致决策失误；决策树优缺点优点:(1)速度快: 计算量相对较小, 且容易转化成分类规则. 只要沿着树根向下一直走到叶, 沿途的分裂条件就能够唯一确定一条分类的谓词.(2)准确性高: 挖掘出来的分类规则准确性高, 便于理解, 决策树可以清晰的显示哪些字段比较重要, 即可以生成可以理解的规则.(3)可以处理连续和种类字段(4)不需要任何领域知识和参数假设(5)适合高维数据缺点:(1)对于各类别样本数量不一致的数据, 信息增益偏向于那些更多数值的特征(2)容易过拟合(3)忽略属性之间的相关性