坚持高线 严守底线:数据挖掘与企业管理

以信息化带动工业化，借信息化第三次浪潮追赶西方发达国家等类似口号提了很多年，近20年的信息化建设的确为企业的生产、仓库管理、销售、综合查询等发挥了很大作用，提高了业务操作的效率，企业也积累了大量的客户信息及资料。但是，很多企业还是缺乏对客户的数据、信息加以分析并增值利用的能力。

例如，无法有效地对客户潜在需求进行分析和分类，不能深入了解客户群体的特点及其需求的差异，从而制定出适合于不同客户群的营销、服务模式，并做出快速反应。无法实现对客户高效的个性化服务。同时，企业对客户的流失难以找到很好的管理策略，只了解到客户流失了，并没有全面掌握客户流失的原因、流失的方向和流失客户的构成；也难以对客户的流失采用很好的手段来加以控制和管理。潜在客户的开发上，如何从大量的客户信息中挖掘出潜在的忠诚客户，如何营销开发新客户？业务发展上，新业务的发展方向如何？哪种新产品更有市场？新业务如何有针对性地进行市场拓展？企业多么希望有一双慧眼，能洞察这些问题，从而在激烈的市场竞争中立于不败之地。

其实，早在春秋战国时期，《鬼谷子》符言第十二就提到：“目贵明，耳贵聪，心贵智。以天下之目视者，则无不见；以天下之耳听者，则无不闻；以天下之心思虑者，则无不知”。如果能用全天下的眼睛去观察事物，这样就没有看不到的；如果能用全天下的耳朵去听，这样就没有听不到的；如果能用全天下的心去思考，这样就不会有什么不知道的。在信息封闭的古代，这仅仅是一个梦想。随着计算机技术和网络技术将人类带入信息社会，这一设想的实现逐渐成为可能。

互联网作为一个新媒介，为公众提供了一个前所未有的自由讨论公共事务、参与政治、经济、娱乐等活动的空间。网络的大信息量、交互性等特征为网络传播新闻、产品展示、调查分析等提供了极大的便利。在一些商业问题、事件、案件的解决过程中，互联网传播在其中的推动作用显然是不应低估的。2007年1月23日，中国互联网络信息中心（CNNIC）发布《第19次中国互联网络发展状况统计报告》。报告显示，截至2006年底，我国网民人数达到了1.37亿，占中国人口总数的10.5%，北京市网民普及率已经超过30%。与去年同期相比，中国网民人数增加了2600万人，是历年来网民增长最多的一年，增长率为23.4%，对比前年及去年18.2%和18.1%的增长率，今年网民增长率出现回升。自1994年中国全功能联入国际互联网，在10多年的时间里，每十人中就有一人是网民。报告显示，10%的网民普及率将是互联网发展的高速拐点，突破10%之后，中国互联网将迎来更快速的增长期。报告同时显示，我国域名总数显著增加，其中，CN域名总数超过180万，我国域名总量达到4,109,020个，半年增长116万，平均每月净增20万个。CN域名总数与05年同期相比，增长幅度达到64.4%，在全球国家顶级域名的排名上升到第四位。报告结果显示，截至2006年底，全国网页数和网页字节总数分别为44.7亿个和122,306GB，与去年同期相比分别增长86.3%和81.7%。另外网站数、IP地址等也迅速增长，分别达到84.3万和9800万。从域名、网站数、IP地址、网页数等增长情况来看，我国互联网资源得到了全面提升。外国专家对中国互联网的发展也非常看好。博鳌亚洲论坛2006年年会上，德丰杰全球创业投资基金董事长兼首席执行官阿萨德·贾马尔在“互联网在中国的未来”分会演讲时透露，中国互联网将以每年百分之十六的速度增长，至2010年，中国互联网用户将达到2.3亿。如此巨大的互联网资源中包含了用于企业决策的大量信息。另外，从企业内部的信息系统中、文档资料中、外部企业的公开报表中、社会各组织的公共数据库中、各类媒体中，都能得到一系列大量的信息。近年来，国际科技数据委员会 (CODATA，成立于1966年，是国际科学联合会建立的一个跨学科的科学委员会，其宗旨是提高科技数据的质量，推动对科技数据的编辑、评价和传播。)、开放运动及OA（open access，即开放存取，是近年来学术信息共享的自由理念和出版机制。这一新的模式，使科学知识的传播更加趋于人性化、便利化,缩小了贫富之间人为的差距，实现人类信息资源共享的美梦）等组织及运动的促进，信息的获取广度、深度、及时性上都有了很大的提高，这使我们可以获取更加广泛的数据。如何综合利用这些数据、信息资源为企业管理服务，已经成为企业的新的核心竞争能力。而利用上述大量信息进行分析的主要的一项技术就是数据挖掘。

数据挖掘是八十年代，人工智能转入实际应用时提出的。数据挖掘（Data Mining）是从大量的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘的最大优点在于它以一种更自动化的方式对大量的商业数据进行分析和探索，这在过去需要由行业专家和统计专家来人工提取有价值的信息。根据分析内容的类型，对数据进行挖掘的称为数据挖掘，对网页内容、结构、web日志等进行挖掘的称为web挖掘，对文本信息进行挖掘的成为文本挖掘，对图像、视频、声音等进行挖掘的称为多媒体数据挖掘等。尽管挖掘的资料不同，但技术上都有相同之处。

数据挖掘技术包括三个主要部分：算法和技术、数据、建模能力。数据挖掘一般通过关联（association）、分类(classification)、聚类(clustering)、预测(prediction)、相随模式(Sequential patterns)和时间序列(similar time sequences)等手段实现。关联是寻找某种事物发生时其他事物会发生的一种联系，比如发现啤酒和尿布经常被一起购买的例子；分类方法是确定所选数据与预先给定的类别之间的函数关系，通常用的数学模型有二值决策树神经网络，线性规划和数理统计；聚类是识别出事物之间内在的规则，按照这些规则把对象分成若干类；预测是把握分析对象发展的规律，对未来的趋势做出预见；相随模式和相似时间序列是分析事物间一种纵向的联系，分析预测事物发生后其它事物的发生模式。数据挖掘的各项功能不是独立存在的，在数据挖掘中互相联系，发挥作用。

为实现以上功能，数据挖掘经常采用的技术包括：

        关联规则方法（Market Basket Analysis）；

        MBR方法（Memory_Based Reasoning）；

        聚集检测（Cluster Detection）；

        连接分析（Link Analysis）；

        决策树和规则推理（Decision Trees and Rule Induction）；

        神经元网络（Artificial Neural Networks）；

        遗传算法（Genetic Algorithms）；

        多目标线性规划（MCLP）方法；

支持向量机（SVM）方法；等等。

为有效实现挖掘目标，数据挖掘的实施过程一般可分为如下步骤:

1.   确定商业目标

清晰地定义出数据挖掘要服务的商业问题,认清数据挖掘的目的是数据挖掘的重要一步.挖掘的最后结果是不可预测的,但要探索的问题应是有预见的。

2.   数据准备

1) 数据的选择

搜索所有与业务对象有关的内部和外部数据信息，并从中选择出适用于数据挖掘应用的数据。

2) 数据的预处理

研究数据的质量,数据清洗，为进一步的分析做准备。并确定将要进行的挖掘操作的类型。

3) 数据的转换

针对挖掘算法、采用的软件工具，将数据转换成可用于建立模型分析的格式。整理良好的数据是数据挖掘成功的关键。

3.   数据挖掘

对所得到的经过转换的数据进行挖掘，得到挖掘结果。

4.   结果分析、评估与展示

解释并评估结果。在所得模型中选取有意义的模型，并且将所得的知识用表格，图表等可视化其使用的分析方法一般应根据数据挖掘的结果形式和商业目标而定,通常会用到可视化技术。数据挖掘一般步骤可用示意图表示如下： 

5.   知识的同化

将所得的模型、知识应用到实际管理决策中，集成到业务信息系统的组织结构中去。为商业活动中制定决策、措施服务。

近年来，数据挖掘在生物、金融、保险、医疗、零售等行业已在国外得到较为广泛的应用。美国的许多商业银行，保险公司和证券公司在二十世纪九十年代开始将其数据库改造为数据仓库并从数据中挖掘和产生新的知识，这些新的知识可以被公司用来制定有效的商业战略去吸引新的顾客和维持已有的顾客，Mellon银行使用数据挖掘软件提高销售和定价金融产品的精确度，如家庭普通贷款等。信用卡公司利用数据挖掘确定信誉不好或有潜在信誉风险的客户，规避信贷风险等。在保险业中，保险政策的制定者想知道什么样的保险费能吸引更多的顾客。数据挖掘可用来对个人，团体和企业等进行合理的分类，制定不同的费率，使得每一类顾客的保险费对双方（保险公司和顾客）都有利，这也是保险精算技术力求要解决的问题。由于保险的项目繁多，各公司争相运用数据挖掘的高招寻找合适各类顾客的价格和政策，其竞争相当激烈。通常竞争的成败很大程度上依赖于数据挖掘技术的开发深度和运用广度。在医疗诊断方面，美国各大医院已开始对数据挖掘技术在医疗领域的运用进行研究。他们组织计算机数据挖掘人员与医疗人员共同攻关，希望通过数据挖掘技术的应用，实现计算机对个性化的病例的检测，并实现计算机对个性化病例治疗方案的预先选择。基于对各类疾病恶化（例如肿瘤或癌症扩散）案例的分析和总结，数据挖掘技术正用于寻找病症质变的关键点，以便为即将质变的病人提供及时的治疗方案。加拿大某电话公司根据其拥有的十多年的客户数据，总结、分析并提出新的电话收费和管理办法，制定既有利于公司又有利于客户的优惠政策。美国著名的国家篮球队NBA的教练，利用数据挖掘工具临场决定替换队员。大约20个NBA球队使用了IBM公司开发的数据挖掘应用软件Advanced Scout系统来优化他们的战术组合。例如Scout就因为研究了魔术队队员不同的布阵安排，在与迈阿密热队的比赛中找到了获胜的机会。

目前市场上主要的数据挖掘通用软件有：SAS Enterprice Miner, SPSS Clementine, IBM Intelligent Miner, Oracle Darwin, Angoss KnowledgeSeeker，Cognos Scenario 和 Business Objects等，微软的最新版数据库软件里也集成了部分数据挖掘功能。

国内数据挖掘的应用受各种条件限制，还没有在企业中广泛应用。通过数据挖掘，可以为企业在理解客户、了解产品、改进业务流程等方面带来如下好处：

1、为客户的基础管理提供决策支持

首先，利用大量的历史消费数据挖掘各类客户的消费模式（消费特征），针对不同的消费模式，提出相应的服务策略。客户消费模式分析是企业更进一步了解客户的有力手段，是提供有针对性的特色服务的基础。其次，客户的细分问题一直是企业的一项工作重点，对大量客户信息进行有效的客户细分是制定个性化服务、一对一营销的工作基础，而制定有效的客户细分标准，也是对客户信息进行合理有效地管理和分析的前提条件。通过数据挖掘对客户分类信息进行规范化管理，可以为相关客户分析提供细分客户的标准。按照一定的标准将客户进行分类，识别出每一类客户的基本消费特点。同时，从不同种类业务以及不同种类的客户群等角度分析客户对企业的贡献情况。通过客户贡献分析，企业可以知道不同类别的客户、不同地区的客户、不同业务的客户、不同地区的客户在各时间段上利润贡献的差异，从而发现有价值的客户，并且有利于企业针对不同的客户群体采取不同的市场营销策略。另外，分析和预测不同客户在不同业务上的消费潜力，为有针对性地制定合理的营销、促销和服务策略提供依据。

2. 提高个性化服务水平，预防客户流失

对一定时间范围内所有客户或某类客户的消费产品构成进行统计分析，从总体和不同种类产品以及不同种类的客户群等角度分析客户的特点（如数量、比例、客户结构等），从而了解客户的潜在需求，为个性化服务策略的制定奠定基础。通过挖掘分析客户的流失情况，了解客户流失的原因和流失客户的属性特点等，识别客户群，建立客户流失预警模型。在此基础上建立提高客户忠诚度的客户保留管理体系。

3、为产品分析与研发提供决策支持

分析对不同类别的客户群而言各种产品之间以及客户消费行为之间的关联情况。从不同的客户类型和不同地区来分析各种产品之间的相关性，从而为营销决策和交叉销售提供策略上的依据。做产品与客户的关联分析，分析用户和各类产品之间的相关性，分析哪类产品适合某特定消费模式的用户；从总体和不同种类客户群等角度分析每种产品的消费特点和发展趋势以及对新产品的潜力进行预测，了解各种产品的发展趋势，为企业进一步的产品拓展提供依据。

4、营销模式分析

分析企业对客户的各种营销模式（广告、现场促销、WEB/EMAIL 营销、代销、批销、折扣优惠、促进销售、捆绑销售等）及其各自特点，并分析每种营销模式如何与适当的客户群在适当的时间、地点相结合。从而根据不同客户类型，有针对性地开展个性化的营销行动。

5、业务流程的优化

通过挖掘业务流程各环节的中间数据和结果数据，可以发现流程中的瓶颈因素，找到改善流程效率，降低成本的关键点，从而优化流程，提高服务水平。

数据挖掘实现的功能还有很多，越来越多的企业开始关注数据挖掘技术，并通过实施数据挖掘项目从中获益。