中国IDC圈4月27日报道，互联网的发展使得大数据引起人们广泛关注。现如今大数据技术早已渗透到金融、通讯等行业以及生物学、物理学等领域。大数据在容量、多样性和高增速方面的爆炸式增长全面考验着现代企业的数据处理和分析能力，与此同时也为各个行业带来了准确洞察市场行为的机会。迄今为止大数据技术与产品有哪些创新，工业大数据应用面临哪些挑战，金融行业大数据应用现状如何等。围绕这一系列问题，4月27日至28日，由工业和信息化部指导、中国信息通信研究院主办的"2016大数据产业峰会"在北京国际会议中心盛大召开。28日上午，在中国信息通信研究院、数据中心联盟主办的大数据人才发展计划公开课上文思海辉数据科学家马宁以《大数据的分析挖掘与应用》为主题发表了精彩的演讲。

文思海辉数据科学家马宁

以下是马宁演讲实录：

马宁：大家下午好，最后一个议题，跟大家分享一下数据应用的这个层面。讲的几个部分：首先，数据应用的一个概览。这张片子是麦肯锡在前两在美国做的一个调查，他调查了大数据在不同的行业的一个应用的潜力。那么，里面这个图的横轴指的是大数据在各个行业里面可能发挥的价值，从低到高。纵轴反映在各个行业里面大数据可获取的从难到易的水平，颜色反应各个行业内部的竞争力，圈的大小反映各个行业对美国GDP的贡献。竞争比较激烈的几个行业，金融、保险、信息、房地产的买卖与租赁，还有零售行业，而且这几个行业的圈子大小都是比较大的，对整个国家的GDP是非常重要的几个行业。那么，虽然说现在在中国没有这样一张调查的图，但是我觉得大致上从行业上来讲，对大数据的接受程度，对大数据应用的潜在价值应该是差不多的。我自己个人主要的背景是以金融为主，做过一些医疗和航空，所以今天给大家讲的东西更多还是集中在金融行业里面。

我们以银行为例子，看一看银行怎么使用大数据做一些分析和应用。基本上就是两大领域，这张片子反映第一大领域，叫做客户管理。在客户管理的数据应用的架构中我们看到，最底层是我们的数据平台，刚才各位专家给大家介绍的基础数据的存储架构，数据的治理架构等等。那么，最顶层是我们业务人员使用数据执行的业务的决策，业务的行为，中间就是数据分析、应用。那么，它起一个承上启下的作用。那么，比较常见的在银行里面做数据应用，有这样的一些主题，我罗列了一些。比如做客户的细分，我想看一看我的一千万个零售客户大概有几类客群构成，如果想搞一个营销活动，应该瞄准哪一类的客群。营销预测，卖一个理财产品，给所有一千万的客户群发短信，成本很高，一方面有短信费用的成本，另一方面过渡打扰的客户，客户收到一些垃圾短信，觉得没有这个需求，总是给我发这个东西，客户的反感也是一个营销成本。还有客户是不是买了A产品以后，就倾向于购买B产品，它们俩是不是可以打成产品包，将来客户买产品A的时候，直接把产品B推给客户，做一些优化。所以，他可能想我能不能提前的预测一下高端客户里面，哪些客户在未来的一个月，两个月内有可能会流失掉，有可能被其他的银行竞争抢走，看看潜在的流失原因有可能是什么，通过产品还是服务，把高端客户挽留住。

比如现在比较时髦的，传统银行做客户分析，做很多客户细分。其实现在他们更倾向用客户标签，很多客户细分倾向于把客户做严格的切分，这个客户只能属于一个群体，不可能既属于A，又属于B，但是标签的存在可以使得这个客户有很多很多标签。举个例子，我们有一家商业银行，给客户打的标签叫做有高端房产，这个标签很有意思，并不是从行内的数据可以直接分析出来的。因为这个客户如果在行内的资产很高，他是有钱人，但是如果在你的行内的资产并不多，只有十万的存款，或者理财，你不能保证，他是不是在其他银行有很多资产。但是，这个客户在你银行很多系统里面都留了各种各样的地址，我会通过一些方法去猜，哪些地址是他的居住地址，如果这个地址是他的居住地址，跟行内购买的各大城市小区的房价数据左匹配，发现这个客户虽然在我行内的存款不多，但是地址是一个高端小区，房价已经到了七万块钱一平米，我都可以猜测这个客户是一个蛮高端的客户。打上这个标签，将来银行要想给客户推一些高端的产品。诸如此类，我们做了高尔夫、机场贵宾，高端的医疗健康等等很多标签，多数都是用来定位一些高端客户的。再如做情感分析，客户对你银行的品牌、产品在它的很多社会的公共论坛上会发表一些看法，微信、微博会形成他自己的一些见解。我们把这样的数据通扒虫技术收集起来。刚刚讲围绕银行客户做营销。

由于有巴塞尔三的协议框架约束，所以信用风险、流动性风险、操作风险、市场风险，其中信用风险、市场风险和操作风险是第一制度的要求，流动性风险是第二制度的要求，每个风险领域做风险的量化，都需要使用大量的数据做各种各样的量化模型。最简单的例子，我们去办一张信用卡，填一张表，你个人的基本信息是不是有车有房，配偶信息，月收入多少。银行拿到这张表会有一个平衡卡的模型，给你算一个分数，如果这个分数很低，可能这家银行会拒绝给你发这个卡。这其实都是基于大量的存量客户的信用卡数据的违约信息、还款信息做出来的历史的一个数据完全这么的一个模型在里面。再有一些应用主要放在反欺诈，反洗钱里面。

举一个真实的例子，是我个人的。我几个月前在网上买了一个软件，用信用卡支付了，然后刚刚支付几分钟的时间，这家信用卡的银行就给我打电话了，说是不是你自己操作的。我说是，因为这笔钱相对我的历史行为来说是比较反常的，因为我之前同来没有美金购买软件，这是第一次。其实这家银行有一个欺诈检测的模型，这个模型就是给我一个人应用的，如果有一百万的信用卡，就有一百万的模型在后台跑。如果你的新的行为跟你之前的旧的行为之间的背离比较大，它就会做出预警。

所以，我们可以看到数据分析、数据挖掘各种的算法、模型在风险管理里面其实也发挥着非常重要的作用。

其实客户营销、风险管理二者并不是说两个完全独立的部分，有些部门就做风险，有些部门就做营销。那么，还是拿信用卡来举个例子，信用卡是大家最常使用的一个银行的服务与产品，信用卡的东西在整个信用卡的生命周期里面，各种数据的模型其实是一个交替协作的关系。上面是客户价值，一开始这个客户不是这家银行的信用卡客户，所以我要去获取这样的一个客户，我有一定的客户获取的成本，我要打广告，要对他们做营销和宣传。这个客户成为信用卡客户之后，逐渐给银行带来价值，达到峰值，这是客户的成熟期，这个客户有可能最终放弃了使用你这家银行的信用卡，由于种种原因，客户流失了，客户价值又变成一个负价值，这是一个完整的生命周期，当然很多客户只是到这个位置。在整个过程中，其实对于银行的信用卡部门来说，其实有很多业务的关注点。对应的业务关注点下面其实都有很多数据分析挖掘的应用配合做决策，这里面蓝色标注的都是营销类的模型，红色是风险类的模型，二者在整个生命周期中都是有交替的在发挥着作用，并不是每一类模型只是孤立的在使用。刚才说的是银行。

那么，作为金融行业里第二大类实体，证券行业对数据的应用也非常广。总体来说，证券行业所有下面的公司可以分成两大类，一类是监管机构，包括会属机构，自律组织，以证监会为代表，还有交易所、登记结算公司，协会，他们最多关注市场中的风险，然后以及市场中的一些行为是否合规，他们关注投资者的教育，投资者的引导，以及做一些市场的宏观研究。另外以证券公司、基金公司为代表的，同样他们也是市场的参与者，它也关注市场的风险，交易对手方的信用风险。各种量化模型的开发也是基于历史数据，以及一些业务的经验，一些量化的指标等等。

刚才说了这两个行业，我们来看一看，这些行业里面在使用数据的时候大概数据的应用都有哪些应用的模式，这张图是我借用的，大家应该很多人都不是第一次看这张图，这个可以说是世界上好的数据分析软件公司，他们提出来的图，数据应用八个层级，前四个是比较初级的数据应用模式，他们称之为验证型的应用，后四个是比较高级的数据应用模式，发掘型的应用。高端的应用，这种发掘型的应用涵盖了统计分析，可以使用一些统计的理论做假设检验，点估计，区间估计等等，可以做时间序列的模型，预测销量在未来的一段时间是怎么样的一个水平，我可以做预测型的模型，来判断如果给这个人发一张信用卡，未来违约的概率是千分之一，还是千分之五。还有未来准备做ATM的选址，应该怎么分配它的空间位置等等。固定的报表大家很熟悉了，提供一些输入查询的条件，会展出一些搜索的结果，从数据库里面拿到相应的数据，把它通过一定的格式展现出来。多额分析，把所有的数据打成一个Q，这个Q支持我的上段，下段的切片。

多说一点关于数据挖掘这一块，数据挖掘也是这几年非常非常火的一个概念，伴随大数据的应用。未来可能是机器学习、数据挖掘的一个爆炸式的时期。数据挖掘从基础上可以分为结构化的数据挖掘和非结构化的数据挖掘。对于结构化的来说，主流的观点认为几大类，做分类、做回归，这是一类预测型的东西，猜测这个客户会不会违约，会不会想念我对它产品的营销。第二，聚类，把有共同特点的客户聚在一起。第三，关联模型。以前说的啤酒和尿布的案例。第四，降纬，抓住数据的主要特征。

非结构化的数据挖掘，目前主要的应用还是在文字的这一块，我们有大量的NLP的技术可以做情感分析，做主题提取，做知识图谱的构建等等。那么，更复杂的结构化的数据包括语音、图像、视频，所有非结构化的数据往往需要通过一定的手段才能做进一步的数据分析的探索。

那么，怎么开展一个数据分析或者数据挖掘的一个工作？这是业内比较公认的一个流程，九几年的时候就提出CRISP-DM的流程，第一步先提出业务需求，我的需求是什么，要做什么。第二步，探索数据，如果数据本身质量不好，或者没有这方面的数据，可能要改你的需求，所以这是反复迭代的过程。如果数据够了，数据质量也很好，下面要做数据准备，把从各个数据源收集到的数据做成一张统一的宽表，然后统一算法，然后做模型评估，一些经典的预测类模型的统一指标。还有做一些业务模型，这个模型得出的结论跟我的经验是不是相悖。但是不是一个统计指标OK的模型就可以放上去应用。如果技术验证、业务验证都没有问题，把模型纳入到业务流程里面，部署到生产环节里面，持续的应用，比如每隔一个月预测一次应用数据。

接下来给大家简单的过几个数据分析在金融行业的应用案例。今天讲的全都是我们这个团队在这几年给各个金融行业客户真实的做的一些案例，真的是干货。

这个大概是2010年的时候我们给证监会的一个下属机构，中国登记结算有限公司做的关于证券市场的一致行动能力的检测，大家如果炒股会知道，证券市场里面有些人表面上看是很多很多的账户，但是其实背后操作这个账户的可能只是一个人，或者一个机构，有些可能代客理财，帮助别人操作股票。还有一些可能有一些不太合法的目的，比如资金量很大，达到了比如需要向会里面做持股过高超过5%的需要做披报，他不想披报，或者他想把行为隐藏起来，规避监管，把资金分散到几千个账户，通过程序化手段一起控制这些账户买和卖股票。你看到是很小很小的散班子，其实背后是一个人在操作。

怎么把这些账户找出来呢？更多看交易中流出来的蛛丝马迹。当然我们在做的时候也考虑到，有的时候一些资金有特殊的目的，要做推敲。可能其中一部分账户在买，另一部分账户在卖。有了这些之后，我们使用了数据挖掘里面有点类似于聚类的这样一个算法，我找到两个交易高度相似的人，我们去定义什么样的东西叫做交易相似性，把指标量化出来，然后在全市场里面找，谁跟谁相似，这两个人相似把他们合在一起，不断用相似的群体聚在一起。这样把市场中，比如当时我们做的时候大概研究了三千多万的投资者，3800万，可能其中3700多少万的投资者都是没有跟别人有相似的，就是一个人一个账户的，但是可能有几万个账户被分成几千个群体，平均每个群体有十来个账户，这十来个账户的行为在我们的研究期，比如一年两年里面都是高度相似的，很有可能是一个人同时控制的。

这是一个无监督的学习，我怎么验证它？拿了2006年王子军操控中国纺机的例子，王子军的老公也很有名雷玉军，他们两个人的账户都没有参与。我们通过这套数据挖掘的算法，最后找出来几个组，其中最明显的组，这个组有16个账户被我们找到了，这16个账户，它在2006年操控中纺机的行为跟证监会披露出来的数字高度相似，而且很明显在做股价的操控，大量的账户的对敲。其实我们找到了证监会披报的里面一个核心的账户，同时这十几个招呼，2006年不只操控了中纺机一家股票，只不过活力没有中纺机这么多。高度的披露了公开的意见，这说明这个算法还是非常准的。后来深交所做了一些改进，用在深交所的市场监察里面。

这个数据的应用是我们做的投资者的情绪指数，投资者的情绪，市场一直有各种各样的调研方法。我们做这个的时候想用投资者真实在市场中的行为量化他们对这个市场是悲观，还是乐观，做了指标的加工，最后合成了一个总的指数，这个指数就是这张图里面蓝色的线。红线是沪深300的指数，从2004年1月1号到2015年的5月1号，就是前年，去年那波行情的一开始，大概2014年6、7月份开始，到2015年的5月份终止，沪深300指数和情绪指数还是有一定的相关性，基本上都是向上的趋势，它的相关系数大概在70%左右，同时也发现这个指数其实情绪指数相对市场指数来说有一定的领先性。那么，我们这个项目当时大概2015年的年中5月份做完的，所以项目结项之后，下半年很惨烈的股灾1.0、2.0、3.0数据我们是看不到的，但是领导说他们可以看到这个数据，他们说后半年的情绪指数反映市场更准确，真的是情绪急剧的下而且到了冰点，真的有一定的前瞻性的市场预测的价值。所以，这个公司对情绪指数非常感兴趣，今年又找我们去谈，把这个指数做细化，比如按投资者群体做机构指数与散户指数，做各个行业股票的情绪指数，给它做的更细致一些。

这块是我们在银行里面，配合一家银行做的一个营销的数据应用和分析。这家银行想推广他的产品商友卡，主要面向小微商户。他想推这张卡，我们先分析了一下，持不持有这张卡跟客户的哪种属性关联强，一个是星级，一个是行业。另外已经持有商友卡的客户，他的一些交易行为，一个月至少交易五次，每笔至少要交易8000多块钱，这样的一个水平，这些指标其实都帮助我们去寻找潜在的可能会对这个卡感兴趣的一个客户群体。所以，我们做了这样一个事情，我们目标客群从一开始的30万的客户，比如至少最近有一些跟商友卡有交易的大概锁定31万人这样的一个水平，首先我们说跟星级强相关的，所以我要求这家行四星级以上的客户才去营销，一下只剩下12万了。然后再界定它的上下游的商友卡，因为直接的转让是免费的，还有会议金额大于3000多元，筛选到18000人。然后要求近三月转账次数5次以上，笔均转账金额大于8000。国外每一个营销活动瞄准的客群非常小，这样才能做到精细化的管理，国内的银行营销是没有营销活动管理平台，或者是一个比较原始的活动管理平台，一次就搞一个营销活动，一次撒网200万人，大家都收到手机短信了，这种营销对银行来说是一个很大的营销成本。所以，我们在这里面学习国外的理念，把人数降的很低，只营销这一万客户。

执行的时候我们怎么交给分行执行？先让呼叫中心给客户打电话，如果你同意再给你分配一个专属的客户经理指导你的签约过程。这个数据分析出来的结果经常给后续的结果背黑锅，名单出的很准，但是业务人员执行的很差，依然没有用，所以为了防止我们给后续的业务人员背执行不好的黑锅，我们把客群分了一下。分了行动组、对照组和不行动组。所谓的行动组就是即使挖掘名单很精准，同时也给他分配客服联系他，分配大堂经理帮助他，带着他办整个过程。对照组是我的名单不是数据挖掘的名单，随机的选了一些客户，这些客户可能大部分人对这个产品不感兴趣，但是我也让呼叫中心给他打电话，如果他愿意来网点，让大堂经理也带着他办这个东西。还有不行动组，就是没有人去联系你，或者只给你发一个短信，打个电话介绍一下产品，让你自发的签约。

我们分别统计了三个组最后产品的签约率，在几家分行做试点，比较组两两之间签约率之间的比例，行动组和对照组这个之间的差距平均2.0的提升比例，这个反映我们的算法，因为是挖掘名单跟随机名单做对比，都有业务的维护，这是算法带来的价值，两倍，也就是多命中了百分之百的客户。后者行动组与不行动组，这二者的对比反映业务执行层面，大堂经理是不是尽心尽力的维护了，呼叫中心是不是维系了客户，并且很详细的介绍了这个产品，提升3.6倍。就是在这个活动中，业务的执行在里面发挥了更大的作用。

这个项目是非常有代表性的项目，也是我个人非常喜欢的数据应用的东西，因为是把整个数据应用做成一个完整的闭环，我们不仅做了数据分析，真的把数据分析最后放到市场中，放到业务的执行端，最后来检测整个这套数据分析的过程，而不是写一个报告，做一个算法，到底最后这个东西给银行带来多少的业务价值，可能变现多少，我不去关注，这个做成了一个闭环，非常好的一个案例。

这个是最近做的比较好玩的一个东西，就是银行会关注一些担保的风险。那么，大家如果稍微了解一下银行的担保数据，这些数据在传统的数据库里面存，存的很简单，每条贷款合同，被担保方是谁，担保方是谁，就是谁担保谁这样的一个关系。但是，在整个担保网络里面有一种特殊的形态，我们希望把它检测出来，因为这种担保形态一般来说都是比较危险的形态。第一种形态叫做长链，就是在一条链上有很多担保方，A给B担保，B给C担保，C给D担保，一个节点发生问题，很可能整条链发生问题。还有星型担保，一个机构给其他很多人做担保，如果中间发生财务风险，会影响很多客户担保的有效性。还有所谓的环形担保，循环担保，本来担保是说我希望把风险分散，A的风险分散给A和B两个人共同去承担，或者A和B两个机构共同去承担。但是，如果形成一个环形，对于绕了一圈又回来了，风险其实并没有有效的分散掉。所以，一般来说，银行的业务人员会关注这些特殊形态的担保关系。但是，数据是量存的，怎么在这种数据里面非常有效的找到这些形态呢？这里面可以用到一些图的模型，涉及到最短路线等等各种算法。

这个是真实的结果，这是一个环形担保，有不少环，好几家企业都构成了一个环。这里面蓝色的是行内的机构，紫色是行用的，不是这家银行的客户，他们之间的担保关系。这是一个长链担保，一条链上涉及到六七个客户，这是一个星型担保，中间一个客户，它不是专业的担保机构，给其他很多客户提供了担保，都是非常危险的，业务拿到以后，就可以做深入的分析，会时刻关注重点企业财务上的风险。

最后讲一个非结构化的分析，这是我们协助某一个政策性的银行做市场上的一个研究，叫做行业的景气指数和经济的景气指数，希望通过市场上公开的新闻判断一下历史上行业的景气指数是一个什么样的走向。它从网易、搜狐、和讯网、路透拿了两年四万多篇财经类的新闻，我们希望从那个新闻里面，第一个去判断情感，新闻说的是一个正向还是负向的事情。第二，我们希望判断这个新闻说的是什么内容，说的是哪个行业的事情。

正向和负向，绿色字体标注了所有的负面词汇，这些词汇我是怎么标出来的，没有太好的办法，因为现在互联网上自然语言的辞典有人整理，但是垂直领域，金融领域特有的一些反映正向或者负向的情感，比如牛市、熊市至少没有人公开整理好的辞典，这一块我们通过人力来做的，人把其中看到的情感的词语标的出来，最后去掉一个高分，去掉一个最低分。人力整理金融行业的情感辞典之后，把这篇文章去调形容词，做分析，他们的权重，再看这些词语正负面的词语有多少。这里面有一个正面的词汇，叫做汇集，但是前面有一个否定词定位。我们的算法也可以检测出来，因为有否定词，词性是可以通过算法标的出来的。有否定词，我们认为它倒过来就成为一个负向了。这是第一个。

第二，怎么判断它的行业，国标有十几个大类，八十几个小类。这个里面有很多词库，我们把输入法的词库解析以后，拿输入法的词库跟他的文章做匹配，去猜它的一个匹配率。最后我们绘制出来大概两年期间不同行业的经济景气指数的走向，不同颜色指不同行业。跟过程其他的一些统计局得到的经济的指数走向还是高度的重合的。

最后，跟大家简单的聊一聊个人的一些浅显的看法，关于数据分析，数据应用在未来的一些发展趋势，以及企业中数据类人才的一个需求情况。数据应用的趋势，三大点：第一，数据层面，现在主要数据分析还是集中在结构化数据这一块，现在对于非结构化数据的探索正在兴起。未来其实一定是结构化的数据，非结构化数据一个混合的分析，一家企业内部的数据，一家企业外部的数据的融合的分析，这样的一个情况。传统的分析做是描述式的分析，刚才那张图里面的前四个层级，每个人从跪着到站起来。然后会做一些预测式的分析，用一些数据挖掘的方法预测未来可能发生的情况。高的是利用所有的结论、结果优化我的业务流程。

第二，决策的时效性，现在多数数据的分析是后台运行，OLAP系统，是低时效，后台运行，可能一个月才会预测一次客户会不会流失，会不会违约，客户会不会响应我的一个活动，将来很多的数据应用一定是挪到前排来的。比如信用卡，刚刷完就有人打电话质疑，将来会有更多的基于客户当时的地理位置，基于客户当场的行为，立刻就触发了数据的分析，立刻就触发了业务的决策反馈给客户的分析，会在企业级数据应用领域越来越多。刚才讲的这些需要人来做，做这些的人，这就是未来的数据科学家。数据科学家的要求其实比传统做数据分析人员的能力要求更高，比如要具有转换一些非结构化数据的能力，文本、语音、图像、视频，它要对这种不精确的数据要有融合的能力，因为咱们现在做的数据，A表B表都有一个同样的键，其实现实中的数据哪有这么理想的情况。我的这个网站可能写的QQ号是数字，那个网站上写的是阿罗波数字。怎么把这种信息融合起来，匹配起来，需要对混搭的数据有足够的处理和匹配能力。还有处理海量数据的能力，这个里面可能是硬件层面，要选择不同平台架构处理这样的数据，也有可能是软件层面，要用不同的比如Hadoop上的语言来处理。再有可能是算法层面，需要把单线程的算法改成并行算法。这提出了更高的要求，这么高的要求对一个人实现是蛮困难的。所以，其实一个企业里面，数据科学家都是一个团队，每个人有其擅长的领域，协作起来完成一个数据应用的任务。

EMC大概在2011年的时候对市场做了一个调研，大概有60%多的企业认为数据科学家对于他们来说将来是一个非常重要的人员需求。这边是我前两天，就是4月份在美国一个网站上搜Data  Sclentist的关键字，到2012到2016年基本上是增长的趋势，这是大数据概念炒的最热的时候，我们认为现在大家冷静下来了，更清晰的看待这个行业和这个职位。所以，有人说数据科学家可能是未来最抢手，最性感的职业之一。我的介绍就到这里，谢谢大家！