无论在报纸、杂志、机场媒体,还是在酒吧的闲谈中,大数据都成了一个热门话题。每个人都在谈论这个时尚的话题,但迄今为止只有极少数企业真正成功的运用这一技术!导致这一情况的重要原因就是企业对建立可操作的大数据分析模型成功关键因素缺乏深刻的认识。结合多年来与多家全球性公司合作经验,我们认为:为了取得成功,大数据分析模型需要满足如下几种要求:

数据1

(1)业务相关性。

业务相关性是对分析模型的第一个关键要求。分析模型必须能够解决特定的商业问题。那些性能优越,却不能解决商业问题的模型是毫无意义的。显然,在模型开发前,对商业背景和业务问题有全面的理解必不可少。例如,在保险欺诈检测问题中,必须在一开始对如何定义、衡量和管理欺诈有清晰的界定。     

(2)统计性能。

影响模型成功的另一个重要关键因素是模型性能表现。换句话说,从统计意义的角度,分析模型应该显着提高预测或描述的性能。根据分析问题的类型不同,常常采用不同类型的性能评价指标。在客户细分,统计评价指标主要评价对比簇内的相似性与簇间的差异性;在客户流失预测中,主要评价模型是否赋予了潜在流失客户的较高得分。     

(3)解释性和合理性。

解释性是指分析模型容易为决策者所理解,合理性是指模型与专家的预期和业务知识相一致。解释能力和合理性都是主观判断,取决于决策者的知识和经验。这两个因素与统计性能分析之间常常是矛盾的,譬如:复杂神经网络和随机森林模型预测性能较好,但是解释性较差。所以,决策者需要在两者之间寻找平衡点。在信用风险分析等应用场景中,解释性和合理性是非常重要的因素,而在欺诈检测和营销响应建模中,这一因素就不是那么重要了。     

(4)运行效率。

运行效率涉及模型评估、监测、检验及重建过程中所需投入的时间。从这个因素来看,很明显的神经网络或随机森林效率较低,而回归模型和决策树等更有效率。在信用卡欺诈检测等业务场景中,运行效率是非常重要的,因为所有的决策必须在信用卡交易开始后几秒钟内完成。

(5)经济成本。经济成本是收集模型所需数据、运行模型以及分析模型结果的过程中所投入的成本,此外还包括引入外部数据和模型的成本。在分析模型的经济回报时,所有的这些成本都必须考虑在内,通常不是能简单直接计算出来的。     

(6)合规性。在很多行业中,合规性变得越来越重要。合规性是指模型对现有制度和法律的遵从程度。在信用风险领域,分析模型符合巴塞尔协议II和III的规定尤其重要。而在保险行业中,模型则必须遵从欧盟偿付能力协议(Solvency II) 。     

总结以上,我们简要论述了成功构建数据分析模型的关键因素。如我们所指出的那样,每个因素的重要性取决于模型应用场景。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2023-03-30 11:15:07
云资讯 分布式时代已至,数据如何更有价值?
无论是连通各大集群内大型超大型数据中心,还是连接边缘侧小型、边缘数据中心,分布式云计算都已成为这张算力网络最重要的支撑。在此背景下,云计算步入分布式时代。 <详情>
2023-03-01 19:27:00
市场情报 FlagOpen大模型技术开源体系,开启大模型时代“新Linux”生态
大数据+大算力+强算法=大模型”是当前人工智能发展的主要技术路径。语言大模型ChatGPT成为现象级应用,人工智能进入普及应用的新时期。 <详情>
2022-12-23 11:27:09
大数据资讯 立法先行 法治护航大数据发展
不久前,贵州省贵阳市某媒体公司经理高鹏进入“贵阳市政府数据开放平台”,在索引栏里输入关键词后,相关数据统计页面立即映入眼帘。“这个平台非常方便,可以根据主题、场 <详情>
2022-12-14 10:17:50
2022-12-14 10:16:47
大数据资讯 中国移动发布《大数据湖仓一体技术白皮书》: 打破数据孤岛壁垒,引领高效数据价值变革
随着湖仓一体技术应用的逐步深入,未来还将具备近数据计算加速、AI驱动数据全生命周期自动驾驶、多云协同等先进技术能力,以适应更大的数据体量和更多的场景诉求,进一步促 <详情>
落实词元经济新部署,和林格尔新区加快打造全球普惠算力供应基地
2026-08-20 11:12:00
“中国云谷”何以支撑“人工智能+”应用场景大规模落地?
2026-08-19 15:40:00
高盛研报:乌兰察布成亚太最大AI算力集群,远景星河基地领跑算力中心第一阵营
2026-08-19 14:21:56
“人工智能+”加速赋能,全国视频大模型算力基地将落地呼和浩特
2026-08-19 12:33:00
从算力供给到词元流通,“中国云谷”深化算电协同、开启千亿新赛道
2026-08-18 16:08:00
和林格尔新区激活数据潜能、释放数据要素价值
2026-08-18 15:11:52
和林格尔新区正加速布局算力出海业务,推动绿色词元服务海外
2026-08-18 14:59:25
五大方向激发词元经济新活力:呼和浩特三年行动方案释放什么信号
2026-08-17 16:54:32
全国首个绿色算力(人工智能)全栈AI词元交易平台落地和林格尔新区
2026-08-17 16:48:00
从算力到可交付“智能产品”:呼和浩特专业化词元工厂加快形成
2026-08-17 16:40:00
推理成为算力主战场,谁能把Token成本打下来?
2026-08-17 14:38:00
从绿电直供到电碳算一体化调度:和林格尔新区推动算电深度协同
2026-08-16 13:05:45
迈入质效并举新阶段:和林格尔新区绿色算力产业的四重跃迁
2026-08-16 11:51:41
和林格尔新区如何提供高效调度、可靠保证的跨域词元服务?
2026-08-16 11:44:32
呼和浩特凭借“三标、三度、三低”全面夯实绿色智算底座
2026-08-15 13:57:00