国务院副总理马凯近期指出,要坚决贯彻落实党的十八大和十八届三中全会精神,坚持战略导向和问题导向,充分发挥国家主导和市场机制两大作用,服务国防军队建设和经济社会发展的两大需求,抓住民参军、军转民两大关键、依靠深化改革和科技创新两大动力,完善政策法则制度,改进加强行业管理,以更大力度推动军民融合深度发展。

北京时间7月7日,2016中国军民大数据产业高峰论坛在南京召开,论坛上邀请到了众多专家学者、行业专家以及优秀企业代表,共同探讨大数据分析在军队信息化建设中的重要作用,探讨如何做好军工领域的大数据建设工作,探讨大数据在军工领域的价值和实践意义。

图片1

杭州数梦工场科技有限公司行业首席架构师刘朋冲

杭州数梦工场科技有限公司行业首席架构师刘朋冲在论坛上为参会者带来《“数梦&阿里”军事大数据解决方案与实践》的主题演讲,以下是演讲实录。

刘朋冲:大家上午好,我叫刘朋冲,来自杭州数梦工厂,我是主要面向军工行业的首席架构师。因为数梦工厂是阿里投资的一家新型的互联网公司,所以我们今天主要是谈一谈数梦和阿里在过去一年多的时间,在军事大数据领域的这些实践。

这在之前我花几分钟时间简单介绍我们的数梦工厂,数梦工厂可能大家对他的的认知并不多,确实,因为它刚刚成立一年半的时间,大概是去年3月份的时候成立的,我们成立这个公司的成立是有它的独特性。

大家都知道,现在的IT圈,大概分为两类公司,一种是传统的公司,比如说像IBM,Oracle这种传统的公司,还有一种是新型的互联网公司,比如BAT,这种是新型的互联网公司,真正的说把二者结合一起的,比如2C,2B结合在具有传统和互联网基因的公司,在国内,几乎是找不到的,数梦工厂就是这种公司。

数梦工场既有互联网的基因,又有面向传统企业的这种基因。作为阿里使命级的合作伙伴,我们是面向政企提供平台和服务,大家都知道,阿里在消费者领域,在2C领域,已经做到了几乎一统天下的地步。但是在企业客户,阿里有很多特别牛的技术,或者是能给带来价值的一些输出。其实在这些企业客户并没有做的很深入。其实数梦工厂就是要做到这一点,我们在企业客户客户深根,然后把阿里这些技术在企业级客户进行落地,解决客户实实在在的价值。

我们的思路跟定位是很清晰的,我们是分为两大块,一个是平台一个是服务。所谓的平台就是我们可以提供面向DT时代的平台解决方案,就是所谓的软件平台、云计算、大数据,还有面向企业级的互联网架构应用。比如说分布式的数据库,或者是我们的微服务架构,还有是安全。这是我们可以做到平台级的东西。其实大家知道,我们去一个客户现场,如果说想达到满足客户的业务价值,其实仅有平台是不够的,所以说我们需要做大量的服务。所以上面也可以看到我们提供这种DT时代的服务。这个服务我们是可以提供全站式的服务,无论是从咨询、实施,还是到最后的运维,甚至是我们将来跟某些厂商合作进行这种运维,其实我们都可以提供,我们会有专业的队伍提供这种服务的工作。

接下来我跟大家分享一下,我们成立的时间只有一年半。但是我们在军事大数据领域已经做了很多实践,这些都是真实的案例。而且我们做的很多都已经上线运行了,所以今天大概有三个方面去跟大家分享。一个是关于军事情报研判的解决方案,我们称之为“I+”,还有一个是关于军事目标事件和目标态势的分析。就是我们会讲一下关于一个军事事件,基于时间轴的演变情况。还有目标态势,是简单讲这个目标是一个比较抽象的东西。其实目标,比如说我们的一个飞机的飞行轨迹,甚至一个船舶的航迹,其实都可以作为一个目标,我们对他的这种态势的未来轨迹分析,其实就是我们所谓的态势分析。还有第三点,我们会提到军事装备的这种预测性管理和维护。

什么叫预测性维护和质量管理?以前我们对军事设备的维护都是定期的去维护,比如说一周或者是一天做这种维护。其实这种维护是非常无效的,有的时候我们去维护的时候,可是他已经有问题了。所以说去维护其实可能效果并不明显。还有的时候我们去维护,根本他一点问题都没有,是完全完好的。我们希望做到预测性的维护,在他需要的时候我们去做,所以主要是从这三面跟大家来做一个分享。

首先第一点就是关于我们的军事研判解决方案叫“I+”。其实我们为什么可以做这种情报研判,现在大家天天在提大数据,如果能真正把大数据跟客户的业务价值做绑定,或者是跟客户带来实实在在的价值,做到这一点其实挺难的。是因为阿里在电商领域有多年的沉淀和积累,这其实是最关键的因素。为什么呢,其实电商领域的风控跟情报研判是非常类似的一种行为。比如说我们的欺诈交易,包括用户的炒作,还有用户特征的识别,还有互联网电商的打假,包括用户身份的这种偏好分析,其实这种就是我们在电商平台的积累。而且我们把众多数据进行分析,然后结合这种模型,其实最关键的是里面有模型的算法。

这种模型的算法是经过反复训练的,所以这样我们能精准的预测,比如说人的这种交易欺诈,特定人的这种行为我们能够预测,某些人可以做到未来是我们重点监控对象的。这就是我们在阿里的一个应用叫按键宝。其实,我们做到很多的这种案件,我们其实并不知道他发生了,但是我们只要得到这些数据,比如说人的数据,地的数据,机构的数据,物品的数据,这些数据我们会分析挖掘,分析挖掘之后我们就可以360度的还原这个案件,其实这个是最关键的,这是我们按键宝的应用。我们就把这些理论来应用到我们的情报研判当中。下面就讲一下我们如何做这种情报研判。

看这张图,我们是一个情报研判的360度追踪,首先我们进行一个个体的搜索,比如说进行这种关联的反查,轨迹的分析,时续的分析,包括行为的分析,这是对于某一个个体进行他行为的分析。接下来进行完个体之后,我们会进行这种群体的分析。比如说骨干的分析,路径的分析,这种共同邻居的分析,还有这种空间的分析。

在大量的分析完之后,我们会结合一定的算法,比如说我们通过这种血缘的算法亲密度的分析,然后我们会得到一些冲突的系数,其实这个所谓的冲突系数就是说我们根据情报能得到未来某个事件是否可以演变成冲突的一个可能性。甚至我们这个平台可以提供这种网络分析包括信息的立方,然后协同的情报,甚至可以对外提供这种API的服务。这是一种可视化的情报研判。下面我有一个视频大概有四分钟的时间,其实我们就可以详细的呈现一下我们这种可视化情报研判的思路。

(视频展示)

其实刚才这个短篇就跟大家真实的演示了一下我们如何进行这种情报研判的。这也是比较直观的给大家展示一下。然后接下来就是基于我们刚才这种情报研判的方案可以简单看一下我们落地的架构,这个就比较偏技术层面的东西了。

首先我们会有一个数据模型,因为做大数据的应用,最重要的是把这数据模型建立完善。所以说,这是一个全方位立体式的把这个数据模型建立起来。所以说最左侧一侧我们是有一个非常完善的一个数据模型,就是OLP。

接下来我们会进行这种复杂关系网络的一个研判。因为,首先数据完之后,他是形成了一个所谓的数据层,真正数据到知识是有一个过程的,所以我们所谓的关系网络是形成一个知识的过程。然后第三步我们可以看到,我们是基于这种特征的智能的模型。这是最核心的东西。

因为我们基于我们的数据分析,然后通过信息然后到知识,到知识之后我们会抽取这些知识,然后通过一定的算法,通过一定模型算法,然后这些算法是经过反复训练的,我们相对准确的算法出来之后,我们是有形成一定的智能模型。然后最后可以看到,我们是通过可视化的大屏展示起来。

所谓的智能研判这种展示其实展示到无论是我们的使用者,还是跟领导去汇报的时候最终要有一个大屏。其实大家可以清晰的看到双11的大屏这一点不仅仅是一个UI的展示,这里面因为是有动态实时的去更新我们后台数据的,所以这个大屏的展示,也是我们其中很重要的一点,就是可视化的这种布局。

这就是我们里面所用到的产品架构,这就是我们阿里和树梦工厂共同打造的自己的一些解决方案。然后可以看到底层是我们云平台,因为阿里有飞天平台,他是大平台,大概是一百台以上的,我们数梦工厂这边是可以提供这种小的平台,大概一百台以下叫DDQ。然后还有真正离线分析平台我们做ODPS,还有基于这种离线的分析之后,我们可以在这种实时的在线多维处理,我们是有ADS研判的分析结点。然后这是基础的云平台,因为所有的大数据都要基于这种云平台设计。我们有了云平台之后会搜集数据源,搜集数据源之后建立这些主题库。比如说人的主题,家的主题,包括物的主题。然后去寻找人和案、物和人、人和人之间的关系模型。关系模型建立起来之后,我们会基于这些特别固定的算法。然后基于基本的算法之后,我们会有这种特殊的算法出来,其实这个是最关键的。在这之上,我们就可以进行这种可视化的研判,包括个体的研判,包括群体的研判,包括智能算法,甚至我们可以提供一些对外的服务。比如说这种API服务,或者是协同情报其实是暴露给外面的。

刚才讲到了我们的产品架构、落地架构,其实里面还有很重要的一点,就是我们数据模型的建立。因为数据模型里面其实是有大量工作要做的,比如说原数据的建立,比如说关于分组定义、实体定义、实体的属性,这些都是需要在真正的每个项目当中去大量实践得出来的一些比较经典的模型体系在里面。上面讲完是关于我们军事研判的解决方案,接下来我会跟大家分享一下关于这种军事目标事件,和目标态势的分析。

首先我们看一下关于军事事件的分析,首先我们看一下他的价值。因为很多的军事事件的发展脉络,包括因果关系,由于这种时间跨度较长被打散,很难做出有效的分析,这就是他的一个很现实的痛点。为什么我们可以通过大数据解决这个痛点呢。

因为大数据的形势,突破了以前传统数据的一种分析理论。所以说我们可以一个特定的军事事件分结构化,通过若干元素构成一个结构化的模型,然后通过这种反复训练的最优算法。最终我们是想得到一个什么情况呢,是得到一些比如基于该事件的一些内容推荐。然后,基于同事件相关结构化数据的推荐,还有一些反馈式,怎么讲,怎么理解,其实就是可以基于一个事件,我会基于时间轴的一个演变,甚至可以推演出以前发生过类似的事件,他的类似事件的演变情况是如何的。所以说基于事件的这种分析演变,包括展示,包括事件的这种起因、转折、高潮、结尾,甚至重要参与者的一些言论,相关国家的一些态度,相关方的一些行为。我们通过大数据都会做一个很好的展示。

这是民用里面的一个舆情,真正的一个军事事件里面的舆情分析是很关键的。就是说大众包括媒体,对这种某个事件的关注度如何,他的倾向度如何,其实这个很关键,所以说我们所谓的这种舆情分析,在一个军事事件分析当中是至关重要的。这个也是我们做的一个真实案例。就是说你可以看到,一个舆情的重要性,他的倾向性,包括对媒体的转载性以及他后期产生的效果,我们可以把这些舆情都进行归纳总结,通过大数据的这种能力展现出来,其实这个是很好的对军事事件的一个梳理,甚至对他结果的一个分类。

其实所有的军事事件分析的核心理论是做这种文本的挖掘还有标签的建立,这个是偏理论的东西。因为当前一个事件的分析,其实他要借助于很多历史事件的,很多历史事件是存在于哪儿呢?存在于很多这种非结构化的数据当中。所以说我们要通过这种大量的非结构化数据,寻找里面的高频词或者拓展词。

通过这些拓展词我们会发现某两个事件是有类似特征的,这两个事件是有关联性的。所以我们会对这两个事件做标签。然后这样达到一个什么效果呢,我们就会查询到类似的事件,实际以前是很难做到这点的,关于类似事件的一个分析研判。这是基于文本数据的挖掘。然后这里面还有很重要的一点,就是关于文本的达标和自动摘要。我们的档案的文本上来之后,我们进行预处理,然后预处理完之后要进行最关键的两点要打标,就是打标签。贴上一个标签,某个事件是什么样的标签,他是一个侦查的事件,还是说一个间谍的事件,这个是要打上标签的。所以说打上标签之后未来就基于标签做很多这种预测或者是关联的分析。然后还有自动摘要,所谓的自动摘要就是说我要从这种事件里面得到这种关键字关键信息。

可以看到一个事件模型大致提取的算法逻辑是什么样子,你可以看到,一个典型的事件模型是由什么构成的,是时间、地点、人物、事件就构成了一个事件模型。他是有主语和谓语还有宾语的。所以说主语我们提取出来一些主题库,这就是我们构成未来数据模型的思路。比如说是名人,还是说一些在军事领域比较突出的人,我们会把他作为一个主体抽取到我们的原数据库里面,还有会构成一些谓语的库。比如说是风暴是爆炸,就是类似。所以说我们在大量的事件当中提取这种关键字,然后这种关键词会构成我们原数据的仓储里面。然后可以看到通过这种文本的内容之后进行这种事件挖掘,事件挖掘的结果我们可以对这种事件发展的脉络,包括事件的影响力做出一个精准的判断。其实这个是最主要的一个因素。

刚才讲的是关于目标事件的,下面我们可以看一下关于目标态势的。所谓的目标态势,其实目标是有很多种的。目标态势就是说比如说一个飞机轨迹,或者是说一个航行轨迹,或者是说船舶的轨迹,其实这都叫目标。

所以说我们就通过这种目标态势,由于以前是什么特定呢,以前的痛点是这样的。由于以前这种航迹的数据量大,维度高,挖掘的点呢特别密集,传统的计算能力是有限的,无法找出这种有效的规律及关联的关系。所以我们现在运用了大数据的理论来解决这个事情。

军事目标态势分析,我们今天是拿航迹检索作为一个例子,我们通过大数据的这种行为可以找出他的时间规律、关联规律、路线规律。其实这个对于未来分析航迹是非常有意义的。就是说哪两个飞行的轨迹是关联的,因为这种关联性是我们未来很有价值的信息。包括路线的分析,我们会经常研判出为什么美国的飞机还有日本的飞机会同一个领域出现,而且他的时间间隔是有一定规律的。所以说我们就能判断出这个飞机的这种飞行,他跟以前的某一个事件是有一定关联的。

这也是我们真实做的一个案例,也是关于航迹分析的。其实这张图更多的是展示UI能力,这是在民用领域我们关于这种航迹的分析,关于危险品运输的。比如说我们在设置这种电子围栏,或者是实施轨迹的查询,然后超越电子围栏网络会不会进行报警,其实跟军用领域是有一曲同工之处的。

这个就是我们在做这种军事目标,包括航迹轨迹的一个关键点。比如出发点、结束点、关键点,然后对这种特征做这种提取。然后建立一个所谓的这种特征索引,把这种离线的特征索引加入到实时的数据模型里面,我们就会进行这种轨迹的分析,其实最关键我们是得到相似轨迹分析的结果。

当然我们可以对历史的数据进行分析研判,找出历史记点的一些标签也是很有价值的。刚才讲的事件分析和态势分析之后,我们最终的落地架构大家可以看一下,这也是我们在客户现场落地的一个架构。基础平台、数据管理包括大数据存储,包括分析组建。其实我们最核心的分析组建,比如说刚才讲到事件分析,事件分析用到的分析组建就是关于这种文本数据的挖掘,包括规则的管理,包括模型的建立。其实这个是在里面做出了比较有挑战性的工作在里面的,其实最关键的是这一块分析组建。

最终的业务是关于这种目标事件还有这种目标态势的分析,这就是我们整个落地的架构。刚才讲了第二点关于目标事件和目标态势的分析,接下来讲第三点,是关于这种军事装备预测性维护和质量管理。

关于他的基本理论我刚才也大致讲了一下,说白了就是一句话,让数据觉醒,让数据说话。我们所有的维护都要建立在预测性维护的基础上。不是说我们定期的去维护,其实这个意义是不大的。我们要从众多的海量数据当中发现规律找出规律。其实我们现在可以看一下这张图,为什么我们会做这种事情呢,就是因为如果军事装备在裂化的过程当中是四个阶段的,比如说早期有一些征兆了,然后征兆完之后会有一些设备的缺陷,缺陷完之后如果再没有及时去修复就会发生装备的故障,装备的故障如果我们还没有去避免,那就真正的发生了生产故障了。

如果我们在进行军事为时发现我们的军事装备是有问题的,这个生产故障是很严重的。所以说我们把裂化的拐点尽早的发现,这种现象是比较隐蔽的,判断周期也比较长,但是我们一旦判断出来之后,这个是比较容易处理的,如果这个阶段没有发现,如果到了最后所谓的裂化极限控制阶段,到了那个阶段迹象就比较明显了,也比较容易发现。但是一旦发现之后就很难控制情况了。所以说这种生产故障也就再所难免了。这是我们的一个大概总体思路,我们为什么可以做到这种预测性的维护。其实我们可以收集大量的这种设备数据上来,比如说压力、温度、液位、震动、泄露的这种情况,我们跟历史数据对比会发现一些异常点,然后找出这些离散的规律。

这就是一个离散计算加实时分析的预测性维护的基本思路,也是从历史数据当中去找出一些故障模型,然后我们把他应用到实时数据当中,我们就会实时的发现我们现有的这些装备是否有发生异常的可能。

其实最终的结果是我们想帮助这种人去高效的智能化的进行这种预测性的维护。还有一点刚才是讲维护,其实还有一点是所谓的质量管理,其实我们在很多装备的生产过程当中,在生产零件的过程中是有很多环节的。举个例子,在比较早的环节能发现一些异常,我们是能控制很多这种故障零件产生的。

其实今天就描述一个简单的例子,关于军备发动机的一些铸件预测性质量管理。怎么讲呢?比如说发动机的相关铸件,其实在构造过程中,各种温度压力等参数,我们可以实时的追踪,我们会把这些参数得到一个结论,这些结论我们能判断出这个铸件是否合格,是否允许进入下一个环节。其实这个是最关键的因素。如果在生产过程当中,大量的这种变量参数输入到这种系统当中建立这种数据模型之后,我们会在第一时刻发现这种不合格的产品然后采取相应的措施。这样我们就能避免了真正产出之后的设备是不合格的,我们能及早的避免这种情况的发生。其实在大量先进的国家,在军队的生产过程当中,是在大量的采取这种预测性的质量管理的。就是我们把一些缺陷不要生产出来之后发现,我们是在尽早的发现这个缺陷。

这就是我们最终也是我们真实的一个案例落地的架构。然后我们所有的数据,数据上来之后各种工业,其实这都是工业数据包括装备的数据,数据上来之后进行存储,存储之后进行这种大量的计算,然后通过一种模型算法分析出这种故障率,然后未来我们说会支撑我们这种预测性维护和质量管理的这种思路,我的演讲就到这里,谢谢大家。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2023-08-24 09:38:00
大数据资讯 关注县域数据能力建设,抢占产数业务发展先机
2023年《数字中国建设整体布局规划》正式发布,数据能力已成为我国区域发展的底座和创新引擎。 <详情>
2023-03-30 11:15:07
云资讯 分布式时代已至,数据如何更有价值?
无论是连通各大集群内大型超大型数据中心,还是连接边缘侧小型、边缘数据中心,分布式云计算都已成为这张算力网络最重要的支撑。在此背景下,云计算步入分布式时代。 <详情>
2023-03-01 19:27:00
市场情报 FlagOpen大模型技术开源体系,开启大模型时代“新Linux”生态
大数据+大算力+强算法=大模型”是当前人工智能发展的主要技术路径。语言大模型ChatGPT成为现象级应用,人工智能进入普及应用的新时期。 <详情>
2023-01-09 09:36:46
大数据资讯 我国互联网广告数据匿名实施服务正式上线
《指南》形成的“技术保障、评估规制、过程控制”的互信制衡机制,适用于各类互联网广告业务,包括广告投放、程序化交易、广告监测等应用场景下的数据匿名化处理。 <详情>
2022-12-30 10:10:19
大数据资讯 中国移动磐维数据库正式发布
未来,随着数据库功能和稳定性等进一步增强,磐维数据库将在中国移动内外部的广泛应用中积累更多复杂业务场景实践经验,进一步提升数据库产品的核心技术能力,助力数智化转 <详情>