【大会干货•演讲实录】刘政:开放的大数据洞察技术与营销云平台

2016-12-20  ●  大数据 营销云 客户获取


    10月26日,由中国客户管理产业创新联盟主办,中国客户管理网承办,联合清华大学数据科学研究院、清华大学中国企业研究中心、清华大数据产业联合会、中关村大数据产业联盟等多家机构共同举办的的“2016第七届中国客户管理大会暨中国产业大数据营销峰会”在北京召开。

    SAS中国研发中心总经理刘政发表了《开放的大数据洞察技术与营销云平台》主题演讲,以下为嘉宾发言实录:

    首先感谢主办方的邀请,接下来给大家介绍一下新一代的云上数据分析平台,和在此平台之上的数字营销产品。

    第一部分让我们来回顾一下数据分析技术的发展历史,就是从计算机出现以后,1966年开始有了统计分析软件,再后来数据分析领域发生了很多的事情,特别是有里程碑式的产品。相当部分人可能对这些产品不是特别的了解,因为一直不是做这个行业,现在有大量的人员进入到数据分析领域,我们叫大数据领域。

    从2012年以后逐渐发现有很多人都在做大数据,其实在2012年之前谈数据分析的人是很少的,像SAS这样的一家公司,在世界上到今天,公司正式成立已经有40周年了,从做这个产品1966年是50多年了,社会上对这家公司的了解非常少。我下面介绍一下有里程碑意义的产品,1966年开始美国农业部委托南方8所大学进行开发统计分析软件,这是给IBM大型机使用的。

    1972年第一个版本SAS72出现了,后来出现了小型机,SAS产品也开始支持小型机的发展。80年代可以支持图形展示,可以在计算机上显示图形而不仅仅是数字和表格,同时还有计量经济学和时间序列的分析软件也出现了,都可以利用计算机进行计算。

    1985年发布了版本6它支持多个供应商操作系统的平台,这个平台叫MVA?我建了这个平台以后,SAS可以在这个平台上运行,无论是什么操作系统。当有新的操作系统出现时,用非常简单的方法把新操作系统加载到这个平台就可以了。以后SAS软件也可以在这个新操作系统上运行了,这对SAS来说非常有优势。后来SAS可以支持DOS系统和PC计算机。1999年出现了数据挖掘产品和文本挖掘产品,这两款产品目前在世界范围内也是最好的两款产品。在我们做社交媒体分析的时候,就要用到文本挖掘,现在支持20几种语言,世界上主流的语言都支持,包括越南语,泰语,以及亚洲主要的语言,还有中东,欧洲等国家的语言。

    到了04年的时候,开始有了SAS9,这是一个具有巨大变化的产品可以支持分布式的分析。随着数据量的增长,特别是互联网的发展,我们知道数据量变得越来越大,很多企业都抱怨使用你这个产品分析数据太慢了。我们2011年推出高性能分析,在大数据热起来之前就出现,这有很好的前瞻性,说明SAS的预测技术确实不错。在高性能分析里面,我们使用了库内分析,就是把分析方法和模型全部放在数据库里面,只要发指令就可以在数据库里面执行;再有网格计算,就是把一个大的分析工作分成几部分,在不同的机器上运行,计算好了,再合起来;还有内存计算,让数据的读取更快,极大地提高了整个的分析速度。我们把这三个技术加到产品里面,可以基本达到实时性的分析,这在物联网时代、互联网时代要求高速出数据分析结果的情况下,非常有作用。

    2012年我们推出了可视化分析产品VA,现在它是很热门的技术。SAS的可视化分析支持内存计算,10亿行的数据可以在秒的量级进行分析,另外它加上了统计分析的技术,数据挖掘技术等高等分析方法,这是有别于其他的可视化分析产品的。SAS的一些行业解决方案也都实现了可视化分析。今年年中,我们推出了云上的数据分析平台Viya。前面提到的这些里程碑式的产品,在过去的40多年里,为各行各业的数据分析提供了分析手段,达到了举世公认的效果。今天我主要给大家介绍的就是前面提到的,我们今年刚刚推出的Viya这款产品,它是一个云上的产品。这个产品是一个开放的大数据分析平台,不光包括了大数据分析,还包括了物联网、人工智能的东西。
 
    我们刚才讲的MVA就是支持各商家提供的操作系统的平台,在MVA这种架构下SAS可以运行。我们除了支持各家商家的操作系统以外,现在我们的平台还可以在各商家的云上进行运行。这一页就是Viya产品的架构图。

    在数据端,有云上的数据,有支持库内分析技术的传统数据库中的数据,Hadoop中的数据,再有一个就是数据流。数据流的加入就意味着物联网数据的加入。在我们的核心区域里面,包括了我们刚才讲的高性能分析,我们可以进行分布式的计算,可以使用内存技术,还有我们使用了微服务的技术,这是一个在云上运行的整体架构。下面这个就是我们开放的接口。过去SAS系统是封闭的,只有SAS本身的编程技术才能在上面应用。现在我们可以接入JAVA、Python、Lua等语言,你不会写SAS语言也可以通过你掌握的其中任何语言对它进行编程和分析。这个Lua语言是一种嵌入式语言,很适合于对各种传感器进行编程,也表明了这个平台对物联网的支持。Viya上面还可以运行各种解决方案,比如有数据管理方案、客户智能方案、风险防范、反欺诈等等。

    这些产品都可以在上面运行。这个产品还提供了比较完整的API,支持我们的认知分析,就是对自然语言的处理,刚才讲到的文本分析,对图象的处理,对于深度挖掘机器学习方面的技术都有一些连接,你可以在这上面开发人工智能方面的模型,开发以后可以移植到你所使用的产品上。这个系统或者这个平台是一个四位一体的平台,包括了云计算,包括大数据,包括了我们的物联网,还包括了人工智能方面的技术。这个产品目前来讲在世界上是很领先的技术,给大家介绍是希望大家对当前的发展有比较好的了解。

    我们这个新的产品和过去产品是什么样的关系?我们并不是用新的产品代替旧的产品,目前来讲很多大企业还没有真正地到云上工作,还是用了传统的方法。Viya和SAS9是要共同存在的,我们说这是“和”的战略,这两个产品被设计用来解决不同的问题。它们可以被装在同一台机器上,通过桥来交换代码和模型等。如何平衡这两款产品,确实需要很多的技巧。就像柯达公司发明了数码相机,又担心新的产品技术冲击了现有的胶片产品。诺基亚和微软其实也有类似的情况。

    我们刚才讲了数据分析云平台,下面讲一款在它上面运行的产品,这个产品跟客户营销方面有关系,我们叫客户智能360。这张是过去几年营销发展的趋势。

    我们讲的是数据分析的发展,过去的一些方法,比如统计报表,客户视图,还有对于客户的一些评分,流失模型,违约模型进行分析,我们把它叫做智能化分析阶段。现在它还是很主流的,很多银行企业还在用这个东西。我们讲到客户营销发展趋势的时候并不是说现有的趋势或者现有的手段可以代替过去的传统手段,我们可能会在这个基础上做到更充实。后来有了自动化营销,到现在的整合型营销,就是把线上线下信息渠道都进行整合在一起。现在把一个客户所有的信息整合在一起,我们叫全渠道整合客户。如果对现在这种营销方式做个比喻,其实就是一个导购,时时跟着你,它比你自己还要了解你自己,它有你全部的线上和线下的信息,这就是实时的客户环节的营销。早期,我们只在线下买东西,后来又到线上买东西,还可以通过电话买东西等等,我们通过各种渠道买东西。后来我们把这些渠道都互相结合起来,包括了你的各种线上活动,这不是单一的渠道也不是渠道之间的交叉,而是一种集成制的叫做全渠道营销omni-channel。

    整个环节包括了三个部分:聆听、理解、行动。聆听就是实时了解客户的行为,从而知道他的需求和我们的机会。理解就是根据客户档案和历史行为分析找到最佳的行动和优惠方案。行动就是及时,实时,在正确的时间以一致的方式参与到客户的购买过程中去。针对客户智能领域,伴随着SASViya平台的发布和当前营销趋势的变化,SAS在原有客户智能系统系列产品的基础上,推出了全新的SAS Customer Intelligence 360产品。

    目前为止,该产品主要包含两大模块:SAS Customer Intelligence 360 Discover和SAS Customer Intelligence 360 Engage。随着开发的进展后续还会有新的模块进来。

    SAS Customer Intelligence 360探索的主要目的是动态捕获客户个人交互,将这些交互数据经过一系列转换和分析后,形成以客户为中心的知识。这些知识后续可以应用于针对每个渠道的每个客户来开展更加高效和精准的营销活动。SAS Customer Intelligence 360互动的主要功能是有计划地捕获客户在各渠道上的行为,将分析嵌入在事件流处理中,结合基于线下个人信息、历史行为和来自于360探索的客户数据形成的客户画像,在全部渠道上为客户提供具有高度针对性的个性化信息和一致的客户体验。

    这是数据获取的流程,CI360探索的整个流程可以分为这么几步

       1)有目的地收集客户在不同渠道上的交互行为;
       2)对收集到的数据按照定义的规则进行转换;
       3)将数据以增量的方式从云上传送到客户本地;
       4)经过对数据的分析形成全面的客户视图。
       5)之后可以利用这些数据进行探索、分析、建模,生成报表,达到更加全面地了解客户,预测客户行为,从而更加有效地开展营销活动。

    数据获取或者客户的交互是怎么获得的?

    这针对WEB端的数据收集,我们只需要在站点上嵌入类似这样的单行代码。管理员也可以设定一些规则去只针对某些页面,如按页面URL匹配,和页面上的某些行为进行收集。默认收集的事件包括:页面load/unload、Click、 Form Submit等。在移动端,我们提供了MobileSDK,分Android和iOS版本。客户可以基于这个SDK进行应用开发。

    App上支持离线事件收集。也就是说当你的App未联网时的操作,在app连上网后也能提交到服务器。除此之外,我们还提供了对地理围栏和信标事件的支持。客户也可以自定义各种事件来进行数据收集。刚才有几位老师讲到个人隐私和数据获取的合理性和合法性问题,其实大家可以思考。这些收集到的信息更多跟你的购买行为有关,可能跟你的其他方面特别隐私性的东西关系相对来说弱一点。

    CI360依据制定的数据转换规则把原始数据转化成有关联的结构化数据,并传送到线上数据集市。数据转换的过程关键在于维护数据之间的逻辑关系,以SESSION为中心按照时间序列组织交互数据,把数据项s按照规则处理后进行Map-Reduce转换,最后得到可供分析的结构化数据,存储到数据集市中。经数据转换后存储在云上数据集市中的数据,以增量方式定期传送到本地系统,并且可以和本地离线数据进行集成来进一步完善数据。这种混合云模型可以充许客户数据保存于本地,也能解决有些客户对客户信息安全性的担忧。

    基于这些收集到的数据,我们的分析系统能从交互/会话/访问者/客户不同级别来理解这些数据,并最终形成全面的客户视图。

  1.     当同一用户在不同的设备上访问网站,或者匿名用户与实名用户在相同的cookies登陆,这些客户的行为都会归集到一个用户上
  2.     基于当前对session和客户的理解,创建和合并客户记录
  3.     提供所有session的在线客户活动行为,例如,客户喜好,客户搜索或者购物车遗弃等。

    对这些分析结果,360探索提供了丰富的预定义报表,你也可以在我们的可视化分析系统中自定义报表,快速方便直观地对分析结果进行查看。当然,您也可以利用SAS的分析工具如Enterprise Guide、Enterprise Miner对数据作进一步的分析。

    360Engage(互动)致力于实现在合适的时机适当的位置为客户呈现与他/她最相关的信息,充分结合线下的客户画像和即时的线上行为,进行更实时和精准的营销,为客户在全渠道上带来一致的体验。在设计时,根据营销渠道的不同(Web、Mobile、Email),我们来定义这些不同的营销对象,包括展现内容,广告位,目标群体,自定义行为,线下客户群,营销目标,来形成不同渠道上的营销任务。这些不同渠道的营销任务可以独立运营,我们也可以将这些不同渠道上的营销任务组合成一个个营销活动,来提供多渠道营销的支持。

    360Engage(互动)的功能优势主要有如下方面,后续围绕以客户为中心的开放数据模型,移动app营销,Recommender算法展开。数字化时代客户已经不局限于传统的线下或者线上单一的购物渠道。一次购物旅程可能涉及多个渠道的交互。而且客户在渠道间的切换是随时和没有任意顺序的。企业是否能够识别出在不同设备上面交互的客户,捕捉客户在全渠道的行为,成为企业全面分析客户,做更精准营销的基础。移动营销以其便捷及其更丰富的功能广受欢迎,成为主要的营销渠道之一。   

    CI360充分利用了移动端优势:

    增加特有的地理围栏和信标事件功能

    除基本的广告位(Spot)展示和短信息(SMS)功能外,还提供移动App运营的重要手段:移动消息推送(Push Notification)和应用内消息(In-App Message)真正做到在正确的时间和地点、正确的环境下以合适的方式满足客户需求。推荐技术是根据用户属性和特征行为找出用户感兴趣的商品清单。推荐算法是推荐技术中的核心。传统推荐算法主要是协同过滤算法(collaborative filtering,简称CF),对群体基于人口学信息以及对商品的显式的信息(兴趣度,偏好,评分等由消费者反馈的信息),转化成显式评分,依此进行商品推荐。CI360在消费者整个访问SESSION期间,持续收集用户访问数据,例如商品搜索、商品页停留时间、产看商品详细信息、商品加入/移出购物车、收藏商品、是否查看退货条款等等信息。这类信息我们称为隐式信息。

    CI360推荐分析算法把这些隐式信息转化为对商品的隐性评分,并且与显式评分信息一同输入到协同过滤算法,最终为每一个用户生成个性化推荐商品清单。在用户当前访问SESSION内,用户把商品放入购物车最后离开却没有下订的行为,称为购物车遗弃(CartAbandonment)。可能的原因有:过高的定价、对产品质量的不满、对与第三方的比价结果不满、运费过高、购买意愿不够强烈等;以及在线销售网站购买流程本身造成的原因等等。CI360可以通过对既往数据的分析,提前预测购物车遗弃事件发生的可能性,个性化、动态地调整销售策略,提升消费者购买意愿,提高客户购买比例,降低购物车遗弃率,获取更好的利润。这个产品这里我们看到的更多地集中在网络上,其实它是全渠道的,不光包括网上的也包括线下的,所有渠道获得的信息都结合在一起了,我们叫全通道的营销。

    这是SAS客户智能的体系框架,内容更加丰富,包括了几乎所有的谈到的数据分析的营销里面的应用。这是一个USBANK例子,它希望通过网上银行迅速提高业务,它使用交叉销售的方法,希望在5年内增加一亿六千万美元的收入,它通过客户行为洞察分析,预测性的分析,关系策略,给客户提供一些相应的产品推荐。这是他们的评价:我们使用了SAS,我们预见了增长,但是增长幅度还是很惊人的”,我就讲这些,谢谢大家!

本文来源:中国客户管理网


精彩推荐 Select Recommend

经典课程 Classic Course

你离高薪只差这一步!