你好,游客 登录 注册 搜索
背景:
阅读新闻

腾讯防刷负责人:基于用户画像大数据的电商防刷架构

[日期:2017-01-21] 来源:网络整理  作者: [字体: ]

作者|颜国平,腾讯云-天御系统研发负责人。一直负责腾讯自有验证码、业务安全、防刷、账号安全等研发工作。内部支持的产品(游戏、电商、腾讯投资的O2O企业)非常广泛。在业务安全领域项目经验丰富,并且具备深度学习、大数据架构搭建等实战经验。

一、背景介绍

最近1~2年电商行业飞速发展,各种创业公司犹如雨后春笋大量涌现,商家通过各种活动形式的补贴来获取用户、培养用户的消费习惯。

但任何一件事情都具有两面性,高额的补贴、优惠同时了也催生了“羊毛党”。

“羊毛党”的行为距离欺诈只有一步之遥,他们的存在严重破环了活动的目的,侵占了活动的资源,使得正常的用户享受不到活动的直接好处。

今天主要分享下腾讯自己是如何通过大数据、用户画像、建模来防止被刷、恶意撞库的。

二、黑产现状介绍

“羊毛党”一般先利用自动机注册大量的目标网站的账号,当目标网站搞促销、优惠等活动的时候,利用这些账号参与活动刷取较多的优惠,最后通过淘宝等电商平台转卖获益。

一、羊毛党分工

他们内部有着明确的分工,形成了几大团伙,全国在20万人左右:

大数据架构

二、“羊毛党”从业特点

这些黑产团队,有三个特点:

大数据架构

三、对抗刷单的思路

对抗刷单,一般来讲主要从三个环节入手:

  • 注册环节:识别虚假注册、减少“羊毛党”能够使用的账号量。在注册环节识别虚假注册的账号,并进行拦截和打击。
  • 登录场景:提高虚假账号登录门槛,从而减少能够到达活动环节的虚假账号量。比如,登录环节通过验证码、短信验证码等手段来降低自动机的登录效率,从而达到减少虚假账号登录量、减轻活动现场安全压力的目的。
  • 活动环节:这个是防刷单对抗的主战场,也是减少“羊毛党”获利的直接战场;这里的对抗措施,一般有两个方面:

    1)通过验证码(短信、语音)降低黑产刷单的效率。

    2)大幅度降低异常账号的优惠力度。

  • 三、腾讯内部防刷架构

    一、腾讯内部防刷的架构图

    大数据架构

    二、模块详细介绍

    1、风险学习引擎

    风险学习引擎:效率问题。由于主要的工作都是线下进行,所以线上系统不存在学习的效率问题。线上采用的都是C++实现的DBScan等针对大数据的快速聚类算法,基本不用考虑性能问题。

    风险学习引擎:采用了黑/白双分类器风险判定机制。之所以采用黑/白双分类器的原因就在于减少对正常用户的误伤。

    例如,某个IP是恶意的IP,那么该IP上可能会有一些正常的用户,比如大网关IP。

    再比如,黑产通过ADSL拨号上网,那么就会造成恶意与正常用户共用一个IP的情况。

    黑分类器:根据特征、机器学习算法、规则/经验模型,来判断本次请求异常的概率。

    白分类器:判断属于正常请求的概率。

    大数据架构

    2、矩阵式逻辑框架

    我们以黑分类器为例来剖析下分类器的整个逻辑框架。

    总的来讲我们采用了矩阵式的逻辑框架,最开始的黑分类器我们也是一把抓,随意的建立一个个针对黑产的检测规则、模型。

    结果发现不是这个逻辑漏过了,而是那个逻辑误伤量大,要对那一类的账号加强安全打击力度,改动起来也非常麻烦。

    因此我们就设计了这个一个矩阵式的框架来解决上述问题。

    大数据架构

    矩阵的横向采用了Adaboost方法,该方法是一种迭代算法,其核心思想是针对同一个训练集训练不同的弱分类器,然后把这些分类器集合起来,构成一个最终的分类器。

    而我们这里每一个弱分类器都只能解决一种帐号类型的安全风险判断,集中起来才能解决所有账户的风险检测。

    那么在工程实践上带来三个好处:

    矩阵纵向采用了Bagging方法,该方法是一种用来提高学习算法准确度的方法,该方法在同一个训练集合上构造预测函数系列,然后以一定的方法将他们组合成一个预测函数,从而来提高预测结果的准确性。

    上面讲的部分东西,理解起来会比较艰涩,这里大家先理解框架,后续再理解实现细节。

    四、腾讯大数据收集纬度