拒绝薅羊毛行为:AI产品经理的工作全流程揭秘

3 评论 3202 浏览 26 收藏 8 分钟

这篇文章的笔者主要讲的是举了一个可以筛选出爱薅羊毛用户的项目例子,从而介绍关于AI产品落地的流程分析,大家一起往下看看吧!

上文简述了人工智能、机器学习、深度学习和大模型的概念和关系,让大家对这些名词有了一个初步的印象。

今天我们通过一个筛选出薅羊毛用户的项目,了解AI项目从0到上线的全流程,在此过程中,大家可以了解到产品经理在每个环节中的职责和产出,对以后的学习和工作会很有帮助。

一、项目背景

有段时间,我发现负责的项目数据统计有些异常,细查之后,发现存在夜间偷数据的情况,大致行为路径如下:

  1. 淘宝上买一批手机号,注册新账号。
  2. 通过自动薅羊毛的方式(新手礼包、每日签到、周任务等),获取免费券等资源。
  3. 夜深人静的时候,使用免费券或积分批量下载数据。

亡羊补牢,犹未晚矣。我们决定开发一套筛选薅羊毛用户的产品,彻底堵住这个缺口。

二、产品定义

这个环节需要确定该项目的预期目标,定义要解决的具体问题。

在和运营同事沟通后,确定了产品需求如下:

  1. 在领取新手礼包或周任务奖励时,需要用户绑定手机号(薅羊毛时简单卡一下,以免影响正常的用户体验)。
  2. 在使用券进行下载操作时,判断是薅羊毛用户的概率,并根据概率高低分成 正常、疑似、高危 三类。
  3. 针对“疑似”用户,就触发 极验 或 验证码校验 等逻辑。针对高危用户,就锁定账号,并在激活时要求绑定微信,避免再出现大量偷数据的情况。

其中AI相关的需求拆解如下:

  1. 基本需求:通过算法判断用户是否为薅羊毛用户,并根据概率分为 正常、疑似、高危 三类。
  2. 离线/实时模式:支持实时判断,所以应该定义为实时模型。
  3. 覆盖率:期望该模型的覆盖率为100%,面向所有用户。
  4. 倾向:尽可能找出所有羊毛党,追求高“召回率”,可以接受一定程度的误报。宁可错杀一千,不可放过一个。

三、技术预研

产品经理把需求同步给技术,技术需要预判现有的数据和算法是否可支撑需求实现。

如果现有数据不满足需求,要么增加埋点补齐数据,要么想办法获取目标数据,要么替换成其他类似数据。

如果算法支持度不够,可能需要调整需求内容,以便达到更适配的效果。

以该项目为例,实时模式的话,可能会对原业务的响应速度有一定影响,所以最后调整为离线模型,每天定时处理前一天的用户数据。

四、数据收集

接下来,就要根据技术预研的结果,从各种来源收集需要的数据了。

产品经理需要基于对业务的深度理解,判断哪些数据、哪些特征对模型提升有帮助,把自己想到的要点和技术沟通,得到更完善的数据集,再动手去获取数据。

比如该用户是否主要在夜间活动?操作频率是否过高?短时间内同一台终端是否登录过多个用户?用户是否触发过新手引导?

尽可能准确的找到羊毛党用户的特征,对模型质量的提升会有极大的帮助。

获取数据时,不局限于自身的业务数据,还可以获取公司内的中台数据,甚至可以购买第三方外部数据,或与其他公司联合建模。

五、模型构建

数据收集之后,就可以进入模型构建环节了。

模型构建主要是技术的工作,但是产品经理也必须知道具体的构建流程,以便更好的配合和沟通,进而准确把控项目进度。

模型构建流程大概包括算法选择、特征工程、模型训练、模型验证和模型融合等步骤,下篇文章我们会详细介绍。

六、模型宣讲、评估和验收

模型构建完成后,产品经理需要组织技术宣讲训练好的模型,介绍内容如下:

  • 使用的什么算法?为什么选这个算法?
  • 选用了哪些特征。
  • 训练集、测试集的大致情况。
  • 模型的测试结果。
  • 是否达到了预期?哪些指标未达预期?未达预期的原因是什么。

宣讲之后,产品经理需要对模型进行评估和验收,该环节也非常重要,至于如何选择合适的评估指标,后续章节会详细介绍。

如果评估结果有瑕疵,还需要对模型进行优化,优化方式可能是调整算法参数,也可能是调整特征,直到达到满意的效果为止,验收通过。

七、业务开发并上线

验收通过之后,技术会把模型部署到线上,并按之前和业务开发同事约定的接口提供能力。

业务开发完成相应功能后,和模型接口联调通过,就可以进入常规的走查、测试、上线流程了。

需要注意的是,模型上线后,还需要持续监控模型的效果,若运行一段时间后,发现模型效果有明显衰减,就需要分析原因,并针对性的升级模型。

八、总结

本文通过一个筛选出薅羊毛用户的项目,简单介绍了AI产品落地的全流程。下篇文章,我会详细介绍模型构建环节的详细内容,敬请期待。

本文由 @AI小当家 原创发布于人人都是产品经理,未经许可,禁止转载

题图来自 Unsplash,基于 CC0 协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 例子追求高召回率的同时,是不是也要高精确率,因为过多的误杀会严重影响正常用户的体验,得不偿失

    来自辽宁 回复
    1. 个人看法,当然越准确越好了,但是一开始模型还没搭建出来总归要有取舍,这是个假设的例子,得先有数据再定下一个目标,比如稳定运行后误杀率是50%,下个阶段目标是20%

      来自上海 回复
  2. 学习到了!谢谢分享。

    来自美国 回复