Agent开发平台数据运营体系:企业如何衡量大模型投入产出比ROI?

0 评论 763 浏览 3 收藏 6 分钟

大模型到底为公司带来了多大的好处?为应用大模型,采购了第三方的AgentBuilder平台,或者自研搭建了大模型应用平台,效果咋样?企业内部的员工会用了吗?还是依赖外部的第三方提供解决方案呢?用大模型时,需要考虑信息安全相关的事儿,权限粒度能满足要求吗?违规碰触拦得住吗?……一连串的问题,让数据来回答……

1.大模型落地stakeholders&成本

企业都想在这波技术生产力变革中,不被落下,无论是自动驾驶、具身智能、机器人还是内部的IT系统,迎来了“换脑子”的机会。都想干,怎么入手呢?一般大模型落地需要五个角色的人彼此协作。如果是外采第三方MaaS平台,那么3、4、5就由第三方公司出人。

2.Agent开发平台产品功能MAP

要评估自建、还是外采,那么先来看下,Agent开发平台,应该有哪些必备的“能力”。搭建这样一个平台,贵公司需要多久?投入多少成本/资源?

3.Agent平台数据运营

3.1 ROI

ROI=W/(XorY+Z+M+N+O)

3.2 平台运营:有数据可用

节约成本:每个月做数据清洗、数据查询、口径对齐、取数等工作,2*15=30人天/月

3.3 平台运营:需要的数据

有了这些数据,可以回答下面一系列问题:

  1. 高层可以了解,各层级部门应用大模型的进展C
  2. 高层可以了解,当前员工用大模型的情况F

还可以了解:

  1. 昨天,员工跟大模型交流对话了多少轮?消耗多少token(需要花多少钱)?大模型回复了多少token(代替人回答问题)?大模型累计服务时长是多少?X/8小时,相当于一天里,有多少名虚拟数字员工在代替人干活~~
  2. 上周,营销Agent,一共生产多少篇营销图文/视频等,投放到各个渠道的效果怎么样,热度、用户回复、传播效果与大上周、或者与人工产出文案同环比,为小程序、APP拉新、促活引流效果如何……
  3. 7月,销售助手Agent,累计应答多少次销售问询,以更好的给用户做售前解答。售后服务Agent,累计应答多少次售后服务同学,以更快捷的协助用户解决问题……
  4. 7月,零件Agent,累计应答多少次零件在库问询/同类零件可替代问询,发出多少个零件的库存红线采购预警,以确保供应链最优,成本最优……
  5. Q2,舆情监控Agent,一共搜集到多少个外部渠道的用户呼声,其中有多少是正面舆情,多少是负面舆情。有多少做了即时回复,有多少通过人工处理~~

所有的环节,数字化+智能化的协作是大模型让企业动起来的表征……

4.举例:大模型安全识别、拦截、放行数据分析漏斗图

计算公式:

1.输入拦截率=输入拦截次数/用户输入总量=5+(4+X2)/1

2.输出拦截率=输出拦截次数/大模型输出总量=11+(X2+10)/1

3.漏拦截率=漏拦截次数/(拦截次数-误拦截次数+漏拦截次数)=4+X2+10/(5+11-6-X1-12+4+X2+10)

4.误拦截率=误拦截次数/拦截次数=(6+X1+12)/5+11

受作者领域认知深度所限及技术无时无刻不在更新迭代,业界对LLM、AGI、Agent、GPT……的衍生应用必定是珠零锦粲。无法在一篇中尽现全貌,未来可能会彻底推翻当下的种种尝试而不得知。能为大家带去一点点新的启发,以深感欣慰。文中难免有纰漏或不准确的地方,欢迎大家批评指正。撰写中参考网络上各位同仁的最新观点,拿来主义未打招呼,还望见谅。若有任何建议或意见,欢迎联系作者探讨。

作者:shucay、佳琪、小正

本文由@shucay 授权发布于人人都是产品经理,未经许可,禁止转载

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!