产品经理10大基础技能(1):读透SQL
本文总结分享了什么是SQL、它的应用场景、如何学习掌握、如何具体操作?
本篇灵感源自援引《经济学人》最近发表的一篇文章,预计2020年将成为AI技术全面成为主流的一年而起,先撰写比较火热的数据产品经理岗位,在数据产品经理岗位里有对产品经理必须要懂的技术SQL、AHP、序列分析、PCB主成分分析等等,先讲SQL。
在本文中首先介绍SQL是什么,然后重点介绍怎么学SQL,同时又将学SQL分成一方面:学SQL的基础理论方面,另外一方面:学SQL的基础操作方面。
在讲解产品经理具体操作方面,讲解了基本SELECT语句操作,基本索引操作和数据建模操作等详实案例,以飨读者!
一、SQL是什么?
SQL是一种特定目的编程语言,用于管理关系数据库管理系统,或在关系流数据管理系统中进行流处理。
SQL基于关系代数和元组关系演算,包括一个数据定义语言和数据操纵语言。
SQL的范围包括数据插入、查询、更新和删除,数据库模式创建和修改,以及数据访问控制。
二、SQL应用场景?
例如,当您的股东或者老板想要查看以下问题时,您可以用SQL来做出对应的产品呈现:
- 统计不同月份的下单人数
- 统计三月份的复购率和回购率
- 统计男女用户的消费频次是否有差异
- 统计多次消费的用户,第一次和最后一次的消费间隔是多久
- 统计不同年龄段,用户的消费金额是否有差异
有的同学说这些EXCEL也可以做呀,对是可以,但是现在市场的数据量EXCEL是负载不了的,EXCEL也容易崩溃。
另外SQL也可以在更大量级的数据库和数据仓库间进行查询和数据分析。
有的同学说产品经理不需要懂数据仓库,更不需要懂SQL。
在笔者LineLian的实战工作中,市场上以做出自己公司的数据仓库产品,做出自己公司的数据分析产品为产品本体的需求在持续爆发增长,所以作为市场需求旺盛的10大基础技能之一产品经理应该懂SQL。
三、怎么学SQL?
3.1 学SQL的基础理论方面
- 了解建立数据库的意义,为什么不能用excel而需要用数据库?以及有哪些方面的应用?
- 数据库系统在整个网站中处于一个什么位置?在数据后台如何调用数据库的数据?
- 数据库的应用范围?什么时候才不得不使用数据库?什么时候数据库也不灵了?(一般10万条及以上数据用数据库,千万级条数据是一般数据库的极限)
- 表与表之间存在着怎样的逻辑?理解实体、关系、主键、外键。
3.2 学SQL的基础操作方面
3.2.1 学会操作一些基本的select的操作
操作例如:将下表中列出所有建筑物以及每个建筑物(包括空建筑物)中不同的员工角色表如下图所示:
SELECT distinct role ,Building_name
FROM Buildings
LEFT JOIN Employees
ON Buildings.building_name=employees.building
3.2.2 了解索引,知道如何建立索引,应用索引
例如创建索引的标准语法:CREATE INDEX 索引名 ON 表名 (列名)
3.2.3 了解数据类型,知道如何给各个数据建立对应的模型
(1)了解数据类型
数据有结构化的数据类型,常见于存在我们数据表中的数据;也有半结构化的数据类型,例如我们百度查询某个页面结果展示的多是半结构化数据;也有非结构化数据像图片、声音、视频等等数据类型。
(2)产品经理需要会如下的数据建模全流程
数据建模分析线路一:
准备数据是从数据埋点、数据采集、数据清洗开始,然后对数据进行直观的描述分析和洞察,再然后给出数据展现,最后撰写数据分析报告。
例如:下表是某些学生的语文、数学、外语、科学成绩统计表:
首先,假设这些科目成绩不相关,也就是说某一科目考多少分与其他科目没有关系。那么一眼就能洞察出来,数学、外语、科学这三门课的成绩构成了这组数据的主成分(很显然,数学作为第一主成分,因为数学成绩拉的最开)。为什么一眼能看出来?因为坐标轴选对了!
但是当数据量足够大的时候,通过洞察就不是这么容易看出来数据的特征了。
数据建模分析线路二:例如下面闲鱼APP分析用户行为的例子
用数据建模的方法分析用户行为流程图如下:
首先分析用户行为,分析业务需求:
一般将用户行为定义为:由一系列的行为事件所串联成的序列。这个定义在不同的“粒度”上有不同的解释,比如粗粒度上来看,“搜索商品”->”聊天“->“下单”为一个用户行为,其中“搜索商品”是一个行为事件。
但是从细粒度上来看,“搜索商品”包含了多个更小的事件,比如“点击搜索框->输入文本->点击搜索按钮->查看搜索结果”等,从细粒度上这几个事件同样可以定义为行为事件,此时“搜索商品”就变成了一个用户行为。
因此,分析用户行为需求,要先看从哪个维度上进行分析。
在本案例中将行为事件定义为“页面跳转”和“按钮点击”两类事件,而用户行为则是“多个行为事件”根据时间顺序串联起来的序列。
对应到数据形式上,每一个“页面跳转”都对应一个埋点,每一个“按钮点击”也都对应一个埋点,
因此,用户行为数据建模分析,实际上也就变成了:埋点序列数据建模分析。
埋点序列数据建模图如下:
从上图中可见先通过聚类算法例如K-mean对埋点的人群进行分类,得到不同的人群,然后再对不同人群运用序列挖掘模型挖掘得到不同的行为,最后得出异常或者正常的行为判断结果。
假如用数据建模来发现未知黑产人群,用上述方法,对闲鱼的用户埋点进行分析,发现聚类出的人群里,有一类人群的行为序列是:
“商品搜索结果页->打开某个商品->点击聊天->发送文件->返回商品搜索结果页->打开某个商品->点击聊天->发送文件”
洞察查看这群人发送的文件发现,全部都是广告视频,也就是说,这些都是黑产账号,不断的在发送广告视频给别的用户,而这些黑产行为,是我们原先“未知”的(不需要提前知道这种行为的存在)。
说明一下传统的黑产模型用的是AHP层次分析法模型为主,即通过漏洞补上和行业专家打分的方法来实现风控和安全。
通过数据建模这种方式相比原来的AHP专家打分“补漏”型黑产防控有以下优势:
没有经验预设,可以快速从数据中发现新型的黑产行为模式,而不必等到大面积用户反馈以后做补漏。
数据建模算法抽象出来的行为模式相比人工“总结”会更加准确。(原来的防控大多数是根据用户反馈,然后人工观察这些人的行为,并用规则去识别匹配这些行为)
当然,数据建模这样的数据还需要进一步挖掘才能得到实际可利用的信息,针对不同业务和问题,也有不同的利用方式,这里也还只是一个案例思路,希望能从这个新的数据视角挖掘到对产品业务有用的信息。
小结一下
在红利辈出的年代,选择做什么选择学什么比擅长做什么更重要!
在市场运营上大家比较期待用户增长,客户爆发;在技术上Python、React(web)、Angular、机器学习以及Docker将也已成为市场需求最为旺盛的需求。
在产品经理岗位上一方面要盯紧市场运营的业务需求,迭代产品配合实现用户增长;另外一方面要紧盯技术发展。毕竟科学技术是第一生产力,所以产品经理不能仅仅是画原型的经理,而要持续学习,在数据中台产品,数据平台产品,数据智能产品,纯AI产品持续井喷的年代。
悲观者往往正确,乐观者常常成功!
最后笔者建议在AI时代,产品技术运营的第一要务就是为未来的全新工作方式做好准备。未来已来,未来需要数据驱动增长,未来需要数据智能化,未来需要产品经理具有的技能,让我们持续一起读懂。
如果你想系统化入门AI产品经理,掌握AI产品经理的落地工作方法,戳这里>http://996.pm/7bjab
#专栏作家#
连诗路,公众号:LineLian。人人都是产品经理专栏作家,《产品进化论:AI+时代产品经理的思维方法》一书作者,前阿里产品专家,希望与创业者多多交流。
本文原创发布于人人都是产品经理。未经许可,禁止转载。
题图来自Unsplash, 基于CC0协议
主题不清晰
那到底是如何学习的
总的来说,偏离主题啥也没说
请问什么事数据清洗啊
数据清洗就是去除脏数据、无用得数据、空数据等
ulllqq
^_^
求大神续更! 😉
给连老师打call : 🙂 🙂