产品经理10大基础技能(1):读透SQL

8 评论 24683 浏览 166 收藏 13 分钟

本文总结分享了什么是SQL、它的应用场景、如何学习掌握、如何具体操作?

本篇灵感源自援引《经济学人》最近发表的一篇文章,预计2020年将成为AI技术全面成为主流的一年而起,先撰写比较火热的数据产品经理岗位,在数据产品经理岗位里有对产品经理必须要懂的技术SQL、AHP、序列分析、PCB主成分分析等等,先讲SQL。

在本文中首先介绍SQL是什么,然后重点介绍怎么学SQL,同时又将学SQL分成一方面:学SQL的基础理论方面,另外一方面:学SQL的基础操作方面。

在讲解产品经理具体操作方面,讲解了基本SELECT语句操作,基本索引操作和数据建模操作等详实案例,以飨读者!

一、SQL是什么?

SQL是一种特定目的编程语言,用于管理关系数据库管理系统,或在关系流数据管理系统中进行流处理。

SQL基于关系代数和元组关系演算,包括一个数据定义语言和数据操纵语言。

SQL的范围包括数据插入、查询、更新和删除,数据库模式创建和修改,以及数据访问控制。

二、SQL应用场景?

例如,当您的股东或者老板想要查看以下问题时,您可以用SQL来做出对应的产品呈现:

  • 统计不同月份的下单人数
  • 统计三月份的复购率和回购率
  • 统计男女用户的消费频次是否有差异
  • 统计多次消费的用户,第一次和最后一次的消费间隔是多久
  • 统计不同年龄段,用户的消费金额是否有差异

有的同学说这些EXCEL也可以做呀,对是可以,但是现在市场的数据量EXCEL是负载不了的,EXCEL也容易崩溃。

另外SQL也可以在更大量级的数据库和数据仓库间进行查询和数据分析。

有的同学说产品经理不需要懂数据仓库,更不需要懂SQL。

在笔者LineLian的实战工作中,市场上以做出自己公司的数据仓库产品,做出自己公司的数据分析产品为产品本体的需求在持续爆发增长,所以作为市场需求旺盛的10大基础技能之一产品经理应该懂SQL。

三、怎么学SQL?

3.1 学SQL的基础理论方面

  1. 了解建立数据库的意义,为什么不能用excel而需要用数据库?以及有哪些方面的应用?
  2. 数据库系统在整个网站中处于一个什么位置?在数据后台如何调用数据库的数据?
  3. 数据库的应用范围?什么时候才不得不使用数据库?什么时候数据库也不灵了?(一般10万条及以上数据用数据库,千万级条数据是一般数据库的极限)
  4. 表与表之间存在着怎样的逻辑?理解实体、关系、主键、外键。

3.2 学SQL的基础操作方面

3.2.1 学会操作一些基本的select的操作

操作例如:将下表中列出所有建筑物以及每个建筑物(包括空建筑物)中不同的员工角色表如下图所示:

SELECT distinct role ,Building_name

FROM Buildings

LEFT JOIN Employees

ON Buildings.building_name=employees.building

3.2.2 了解索引,知道如何建立索引,应用索引

例如创建索引的标准语法:CREATE INDEX 索引名 ON 表名 (列名)

3.2.3 了解数据类型,知道如何给各个数据建立对应的模型

(1)了解数据类型

数据有结构化的数据类型,常见于存在我们数据表中的数据;也有半结构化的数据类型,例如我们百度查询某个页面结果展示的多是半结构化数据;也有非结构化数据像图片、声音、视频等等数据类型。

(2)产品经理需要会如下的数据建模全流程

数据建模分析线路一:

准备数据是从数据埋点、数据采集、数据清洗开始,然后对数据进行直观的描述分析和洞察,再然后给出数据展现,最后撰写数据分析报告。

例如:下表是某些学生的语文、数学、外语、科学成绩统计表:

首先,假设这些科目成绩不相关,也就是说某一科目考多少分与其他科目没有关系。那么一眼就能洞察出来,数学、外语、科学这三门课的成绩构成了这组数据的主成分(很显然,数学作为第一主成分,因为数学成绩拉的最开)。为什么一眼能看出来?因为坐标轴选对了!

但是当数据量足够大的时候,通过洞察就不是这么容易看出来数据的特征了。

数据建模分析线路二:例如下面闲鱼APP分析用户行为的例子

用数据建模的方法分析用户行为流程图如下:

首先分析用户行为,分析业务需求:

一般将用户行为定义为:由一系列的行为事件所串联成的序列。这个定义在不同的“粒度”上有不同的解释,比如粗粒度上来看,“搜索商品”->”聊天“->“下单”为一个用户行为,其中“搜索商品”是一个行为事件。

但是从细粒度上来看,“搜索商品”包含了多个更小的事件,比如“点击搜索框->输入文本->点击搜索按钮->查看搜索结果”等,从细粒度上这几个事件同样可以定义为行为事件,此时“搜索商品”就变成了一个用户行为。

因此,分析用户行为需求,要先看从哪个维度上进行分析。

在本案例中将行为事件定义为“页面跳转”和“按钮点击”两类事件,而用户行为则是“多个行为事件”根据时间顺序串联起来的序列。

对应到数据形式上,每一个“页面跳转”都对应一个埋点,每一个“按钮点击”也都对应一个埋点,

因此,用户行为数据建模分析,实际上也就变成了:埋点序列数据建模分析。

埋点序列数据建模图如下:

从上图中可见先通过聚类算法例如K-mean对埋点的人群进行分类,得到不同的人群,然后再对不同人群运用序列挖掘模型挖掘得到不同的行为,最后得出异常或者正常的行为判断结果。

假如用数据建模来发现未知黑产人群,用上述方法,对闲鱼的用户埋点进行分析,发现聚类出的人群里,有一类人群的行为序列是:

“商品搜索结果页->打开某个商品->点击聊天->发送文件->返回商品搜索结果页->打开某个商品->点击聊天->发送文件”

洞察查看这群人发送的文件发现,全部都是广告视频,也就是说,这些都是黑产账号,不断的在发送广告视频给别的用户,而这些黑产行为,是我们原先“未知”的(不需要提前知道这种行为的存在)。

说明一下传统的黑产模型用的是AHP层次分析法模型为主,即通过漏洞补上和行业专家打分的方法来实现风控和安全。

通过数据建模这种方式相比原来的AHP专家打分“补漏”型黑产防控有以下优势:

没有经验预设,可以快速从数据中发现新型的黑产行为模式,而不必等到大面积用户反馈以后做补漏。

数据建模算法抽象出来的行为模式相比人工“总结”会更加准确。(原来的防控大多数是根据用户反馈,然后人工观察这些人的行为,并用规则去识别匹配这些行为)

当然,数据建模这样的数据还需要进一步挖掘才能得到实际可利用的信息,针对不同业务和问题,也有不同的利用方式,这里也还只是一个案例思路,希望能从这个新的数据视角挖掘到对产品业务有用的信息。

小结一下

在红利辈出的年代,选择做什么选择学什么比擅长做什么更重要!

在市场运营上大家比较期待用户增长,客户爆发;在技术上Python、React(web)、Angular、机器学习以及Docker将也已成为市场需求最为旺盛的需求。

在产品经理岗位上一方面要盯紧市场运营的业务需求,迭代产品配合实现用户增长;另外一方面要紧盯技术发展。毕竟科学技术是第一生产力,所以产品经理不能仅仅是画原型的经理,而要持续学习,在数据中台产品,数据平台产品,数据智能产品,纯AI产品持续井喷的年代。

悲观者往往正确,乐观者常常成功!

最后笔者建议在AI时代,产品技术运营的第一要务就是为未来的全新工作方式做好准备。未来已来,未来需要数据驱动增长,未来需要数据智能化,未来需要产品经理具有的技能,让我们持续一起读懂。

如果你想系统化入门AI产品经理,掌握AI产品经理的落地工作方法,戳这里>http://996.pm/7bjab

#专栏作家#

连诗路,公众号:LineLian。人人都是产品经理专栏作家,《产品进化论:AI+时代产品经理的思维方法》一书作者,前阿里产品专家,希望与创业者多多交流。

本文原创发布于人人都是产品经理。未经许可,禁止转载。

题图来自Unsplash, 基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 主题不清晰

    来自广东 回复
  2. 那到底是如何学习的

    来自江苏 回复
  3. 总的来说,偏离主题啥也没说

    来自江苏 回复
  4. 请问什么事数据清洗啊

    回复
    1. 数据清洗就是去除脏数据、无用得数据、空数据等

      来自北京 回复
  5. ulllqq

    ^_^

    回复
  6. 求大神续更! 😉

    来自北京 回复
  7. 给连老师打call : 🙂 🙂

    来自天津 回复