天善学院：用户画像解决方案，原理案例思路方法工具开发优化(含课件)

课程来自天善学院的用户画像解决方案。授教老师(Watermelon)数据开发工程师。内容涵盖用户标签指标体系、数据分析、数据开发、ETL、搭建开发环境、kafka和hbase等常用大数据组件的介绍、画像的产品形态、打通数据服务层、以及如何应用用户标签和效果评估。每章案例都进行详细的分析和开发过程讲解，附有相应的分析报告、文档以及代码。通过在搭建的虚拟机环境中执行任务，帮助学习者更好地理解工程上的实现方式和实现细节。

课程目录：
│ 01.开发用户画像需要掌握的能力.mp4
│ 02.用户画像及其应用规划说明.mp4
│ 03.用户标签应用实施方案说明.mp4
│ 04.工程开发代码.mp4
│ 05.需要开发的表及表结构设计.mp4
│ 06.用户属性维度指标体系.mp4
│ 07.用户行为维度指标体系.mp4
│ 08.用户消费维度指标体系.mp4
│ 09.用户风控维度指标体系.mp4
│ 10.标签口径及数据调研分析.mp4
│ 11.标签命名方式小结.mp4
│ 12.搭建虚拟机开发环境及节点间互信.mp4
│ 13.HDFS的安装及应用场景.mp4
│ 14.zookeeper的安装及应用场景.mp4
│ 15.MySQL的安装及应用场景.mp4
│ 16.Hive的安装及应用场景.mp4
│ 17.Hbase的安装及应用场景.mp4
│ 18.sqoop的安装及应用场景.mp4
│ 19.kafka的安装及应用场景.mp4
│ 20.Spark的安装及应用场景.mp4
│ 21.Hive存储及应用特点.mp4
│ 22.MySQL存储及应用特点.mp4
│ 23.Hbase存储数据及应用特点.mp4
│ 24.为什么用不同数据库存储标签数据.mp4
│ 25.数据仓库基础知识.mp4
│ 26.统计类标签开发案例.mp4
│ 27.规则类标签开发案例.mp4
│ 28.挖掘类标签开发案例.mp4
│ 29.流式计算标签开发—kafka介绍.mp4
│ 30.流式计算标签开发-streaming的receiver模式与direct模式.mp4
│ 31.流式计算标签开发-记录消费的offset.mp4
│ 32.流式计算标签开发-Spark Streaming上线工程化.mp4
│ 33.数据倾斜调优.mp4
│ 34.Hive合并小文件.mp4
│ 35.使用Spark缓存.mp4
│ 36.开发中间表.mp4
│ 37.Crontab命令调度.mp4
│ 38.Airflow基础概念.mp4
│ 39.Airflow安装.mp4
│ 40.Airflow主要功能模块.mp4
│ 41.Airflow工作流调度.mp4
│ 42.Airflow工程案例.mp4
│ 43.标签数据监控预警.mp4
│ 44.ETL异常问题排查及解决方案.mp4
│ 45.标签视图与标签查询.mp4
│ 46.标签编辑管理.mp4
│ 47.用户分群.mp4
│ 48.多维透视分析.mp4
│ 49.业务数据分析.mp4
│ 50.精准营销(短信、邮件).mp4
│ 51.push推送、广告位分群展示、站内信.mp4
│ 52.应用效果评估及迭代.mp4
│ 53.人群计算.mp4
│
└─00.配套资料（代码、课件、资料）
├─00.课件代码
│ ├─用户画像第一章
│ │ 天善用户画像—第一章-20180902.pdf
│ │
│ ├─用户画像第七章
│ │ 第七章-作业流程调度.pdf
│ │
│ ├─用户画像第三章
│ │ 第三章-搭建开发环境.pdf
│ │
│ ├─用户画像第九章
│ │ 用户画像第九章.pdf
│ │
│ ├─用户画像第二章
│ │ 标签口径及数据调研分析.xlsx
│ │ 用户行为维度指标体系.xlsx
│ │ 第二章-用户标签指标体系.pdf
│ │
│ ├─用户画像第五章
│ │ │ 第五章-标签数据开发.pdf
│ │ │
│ │ ├─Spark-Streaming
│ │ │ ├─.idea
│ │ │ │ │ compiler.xml
│ │ │ │ │ misc.xml
│ │ │ │ │ workspace.xml
│ │ │ │ │
│ │ │ │ ├─dictionaries
│ │ │ │ └─inspectionProfiles
│ │ │ ├─src
│ │ │ │ └─main
│ │ │ │ └─scala
│ │ │ │ └─com
│ │ │ │ └─kafka
│ │ │ └─target
│ │ │ ├─classes
│ │ │ │ └─com
│ │ │ │ └─kafka
│ │ │ │ DirectKafka$.class
│ │ │ │ ReceiverKafka.class
│ │ │ │
│ │ │ ├─maven-archiver
│ │ │ │ pom.properties
│ │ │ │
│ │ │ └─maven-status
│ │ │ └─maven-compiler-plugin
│ │ │ ├─compile
│ │ │ │ └─default-compile
│ │ │ └─testCompile
│ │ │ └─default-testCompile
│ │ ├─SparkStreamingKafka
│ │ │ ├─.idea
│ │ │ │ │ scala_compiler.xml
│ │ │ │ │ uiDesigner.xml
│ │ │ │ │
│ │ │ │ ├─dictionaries
│ │ │ │ └─inspectionProfiles
│ │ │ ├─src
│ │ │ │ └─main
│ │ │ │ ├─resources
│ │ │ │ └─scala
│ │ │ │ ├─com
│ │ │ │ └─until
│ │ │ │ ConfigUtils.scala
│ │ │ │ dataschema.scala
│ │ │ │ SparkUtils.scala
│ │ │ │
│ │ │ └─target
│ │ │ ├─classes
│ │ │ │ └─main
│ │ │ │ ├─resources
│ │ │ │ └─scala
│ │ │ │ ├─com
│ │ │ │ │ readkafka$$anonfun$2.class
│ │ │ │ │ readkafka$$anonfun$3.class
│ │ │ │ │ readkafka$$anonfun$4.class
│ │ │ │ │ readkafka$$anonfun$main$1$$anonfun$apply$2$$anonfun$1.class
│ │ │ │ │ readkafka$.class
│ │ │ │ │
│ │ │ │ └─until
│ │ │ │ ConfigUtils$$anonfun$1.class
│ │ │ │ ConfigUtils$.class
│ │ │ │ dataschema.class
│ │ │ │ ParamsUtils$.class
│ │ │ │ ParamsUtils$mysql$.class
│ │ │ │ SparkUtils$$anonfun$1.class
│ │ │ │ SparkUtils$.class
│ │ │ │
│ │ │ ├─maven-archiver
│ │ │ └─maven-status
│ │ │ └─maven-compiler-plugin
│ │ │ ├─compile
│ │ │ │ └─default-compile
│ │ │ └─testCompile
│ │ │ └─default-testCompile
│ │ └─用户男女性别分类算法
│ │ ├─code
│ │ ├─input
│ │ │ rawDataMore.xlsx
│ │ │
│ │ └─output
│ │ clf.pkl
│ │
│ ├─用户画像第八章
│ │ 用户画像第八章.pdf
│ │
│ ├─用户画像第六章
│ │ 第六章-开发性能调优.pdf
│ │
│ ├─用户画像第四章
│ │ 第四章-标签数据存储.pdf
│ │
│ └─课件集合
│ │ checkdata_tagnum.py
│ │ check_hive_hbase.py
│ │ check_table_finish.py
│ │ dw.user_info_whole_df.sql
│ │ Hive表结构设计.sql
│ │ main_workflow.py
│ │ middletable_build.py
│ │ mysql-connector-java-5.1.44-bin.jar
│ │ SparkStreamingKafka-1.0-SNAPSHOT.jar
│ │ userprofile_cookieid_RFM_value.py
│ │ userprofile_userid_paidinfo.py
│ │ userprofile_userid_return_goods_rate.py
│ │ userprofile_userid_RFM_value.py
│ │ userprofile_userid_sms_blacklist.py
│ │ userprofile_workflow.py
│ │ 开发环境搭建.sh
│ │ 标签口径及数据调研分析.xlsx
│ │ 用户属性维度指标体系.xlsx
│ │ 用户标签应用实施方案说明书.docx
│ │ 用户消费维度指标体系.xlsx
│ │ 用户画像及其应用项目规划说明书.docx
│ │ 用户行为维度指标体系.xlsx
│ │ 用户风控维度指标体系.xlsx
│ │ 第一章-用户画像基础知识.pptx
│ │ 第七章-作业流程调度.pptx
│ │ 第三章-搭建开发环境.docx
│ │ 第三章-搭建开发环境.pptx
│ │ 第九章-用户画像应用.pptx
│ │ 第二章-用户标签指标体系.pptx
│ │ 第五章-标签数据开发.pptx
│ │ 第八章-用户画像产品化.pptx
│ │ 第六章-开发性能调优.pptx
│ │ 第四章-标签数据存储.pptx
│ │
│ ├─Spark-Streaming
│ │ │ pom.xml
│ │ │
│ │ ├─.idea
│ │ │ │ hydra.xml
│ │ │ │
│ │ │ ├─dictionaries
│ │ │ │ king.xml
│ │ │ │
│ │ │ └─inspectionProfiles
│ │ │ Project_Default.xml
│ │ │
│ │ ├─src
│ │ │ └─main
│ │ │ └─scala
│ │ │ └─com
│ │ │ └─kafka
│ │ │ DirectKafka.scala
│ │ │ ReceiverKafka.scala
│ │ │
│ │ └─target
│ │ │ classes.-1070557048.timestamp
│ │ │ SparkStreamingKafka-1.0-SNAPSHOT.jar
│ │ │
│ │ ├─classes
│ │ │ └─com
│ │ │ └─kafka
│ │ │ DirectKafka.class
│ │ │ ReceiverKafka$$anonfun$1.class
│ │ │ ReceiverKafka$$anonfun$2.class
│ │ │ ReceiverKafka$.class
│ │ │
│ │ ├─maven-archiver
│ │ └─maven-status
│ │ └─maven-compiler-plugin
│ │ ├─compile
│ │ │ └─default-compile
│ │ └─testCompile
│ │ └─default-testCompile
│ ├─SparkStreamingKafka
│ │ │ pom.xml
│ │ │ SparkStreamingKafka.iml
│ │ │
│ │ ├─.idea
│ │ │ │ workspace.xml
│ │ │ │
│ │ │ ├─dictionaries
│ │ │ └─inspectionProfiles
│ │ ├─src
│ │ │ └─main
│ │ │ ├─resources
│ │ │ └─scala
│ │ │ ├─com
│ │ │ │ readkafka.scala
│ │ │ │
│ │ │ └─until
│ │ │ ParamsUtils.scala
│ │ │
│ │ └─target
│ │ ├─classes
│ │ │ │ application.conf
│ │ │ │
│ │ │ └─main
│ │ │ ├─resources
│ │ │ └─scala
│ │ │ ├─com
│ │ │ │ readkafka$$anonfun$main$1$$anonfun$apply$1.class
│ │ │ │ readkafka$$anonfun$main$1$$anonfun$apply$2.class
│ │ │ │ readkafka$$anonfun$main$1.class
│ │ │ │ readkafka$$anonfun$main$2$$typecreator2$1.class
│ │ │ │ readkafka$$anonfun$main$2.class
│ │ │ │ readkafka.class
│ │ │ │
│ │ │ └─until
│ │ │ ConfigUtils.class
│ │ │ dataschema$.class
│ │ │ ParamsUtils.class
│ │ │ SparkUtils$$anonfun$readFromOffsets$1$1.class
│ │ │ SparkUtils.class
│ │ │
│ │ ├─maven-archiver
│ │ │ pom.properties
│ │ │
│ │ └─maven-status
│ │ └─maven-compiler-plugin
│ │ ├─compile
│ │ │ └─default-compile
│ │ └─testCompile
│ │ └─default-testCompile
│ └─性别分类算法
│ │ ReadMe.docx
│ │
│ ├─code
│ │ gender_model_v2.html
│ │
│ ├─input
│ └─output
├─公开课
│ 作业流程调度.mp4
│ 数据指标体系.mp4
│ 标签开发和存储.mp4
│ 用户画像应用.mp4
│ 用户画像是什么.mp4
│ 画像产品形态.mp4
│ 画像规划和数据架构.mp4
│ 课后答疑.mp4
│
└─用户画像70
1号店架构师王富平：一号店用户画像系统实践.doc
SDCC2015-机器学习在美团用户画像中的应用-付晴川-V2.pptx
SEO用户画像分析.docx
soso用户画像分析报告.docx
XX老用户画像分析报告20150425.pdf
“掘金“第一步-大数据用户画像.doc
《奔跑吧兄弟2》电视直播观看人群用户画像报告.pdf
《用户画像分析》.pdf
《用户画像分析》.ppt
《用户画像分析》.pptx
《用户画像分析》专题分享.pptx
【数据分析技术系列】之用户画像数据建模方法.pdf
下载必看.txt
中国互联网餐饮外卖市场白领用户画像分析研究报告2016.pdf
中国汽车后市场电商行业用户画像报告2016.pdf
互联网产品之用户画像.docx
互联网大数据分析之《用户画像分析》.ppt
互联网大数据分析之《用户画像分析》.pptx
产品经理必备技能之用户画像.docx
什么是用户画像？金融行业大数据用户画像实践.pdf
从0到1｜手把手教你建立用户画像.pdf
任超-大数据下的用户画像V2.pdfx.pdf
你确定你真的懂用户画像？.pdf
前腾讯资深运营经理：如何做好用户画像？.pdf
在线教育用户画像分析.docx
基于Spark的实时用户画像分析系统-汪飞-1027.pdf
基于大数据分析的用户画像助力精准营销研究.pdf
基于文本挖掘的用户画像研究.pdf
基于用户画像大数据的电商防刷架构.docx
大学毕业生用户画像.docx
大数据后的用户画像.pdf
大数据用户画像实践.pdf
大数据用户画像的方法及营销实践.pdf
如何进行用户画像.doc
客户视图与客户画像.pptx
建立用户画像的标签体系.docx
怎样进行用户画像？寻找目标用户？—刘官华.docx
手机用户画像在大数据平台的实现方案-张慷.pdf
手机用户画像在大数据平台的实现方案.pdf
时尚杂志全媒体用户画像.pdf
浅谈所谓的产品「用户画像」.pdf
浅谈用户画像.pdf
用户画像.doc
用户画像.docx
用户画像.ppt
用户画像persona.docx
用户画像–大数据时代下的用户洞察.pdf
用户画像专题分享.docx
用户画像业务讨论.ppt
用户画像举例.pdf
用户画像产品设计及规划V0.1.pdf
用户画像体系：银行版.pptx
用户画像和精准化平台系统实践案例.pdf
用户画像实战应用.pdf
用户画像很重要-那你知道是怎么画出来的吗？.pdf
用户画像摘要.ppt
用户画像数据建模方法.docx
用户画像数据建模方法.pdfx.pdf
用户画像构建.docx
用户画像标签建模.docx
用户画像的方法、实践与行业应用.docx
用户画像的构建及应用.pdf
用户画像系统的技术架构和整体实现.docx
用户研究：创建定性用户画像.ppt
用敏捷可视化分析搞定用户画像.docx
电商平台下用户画像的设计与分析.docx
移动业务客户画像.txt
移动新科技：用户画像变现不再空谈.doc
肖仰华：基于知识图谱的用户画像关键技术.pdf
谈论用户画像的价值.doc
跨境用户画像.ppt