【马士兵】大数据全栈工程师一班

【马士兵】大数据全栈工程师课程介绍

大数据+人工智能量化投资课程是一门适合小白入门的课程，通过量化投资项目作为驱动，让你精通各大互联网公司常用的技术，例如：Hadoop、HBase、Spark、Flink等技术，同时量化投资项目运用了机器学习和深度学习的各种算法，通过通俗简单的生活事例讲明白让大家望而却步的算法,全程绝不demo式的敷衍了事

学员评价：

刚哥讲大数据，能把每个知识点，揉碎了给大家讲的深入浅出， 能把复杂的问题，通过小例子给大家一个一个讲明白， 让每个同学都能听的清清楚楚、明明白白，清爽的感觉， 每个算法学完都配有代码和案例，并且加以详细讲解，能学以致用。 刚哥一口气讲了2个场景的推荐系统项目， 能覆盖大多数推荐场景，保证小伙伴能就业， 推荐系统从架构设计、数据采集、数据存储、数据预处理、特征工程、模型设计、实时和离线处理、微服务的调用，全链路闭环讲解， 每个部分都分析的很到位并配有文档和代码，每一步都带着大家做，从0到1搭建一个完整的推荐系统， 每个知识点穿针引线，并在项目中扩展思维和知识点，保证大家收获满满。 刚哥人也很好，我们邻家大哥哥， 上课有问题，小伙伴都及时和刚哥沟通， 都能很好的被解决，小白没听懂，刚哥还能反复讲，好nice的， 讲完一个阶段，刚哥还带领小伙伴们一起复习， 经常督促我们课后多复习、多总结， 在学习的路上，能遇到刚哥我们是幸运的。

刚刚入门大数据，课程讲得很细，很抽象的理论各位老师也能讲得通俗易懂，真的非常厉害。强烈推荐来学大数据

负责授课的老师的讲课风格属于先理论，然后带着理论去实操一一验证这些知识点，因为个人算是大数据方面的小白，每堂课的2小时的知识量个人感觉算是比较密集，需要反复看过几次才能够消化掉。。我时常开着1.5倍速度，要退回来用1倍速重新认真听下这部分知识。 密集的原因就导致只要有一刻精神放松，下一秒就发现不知道在讲啥了。。 不过老师总结的比较一针见血，很nice。 对于一年工作经验的我，从目前架构，大数据两门都跟的前提下来说，这个带给我的收获更多一些。

课程目录

├── 001.hadoop-大数据启蒙-初识HDFS.mp4
├── 002.hadoop-HDFS理论基础读写流程.mp4
├── 003.hadoop-HDFS集群搭建-伪分布式模式 1.mp4
├── 003.hadoop-HDFS集群搭建-伪分布式模式 2.mp4
├── 004.hadoop-HDFS集群搭建-HA模式概念 1.mp4
├── 004.hadoop-HDFS集群搭建-HA模式概念 2.mp4
├── 005.hadoop-HDFS集群搭建-HA模式验证.mp4
├── 006.hadoop-HDFS权限、企业级搭建、idea+maven开发HDFS 1.mp4
├── 006.hadoop-HDFS权限、企业级搭建、idea+maven开发HDFS 2.mp4
├── 007.hadoop-MapReduce原理精讲、轻松入门.mp4
├── 008.hadoop-Mapkeducen度原理，Varn原埋 1.mp4
├── 008.hadoop-Mapkeducen度原理，Varn原埋 2.mp4
├── 009.hadoop-MapReduce-Yar集群搭建、idea开发MR的wC程序 1.mp4
├── 009.hadoop-MapReduce-Yar集群搭建、idea开发MR的wC程序 2.mp4
├── 010.hadoop-MapReduce作业提交方式、源码-客户端提交源码 1.mp4
├── 010.hadoop-MapReduce作业提交方式、源码-客户端提交源码 2.mp4
├── 011.hadoop-MapReduce源码-MapTask-input源码精讲.mp4
├── 012.adoop-MapReduce源码-MapTask-output和ReduceTask精讲 1.mp4
├── 012.adoop-MapReduce源码-MapTask-output和ReduceTask精讲 2.mp4
├── 013.hadoop-MapReduce开发-分组取TopN-AP精炼 1.mp4
├── 013.hadoop-MapReduce开发-分组取TopN-AP精炼 2.mp4
├── 014.hadoop-MapReduce开发推荐系统大数据思维模式.mp4
├── 015 Hive的架构介绍及远程数据库模式安装 1.mp4
├── 015 Hive的架构介绍及远程数据库模式安装 2.mp4
├── 016 Hive的远程元数据服务模式安装及Hive SOL 1.mp4
├── 016 Hive的远程元数据服务模式安装及Hive SOL 2.mp4
├── 017.Hive erde，HiveServer2，Hive函数 1.mp4
├── 017.Hive erde，HiveServer2，Hive函数 2.mp4
├── 018.Hive参数设置、运行方式、动态分区、分桶 1.mp4
├── 018.Hive参数设置、运行方式、动态分区、分桶 2.mp4
├── 019.Hive视图、索引、权限管理 1.mp4
├── 019.Hive视图、索引、权限管理 2.mp4
├── 020.Hivet化、文件类型、HiveServer2高可用 1.mp4
├── 020.Hivet化、文件类型、HiveServer2高可用 2.mp4
├── 021.HBase架构介绍、数据模型 1.mp4
├── 021.HBase架构介绍、数据模型 2.mp4
├── 022.HBase伪分布式及完全分布式安装、HBase基本命令 1.mp4
├── 022.HBase伪分布式及完全分布式安装、HBase基本命令 2.mp4
├── 023.HBase Java API、Protocol Buffer简单介绍 1.mp4
├── 023.HBase Java API、Protocol Buffer简单介绍 2.mp4
├── 024.HBase与MapReduce整合、Hbase表设计 1.mp4
├── 024.HBase与MapReduce整合、Hbase表设计 2.mp4
├── 025.Hbase优化及LSM树 1.mp4
├── 025.Hbase优化及LSM树 2.mp4
├── 026.Hadoop项目-需求介绍及数据源产生流程需求介绍及数据流图 1.mp4
├── 026.Hadoop项目-需求介绍及数据源产生流程需求介绍及数据流图 2.mp4
├── 027.Hadoop项目-java端和js端数据产生代码讲解及flume简单介绍 1.mp4
├── 027.Hadoop项目-java端和js端数据产生代码讲解及flume简单介绍 2.mp4
├── 028.Hadoop项目-Flume讲解及数据清洗模块准备工作 1.mp4
├── 028.Hadoop项目-Flume讲解及数据清洗模块准备工作 2.mp4
├── 029.Hadoop项目-数据清洗代码分析、hive与hbase整合、指标分析思路 1.mp4
├── 029.Hadoop项目-数据清洗代码分析、hive与hbase整合、指标分析思路 2.mp4
├── 030.Hadoop项目-手敲用户新增指标模块代码 1.mp4
├── 030.Hadoop项目-手敲用户新增指标模块代码 2.mp4
├── 031.Hadoop项目-MR输出数据到mysql的输出格式化类、sqo0p的简单介绍 1.mp4
├── 031.Hadoop项目-MR输出数据到mysql的输出格式化类、sqo0p的简单介绍 2.mp4
├── 032.Hadoop项目-Hive SQL分析用户浏览深度代码讲解及脚本编写 1.mp4
├── 032.Hadoop项目-Hive SQL分析用户浏览深度代码讲解及脚本编写 2.mp4
├── 033.redis介绍及NIO原理介绍 1.mp4
├── 033.redis介绍及NIO原理介绍 2.mp4
├── 034.redis的string类型&amp；bitmap 1.mp4
├── 034.redis的string类型&amp；bitmap 2.mp4
├── 035.redis的list，set，hash，sorted set、skiplist 2.mp4
├── 035.redis的list，set，hash，sorted set、skiplist 1.mp4
├── 036.redis消息订阅、pipeline、事务、modules、布隆过滤器、缓存LRU 1.mp4
├── 036.redis消息订阅、pipeline、事务、modules、布隆过滤器、缓存LRU 2.mp4
├── 037.redis的持久化RDB、fork、copyonwrite、AOF、RDB&amp；AOF混合使用 1.mp4
├── 037.redis的持久化RDB、fork、copyonwrite、AOF、RDB&amp；AOF混合使用 2.mp4
├── 038.redis的集群：主从复制、CAP、PAXOS、cluster分片集群01.mp4
├── 039.redis的集群：主从复制、CAP、PAXOS、cluster分片集群02.mp4
├── 040.redis开发：spring.data.redis、连接、序列化、high-low api.mp4
├── 041.zookeeper介绍、安装、shellcli使用，基本概念验证.mp4
├── 042.zookeeper原理知识，paxos、zab、角色功能、API开发基础.mp4
├── 043.zookeeper案例：分布式配置注册发现、分布式锁、ractive模式编程.mp4
├── 044.scala语言、函数式编程、数据集处理、iterator设计模式实现.mp4
├── 045.scala语言、流程控制、高级函数.mp4
├── 046.scala语言、集合容器、iterator设计模式源码分析.mp4
├── 047.scala语言、match，case class、implicitt、spark wordcount.mp4
├── 048.spark-core、复习hadoop生态、梳理术语、hadoopRDD源码分析.mp4
├── 049.spark-core、wordcount案例源码分析、图解.mp4
├── 050.spark-core、集合操作API、pvuv分析、RDD源码分析.mp4
├── 051.spark-core、聚合计算API、combineByKey、分区调优.mp4
├── 052.spark-core、二次排序、分组取TOpN、算子综合应用.mp4
├── 053.spark-core、集群框架图解、角色功能介绍、官网学习、搭建.mp4
├── 054.spark-core、history服务、standaloneHA、资源调度参数.mp4
├── 055.spark-core、基于yarn的集群搭建、配置、资源调度参数、优化jars.mp4
├── 056.spark-core-源码、RpcEnv、standaloneMaster启动分析.mp4
├── 057.spark-core-源码、Worker启动、sparksubmit提交、Driver启动.mp4
├── 058.spark-core-源码、Application注册、Executor资源申请.mp4
├── 059.spark-core-源码、sparkContext、DAGScheduler、stage划分.mp4
├── 060.spark-core-源码、Taskscheduler、Executor运行Task、SparkEnv.mp4
├── 061.spark-core-源码、MemoryManager、BlockManager.mp4
├── 062.spark-core-源码、Dependency、SortShuffleManager.mp4
├── 063.spark-core-源码、SortShuffleWriter、内存缓冲区buffer.mp4
├── 064.spark-core-源码、SortShuffleWriter、内存缓冲区buffer.mp4
├── 065.spark-core-源码、UnsafeShufleWriter、Tungsten、Unsafe、堆外.mp4
├── 066.spark-core-源码、ShuffleReader、Tracker、Scheduler完整调度.mp4
├── 067.spark-core-源码、RDD持久化、检查点、广播变量、累加器.mp4
├── 068.spark-core-源码、RDD持久化、检查点、广播变量、累加器.mp4
├── 069.spark-sql、大数据中的SQL组成原理.mp4
├── 070.spark-sql、datafram到dataset开发.mp4
├── 071.spark-sql、整合hive的metastore搭建企业级数合1.mp4
├── 072.spark-sql、整合hive的metastore搭建企业级数仓2.mp4
├── 073.spark-sql、复杂sql、函数、自定义函数、开窗over函数、OLAP.mp4
├── 074.spark-sql-源码、sql解析、dataset到rdd的执行计划.mp4
├── 075.spark-sql-源码、antlr4的sql解析、AST语法树的逻辑到物理转换.mp4
├── 076.spark-sql-源码、逻辑计划、优化器、物理计划、转换RDD.mp4
├── 077.spark-streaming、流式计算之微批计算原理及standalone.mp4
├── 078.spark-streaming、api、ha、检查点、窗口等机制.mp4
├── 079.spark-streaming、整合MQ-kafka开发.mp4
├── 080.spark-streaming、源码分析、流式微批任务的调度原理.mp4
├── 081.spark-streaming.mp4
├── 082.机器学习介绍、原理及应用场景.mp4
├── 083.线性回归算法的原理及参数优化方案.mp4
├── 084.基于Spark MLlib训练回归算法模型.mp4
├── 085.逻辑回归算法的原理及算法公式推导.mp4
├── 086.KNN识别手写数字与KMeans聚类算法原理.mp4
├── 087.KNN手写数字识别及KMeans算法原理.mp4
├── 088.手写KMeans聚类算法及实现精准微博营销案例.mp4
├── 089.分析KMeans精准营销案例代码及KMeans在推荐系统的应用.mp4
├── 090.逻辑回归算法原理及公式推导.mp4
├── 091.逻辑回归算法原理及公式推导.mp4
├── 092.逻辑回归算法及实现百度路况预测功能.mp4
├── 093.百度地图实时路况及路况预测.mp4
├── 094.决策树算法的原理.mp4
├── 095.随机森林算法与算法总结.mp4
├── 096.推荐系统的来龙去脉与推荐架构.mp4
├── 097.推荐系统架构设计及构建推荐系统训练集.mp4
├── 098.推荐系统代码实现及测试.mp4
├── 099.实现推荐系统在线推荐微服务.mp4
├── 100.基于节目的推荐系统，架构剖析，数据迁移.mp4
├── 101.提取节目的关键词，构建节目画像.mp4
├── 102.基于TextRank算法+TF-IDF算法提取关键词.mp4
├── 103.构建节目画像与用户画像.mp4
├── 104.构建用户画像及性能调优.mp4
├── 105.基于节目画像计算节目的相似度.mp4
├── 106.Spark调优总结及word2vec算法原理.mp4
├── 107.基于物品画像计算相似度.mp4
├── 108.实现基于模型的召回策略.mp4
├── 109.构建特征中心及模型召回实现.mp4
├── 111.训练排序模型及搭建推荐系统微服务.mp4
├── 112.推荐系统项目一大总结.mp4
├── 113.Flink初始及搭建集群环境.mp4
├── 114.Flink基于Yarn多种启动方式.mp4
├── 115.Flink运行架构及并行度设置.mp4
├── 116.Flink各种算子精讲1.mp4
├── 117.Flink各种算子精讲2.mp4
├── 118.Flink各种算子精讲3 1.mp4
├── 118.Flink各种算子精讲3 2.mp4
├── 119.基本函数类及富函数的使用.mp4
├── 123.Flink Checkpoint及SavePoint精讲.mp4
├── 124.Flink Window窗口剖析1.mp4
├── 125.上机实战演练：ES查询语法.mp4
├── 126.Flink Window剖析2.mp4
├── 127.Mapping和聚合查询.mp4
├── 128.Flink时间语义+Watermark.mp4
├── 129.Flink Window剖析3.mp4
├── 130.ES查询之底层原理揭秘.mp4
├── 131 ES查询之Scripting查询/
├── 132 Flink Table API 编程/
├── 133 ES查询之分词器详解/
├── 134 Flink SQL编程/
├── 135 Flink 复杂事件处理CEP/
├── 136 ES查询之前缀搜索、通配符搜索、正则搜索、模糊查询串讲/
├── 137 CEP编程和Flink优化/
├── 138 交通实时监控项目1/
├── 139 ES Java API/
├── 140 交通实时监控项目2/
├── 141 ES/
├── 142 本节无内容，后续讲解/
├── 143 交通实时监控项目3/
├── 144 交通实时监控项目4/
├── 145 ELK Stack-ES集群/
├── 146 ELK Stack-ES集群/
├── 147 交通实时监控项目5/
├── 148 ELK-Beats&Logstash介绍/
├── 149 ELK-Lostash架构实战/
├── 150 交通实时监控项目6/
├── 151 ELK-收集Nginx日志，syslog，kibana讲解/
├── 152 交通实时监控项目7/
├── 153 ELK-使用Packetbeat监控es集群/
├── 154 ES进阶-relevance score原理及排序算法优化/
├── 155 ES进阶-Nested、Join及Term vector详解/
├── 156 ES进阶-Highlight及Suggest搜索推荐详解/
├── 157 ES进阶-深入探秘基于地理位置搜索/
├── 158 ES进阶-案例分析：基于地理位置搜索的疫情地图/
├── 159 ES进阶-深入聚合分析-多metric以及histogram剖析/
├── 160 ES进阶-深入聚合搜索-完结/
├── 161 ES进阶-运维篇之集群管理/
├── 162 ES进阶-运维篇之集群管理2以及hdfs安装/
├── 163 ES进阶-基于snapshot hdfs restore数据备份还原/
├── 164 ES进阶-索引管理-1/
├── 165 ES进阶-索引管理-2/
├── 166 ES进阶-集群安全/
├── 167 项目实战-搜索引擎框架原理/
├── 168 项目实战-搜索推荐项目案例/
├── 169 数据仓库之数据库范式与ER实体关系模型建模/
├── 170 数据仓库之维度建模与数据仓库分析模型/
├── 171 数据仓库之数据仓库分层设计与命名规范/
├── 172 音乐数仓平台之项目架构及数仓分层、主题设计/
├── 173 数仓之歌曲影响力指数分析/
├── 174 数仓之歌手影响力指数分析/
├── 175 数仓之Sqoop全量增量数据导入/
├── 176 数仓之Azkaban任务流调度使用及原理/
├── 177 数仓之Superset BI可视化工具使用及原理/
├── 178 数仓之机器详情ODSEDSDM分层设计/
├── 179 数仓之机器详情自动化调度及数据可视化/
├── 180 数仓之用户画像表模型设计/
├── 181 数仓之用户画像自动化调度及数据可视化/
├── 182 数仓之高德api获取机器上报位置/
├── 183 数仓之商户、地区营收统计分析/
├── 184 数仓之营收分析自动化调度及数据可视化/
├── 185 数仓之实时用户、机器日志采集接口实现/
├── 186 数仓之Flume实时日志采集实现/
├── 187 数仓之实时用户地区日活分析/
├── 188 Cloudera Manager CDH 平台 01/
├── 189 Cloudera Manager CDH 平台 02/
├── 190 Cloudera Manager CDH 平台 03/
├── 191 Apache Kylin分析性数据仓库 01/
├── 192 Apache Kylin分析性数据仓库 02/
├── 193 Apache Kylin分析性数据仓库 03/
├── 194 ClickHouse 使用场景、特性与分布式搭建/
├── 195 ClickHouse 数据类型详解/
├── 196 ClickHouse 数据库引擎分类及操作/
├── 197 ClickHouse 表引擎分类及MergeTree引擎详解/
├── 198 ClickHouse 视图与SQL语法操作/
├── 199 Kudu分布式存储引擎架构原理及搭建/
├── 200 Kudu API操作及与其他框架整合/
├── 201 Kudu 与Impala整合/
├── 202 Spark操作Kudu & Flink操作Kudu/
├── 203 NiFi数据处理分发系统-特性、架构原理与集群搭建/
├── 204 NiFi数据处理分发系统-Processors介绍及页面操作/
├── 205 NiFi数据处理分发系统-实时同步日志、MySQL数据到Hive/
├── 206 NiFi数据处理分发系统-实时监控日志数据写入Kafka及消费Kafka/
├── 207 NiFi 案例分析/
├── 208 NiFi 案例分析2/
├── 209 数据治理-数据质量管理/
├── 210 数据治理-元数据管理/
├── 211 数据治理-数据安全管理/
├── 212 ETL工具Kettle-安装及基本操作/
├── 213 ETL工具Kettle-转换核心作业对象/
├── 214 ETL工具Kettle-案例分析/
├── 215 ETL工具Kettle-案例分析02/
├── 216 ETL工具Kettle-案例分析03/
├── 217 数据离线同步工具DataX/
├── 218 数据同步工具Canal&Maxwell/
├── 219 Phoenix-搭建及基本操作/
├── 220 Phoenix-二级索引及JDBC连接/
├── 221 实时数仓项目-实时数仓架构演变及建设思路/
├── 222 实时数仓项目-各大公司实时数仓实践分享及项目介绍/
├── 223 实时数仓项目-实时数仓项目业务数据及日志数据处理/
├── 224 实时数仓项目-实时数仓业务库数据Flink编程处理/
├── 225 实时数仓项目-实时数仓维度数据Flink编程处理/
├── 226 实时数仓项目-实时数仓实时统计歌曲和歌手热度/
├── 227 实时数仓项目-Flink代码DM层处理及可视化展示/
├── 228 实时数仓项目-guava包冲突解决及用户上报位置实时统计/
├── 229 实时数仓项目-用户实时登录信息可视化及营收信息业务分析/
├── 230 实时数仓项目-营收业务Flink代码实现及可视化展示/
├── 231 实时数仓项目-实时数仓项目总结/
├── 232 Hudi表类型与查询类型/
├── 233 Hudi与Spark、Hive、Flink集成/
├── 234 Apache Druid实时分析型数据库/
├── 235 项目轮播-数据仓库之数据库范式与ER实体关系模型建模/
├── 236 项目轮播-数据仓库之维度建模与数据仓库分析模型/
├── 237 项目轮播-数据仓库之数据仓库分层设计与命名规范/
├── 238 项目轮播-音乐数仓平台之项目架构及数仓分层、主题设计/
├── 239 项目轮播-数仓平台业务之歌曲影响力指数分析/
├── 240 项目轮播-数仓业务之歌手影响力指数分析/
├── 241 项目轮播-Azkaban任务流调度使用及原理/
├── 242 项目轮播-Superset BI可视化工具使用及原理/
├── 243 项目轮播-数仓平台业务之机器详情ODSEDSDM分层设计/
├── 244 项目轮播-数仓平台业务之机器详情自动化调度及数据可视化/
├── 245 项目轮播-数仓平台业务之用户画像表模型设计/
├── 246 项目轮播-数仓平台业务之用户画像自动化调度及数据可视化/
├── 247 项目轮播-数仓平台业务之高德api获取机器上报位置/
├── 248 项目轮播-数仓平台业务之商户、地区营收统计分析/
├── 249 项目轮播-数仓平台业务之营收分析自动化调度及数据可视化/
├── 250 项目轮播-数仓平台业务之实时用户、机器日志采集接口实现/