大数据开发课程

1.课程简介

本课程详细讲解了大数据生态体系的各个模块的功能和开发技术。包括Hadoop体系中的HDFS，Hbase、ZooKeeper进行数据操作，MapReduce进行数据开发，YARN进行资源配置，Hive完成数据仓库，Pig进行数据分析，理解其基本原理， Storm实时流式处理，Spark大数据处理框架等。并通过实验掌握其操作和编程开发。

2.教学目标

掌握大数据主流技术体系各个模块的功能和基本原理，掌握各个技术模块的安装，基本操作与开发，能够根据需求，完成对应模块上的应用开发，理解大数据解决方案中的技术框架，能够基于已有的框架完成一般项目的大数据应用开发。

3.适合人群

Java高级开发人员，数据分析、数据统计相关在职人群，想从事大数据开发工作的在职人士 有职业技能、岗位晋升需求的在职人员 对大数据开发感兴趣的业界人士。

4.课程内容

章节1：Linux基础

章节2：Java负基础扫盲课程

章节3：JAVA语言基础入门

章节4：JAVA核心编程

章节5：JavaWeb开发技术

章节6：传统核心框架之SSH

章节7：MySQL基础

章节8：Storm实时流式处理

章节9：Hadoop介绍

章节10：数据仓库HIVE

章节11：分布式数据库Hbase

章节12：计算模型MapReduce

章节13：分布式协作系统ZooKeeper

章节14：分布式文件系统HDFS体系结构

章节15：Spark项目入门与提高

章节16：Spark项目编译

章节17：Spark平台下的机器学习

章节18：Scala编程语言

章节19：ElasticSearch搜索引擎

章节20：Flink精讲

章节21：机器学习

章节22：超大集群调优

5.项目实战

项目一：通过PAI基于机器学习的精细化营销方法、案例和算法。

项目二：互联网电商数据爬虫项目，分析抓取、解析、存储和监控。

项目三：Web应用云高频实时处理项目，包含Web服务、Web日志及其他实时数据。

项目四：某大型网站日志分析项目，使用hadoop、mapreduce、hive清理进行分析。

项目五：移动业务感知项目，使用MR对多类数据分析，使用hive完成用户维度关联汇总。

项目六：用户画像分析系统项目，通过sqoop导入hdfs或spark的jdbc连接传统数据库。

项目七：非法网站监测系统项目，对日志数据进行实时采集、转换与分发。

项目八：搭建个性化推荐系统。了解算法原理及引擎RecEng操作，搭建电商推荐系统上线。