大数据,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
阶级 | 学习内容 | 学习目标 |
第一阶段 大数据基础课 |
Redis存储、HBase存储、ELK |
1、掌握Redis原理及架构 2、掌握Redis命令操作、数据结构 3、掌握Hbase原理及架构 4、掌握HBase命令操作、MapReduce编程 5、掌握Phoneix二级索引优化查询 6、掌握ELK开发 |
第二阶段 Java语言编程 |
编程基础、面向对象、常用类、集合操作、I0操作、Java基础增强、爬虫案例 |
1、掌握Java程序基础数据类型 2、掌握开发中常用类如集合、I0流、常用类等操作 3、掌握Java异常处理机制 4、掌握反射、网络编程、多线程开发 5、掌握Jsoup的网络爬虫开发 6、掌握JDBC数据库连接操作 7、掌握ETL数据处理和BI报表开发 |
第三阶段
Hadoop技术栈
|
Linux操作系统高级、大数据基础和硬件介绍、Zookeeper、HDFS、MapReduce、Yarn、Hive |
1、掌握Shell命令 2、掌握zookeeper原理并应用 3、掌握HDFS的使用和MapReduce编程 4、理解MapReduce原理和调优 5、掌握Yarn的原理和调优 6、掌握Hive的使用和调优 |
第四阶段
后端数据微服务接口开发
|
Spring、Spring Boot、Spring Cloud、Spring Cloud案例 |
1、掌握SpringBoot整合SpringMVC开发 2、掌握SpringBoot整合MyBatis开发 3、掌握Eureka搭建 4、掌握Feign的使用 |
第五阶段
NoSQL存储
|
Redis存储、HBase存储、ELK |
1、掌握Redis原理及架构 2、掌握Redis命令操作、数据结构 3、掌握Hbase原理及架构 4、掌握HBase命令操作、MapReduce编程 5、掌握Phoneix二级索引优化查询 6、掌握ELK开发 |
第六阶段 Flink技术栈 |
Kafka、Flink流式计算、Flink批处理、Flink Core、Flink SQL、Flink综合案例 |
1、掌握Kafka原理及架构 2、掌握KafkaStreams开发 3、掌握基于Flink进行实时和离线数据处理、分析 4、掌握基于Flink的多流并行处理技术 5、掌握千万级高速实时采集技术 |
第七阶段 Spark技术栈 |
Scala语言、Spark core、Spark sql、SparkStreaming、Structure streaming |
1、掌握Scala语言基础、数据结构 2、掌握Scala语言高阶语法特性 3、掌握Spark的RDD、DAG、CheckPoint等设计思想 4、掌握SparkSQL结构化数据处理,Spark 0n Hive整合 5、掌握SparkStreaming整合Kafka完成实时数据处理 6、掌握SparkStreaming偏移量管理及Checkpoint 7、掌握Structured Streaming整合多数据源完成实时数据处理 |
实力派名师授课
个性化定制学习计划
毕业就业推荐
随问随答,学习不留空白