大数据架构之道与项目实战

作者常耀斌 郑智民 周贤波
　　定价75元
印次1-1
ISBN9787302515869
出版日期2018.12.01
印刷日期2018.12.10

本书从总体技术要求出发，深入分析了全栈技术的各自优势和套用场景，传授了三十多种主流技术的架构设计、技术原理和集成方法。第 1章介绍企业级大数据平台服务的总体设计，突出研究经典设计模式之美、吸纳分散式技术的精髓、深耕微架构的演变内涵。第 2章～第 9章是项目实战环节，介绍高并发採集、灵活转发、高可扩展海量存储、高并发海量存储、高可靠海量存储、实时计算、智慧型分析和自定义迁移等微服务，手把手传授架构设计和核心代码，让读者掌握商用微服务产品开发全流程。

目录

第 1章 企业级大数据平台服务的总体设计

1.1平台架构设计的总体技术要求

1.2微服务引擎的可扩展性设计

1.3微服务引擎的优秀解决方案

1.3.1 高并发採集微服务

1.3.2 灵活转发微服务

1.3.3 高可扩展海量存储服务

1.3.4 高并发海量存储服务

1.3.5 高可靠海量存储服务

1.3.6 实时计算服务

1.3.7 基于机器学习的智慧型分析服务

1.3.8 自定义迁移服务

1.4设计小结· 17

第 2章 大数据高并发採集微服务引擎

2.1核心需求分析和优秀解决方案

2.2服务引擎的技术架构设计

2.2.1 Maven与 Eclipse集成配置

2.2.2 Mina2.0框架以及业务设计

2.2.3 设备协定规範制定及数据包设计

2.2.4 按照设备和数据类型进行业务树构建

2.2.5 按照设备的数据包状态进行解析

2.2.6 按照通用方式进行高并发入库

2.3核心技术讲解及模组化设计

2.3.1 Spring Maven Web服务构建

2.3.2 Spring Boot微服务构建

2.3.3 数据包定义和实现

2.3.4 业务树构建和实现

2.3.5 数据包状态进行解析实现

2.3.6 按照通用方式进行高并发入库实现

2.3.7 客户端模拟器工具类进行高并发测试

2.4项目小结·

第 3章 大数据灵活转发微服务引擎

3.1核心需求分析和优秀解决方案

3.2服务引擎的技术架构设计

3.3核心技术讲解及模组化实现

3.3.1SpringMVCWeb服务构建

3.3.2SpringBoot微服务构建

3.3.3灵活配置和通用工具类构建

3.3.4创建传送数据主题，注册观察者对象

3.3.5启动多执行绪进行数据传送

3.3.6採用Post策略模式进行数据传送

3.3.7採用ActiveMQ策略模式进行数据传送

3.4项目小结·173

4.1核心需求分析和优秀解决方案

4.2服务引擎的技术架构设计

4.3核心技术讲解及模组化实现

4.3.1SpringMVC的工作原理及执行流程

4.3.2SpringMVCWeb服务构建

4.3.3SpringBootWeb微服务构建

4.3.4统一对外数据接收接口及通用类

4.3.5MySQL对智慧型终端运动数据的分状态和分策略处理

4.3.6MySQL对智慧型终端运动数据的分职责处理

4.3.7MySQL对智慧型终端运动数据的统一入库处理

4.4项目小结

第5章大数据高并发海量存储微服务引擎

5.1核心需求分析和优秀解决方案

5.2服务引擎的技术架构设计

5.3核心技术讲解及模组化实现

5.3.1SpringMVC和SpringBoot集成MongoDB

5.3.2MongoTemplate核心类实现Dao层接口

5.3.3基于MongoDB处理智慧型终端运动数据

5.3.4基于MongoDB管道技术处理体检数据

5.3.5基于AngularJS架构可视化体检数据

5.4项目小结·

第6章大数据高可靠海量存储微服务引擎

6.1核心需求分析和优秀解决方案

6.2服务引擎的技术架构设计

6.3核心技术讲解及模组化实现

6.3.1Hadoop完全分散式集群构建

6.3.2SpringMVC和SpringBoot集成Hbase

6.3.3HbaseTemplate核心类实现Dao层接口

6.3.4Hbase集群的智慧型终端运动数据Controller接口

6.3.5Hbase集群的智慧型终端运动数据Service接口

6.3.6Hbase集群的智慧型终端运动数据Dao接口

6.4项目小结

第7章大数据实时计算微服务引擎

7.1核心需求分析和优秀解决方案

7.2服务引擎的技术架构设计

7.3核心技术讲解及模组化实现

7.3.1分散式採集服务Flume部署及数据採集

7.3.2分散式讯息服务Kafka部署及数据传送

7.3.3创建HBase资料库和Spark环境

7.3.4分散式实时处理引擎SparkStreaming原理及数据处理

7.3.5构建BD_RTPServer_DP工程实现数据处理

7.3.6构建BD_RTPServer_Boot服务实现可视化

7.4项目小结

第8章大数据智慧型分析微服务引擎

8.1核心需求分析和优秀解决方案

8.2服务引擎的技术架构设计

8.3核心机器学习算法讲解和套用

8.3.1逻辑回归的原理分析

8.3.2支持向量机原理分析

8.3.3决策树原理分析

8.3.4聚类算法原理分析

8.3.5关联规则算法原理分析

8.3.6协同过滤原理分析

8.4Spark架构原理与数据预测

8.4.1YARN运行架构工作原理

8.4.2SparkMlib核心技术

8.4.3SpringMaven工程构建

8.4.4决策树预测体检费用

8.4.5逻辑回归预测体检费用

8.4.6随机森林预测体检费用

8.4.7支持向量机预测疾病机率

8.4.8协同过滤推荐药品

8.5项目小结

第9章大数据自定义迁移微服务引擎

9.1核心需求分析和优秀解决方案

9.2服务引擎的技术架构设计

9.3核心技术讲解及模组化实现

9.3.1Hadoop生态的核心组件

9.3.2HBase工作原理

9.3.3Sqoop工作原理

9.3.4MapReduce工作原理

9.3.5Sqoop抽取历史数据到HDFS

9.3.6构建工程BD_CustomTransfer_Maven

9.3.7智慧型终端运动数据从MySQL数据迁移到Hive

9.4项目小结