admin

AI小编归纳总结

本文系统阐述了Apache Doris的核心架构特性：基于MPP框架的多核并行计算、多副本分布式高可用、对接Spark/Flink等大数据生态、分区分桶与多索引支撑PB级分析、兼容MySQL协议及列式存储压缩优化。课程共78节视频，划分为基础入门（1-7节）、架构（8节）、安装部署（9-20节）、数据分析实战（21-52节，含建表、导入、高级功能与优化）、函数（53-58节）及项目实战（59-78节，覆盖Flume/Canal数据采集、FineBI可视化大屏）。配套提供源码包、MySQL RPM、三节点虚拟机、测试数据及讲义文档。

学 Doris 之前，得先搞懂它的整体架构。几个核心维度先拎一下：

MPP 运行框架，能充分挖掘多核 CPU 的并行计算能力；分布式架构支持多副本，高可用这块有保障；接入了 Spark、Flink、Hive、ElasticSearch 这些大数据生态，数据接入和输出的服务很丰富；分区分桶的机制加上多种索引技术，PB 级的存储和分析都能扛；支持 MySQL 协议，上手简单易用；还有列式存储和压缩技术，查询性能能提一大截。

---

课程一共 78 节视频，大概分这几块：

基础入门（1-7 节）：
课程学习目标、Doris 简介、Doris 核心特性、发展历程、OLTP 和 OLAP 的区别、OLAP 存储引擎的分类、Doris 的应用场景和使用企业。

架构篇（第 8 节）：
Doris 的极简架构介绍。

安装部署篇（9-20 节）：
编译部分分四步走：准备工作、安装、实现、导出。
部署部分内容更细：前置介绍、FE 配置和启动、BE 配置和启动（分上中下三节课讲）、添加 broker、扩容和缩容操作（FE、BE 和 broker 分别讲）。

数据分析实战篇（21-52 节）：
这块内容最多，从基础到进阶层层递进：

• 创建用户和数据库
• 创建表：基本概念、语法和数据类型、建表类型、单分区表操作、多分区表操作
• 数据导入方式：Broker Load、Routine Load、Insert Into
• 数据删除操作、简单查询
• 高级功能：表结构变更、Rollup
• 高级设置：增大内存、修改超时时间、Broadcast 和 Shuffle Join
• 数据模型：Aggregate 模型、Duplicate 模型、总结
• Rollup、索引、Rollup 调整前缀索引
• 物化视图：介绍、创建、自动匹配、其他内容
• 动态分区：介绍、DAY 分区实现、WEEK 和 MONTH 分区实现
• 数据导出
• 优化：Colocation join 基本操作、查询演示
  

函数篇（53-58 节）：
数学函数、日期函数、地理函数、字符串函数、聚合函数、bitmap 函数，常用的函数类型基本都覆盖了。

项目实战篇（59-78 节）：
这块是重头戏，完整的项目实战走一遍：

• 项目背景介绍、需求分析、实现方案、服务器环境、数据模拟生成
• 项目数据采集：flume 介绍和安装、采集日志数据操作；canal 安装和启动、创建采集实例及测试
• 项目数据分析：导入实时数据到 Doris
• BI 介绍、FineBI 介绍、FineBI 安装和启动、FineBI 基础操作
• FineBI 操作实例：第一个图表、地理区域图表
• 项目数据可视化：FineBI 连接 Doris、准备数据集、BI 大屏制作、实时大屏定时刷新
  

---

配套资料也很全：

Doris 源码包： apache-doris-0.15.0-incubating-src.tar.gz

MySQL 的 RPM 包（3 个）：
mysql-community-client-5.7.26-1.el7.x86_64.rpm、mysql-community-common-5.7.26-1.el7.x86_64.rpm、mysql-community-libs-5.7.26-1.el7.x86_64.rpm

已搭建环境的虚拟机（3 个节点）：
node1.zip、node2.zip、node3.zip，省得自己搭环境了。

测试数据： user.csv

讲义 PPT（2 份）：
1-Apache Doris 讲义.pptx、2-Doris 综合案例实战.pptx

讲义 Word（2 份）：
1-Apache Doris 讲义.docx、2-Doris 综合案例实战.docx