AI小编归纳总结
哎呀，这个课我翻了下，挺实在的。讲的是从头条实际业务出发，手搭一套能扛亿级流量的数据采集和监控系统。46节课，从OpenResty做入口、Flume分三条线采数据，到Hadoop+Hive搭数仓、Azkaban调度跑批，再到Prometheus+Grafana出监控大盘、钉钉机器人秒级告警，全套链路都走通了。笔记、代码、软件清单都给齐了，不是那种光讲理论的。唯一要吐槽就是目录排得密密麻麻，看着有点累，但内容确实是落地干活用的。
资源简介 头条亿万级流量采集与监控项目架构实战 46 节课，从零搭建一个亿级流量的数据采集与监控平台。带笔记、代码、软件清单。 采集层： OpenResty 做数据入口，Nginx 主配和子配手写。行为数据、资讯数据、业务数据三条线分开采集，Flume 拦截器定制，SQOOP 拉业务数据。 存储与计算层： Hadoop + Hive 做数仓。行为数据表和加速表分开建，JsonSerde 加载。Azkaban 做作业流调度和定时跑批。 监控与告警层： Prometheus 拉 Nginx 和 Flume 指标，Grafana 出面板。DingTalk Webhook 机器人接 Azkaban Alert 插件，采集链路断了钉钉秒报警。Supervisor 管 Flume Agent 进程。
实战路线： 第 1 天讲项目背景和架构 → 逐步装 OpenResty、Hadoop、Flume、Hive、Azkaban → 配 DingTalk 告警 → Prometheus + Grafana 出监控大盘 → 最终效果展示。 ├── 01. 项目背景.mp4 ├── 02. 项目需求.mp4 ├── 03. 监控项目架构.mp4 ├── 04. 数据格式解析.mp4 ├── 05. OpenResty 安装.mp4 ├── 06. 创建 OpenResty 应用.mp4 ├── 07. 编写应用主配置文件 nginx.conf.mp4 ├── 08. 编写应用子配置文件 collect-app.conf.mp4 ├── 09. 测试并启动应用.mp4 ├── 10. 配置接口到数据管理中心.mp4 ├── 11. 日志切分.mp4 ├── 12. Hadoop 安装.mp4 ├── 13. Flume 安装.mp4 ├── 14. 编写 Flume 配置文件.mp4 ├── 15. 编写 Flume 拦截器.mp4 ├── 16. 部署 Flume 拦截器.mp4 ├── 17. 资讯数据采集 Flume 配置.mp4 ├── 18. 资讯数据采集 Flume Agent 对接数据管理中心.mp4 ├── 19. 业务数据采集 SQOOP 脚本.mp4 ├── 20. Hive 安装配置.mp4 ├── 21. Beeline 加载 JsonSerde.mp4 ├── 22. 创建行为数据表.mp4 ├── 23. 创建行为数据加速表.mp4 ├── 24. 创建新闻资讯表.mp4 ├── 25. 创建业务数据表.mp4 ├── 26. 编译安装 Azkaban Solo Server.mp4 ├── 27. Azkaban 作业流开发.mp4 ├── 28. Azkaban 作业流定时调度.mp4 ├── 29. DingTalk 添加 Webhook 机器人.mp4 ├── 30. DingTalk SDK 测试.mp4 ├── 31. Azkaban Alert 接口开发.mp4 ├── 32. Azkaban Alert 插件部署.mp4 ├── 33. Azkaban Alert 插件运行测试.mp4 ├── 34. Prometheus 安装.mp4 ├── 35. Prometheus 数据模型介绍.mp4 ├── 36. 架构简介.mp4 ├── 37. Supervisor 与 Prometheus 集成.mp4 ├── 38. Supervisor 与 Grafana 集成.mp4 ├── 39. Grafana 集成 Prometheus 数据源.mp4 ├── 40. 加载 nginx-lua-prometheus 扩展模块.mp4 ├── 41. Nginx 指标收集.mp4 ├── 42. Nginx Metric 接口配置到 Prometheus.mp4 ├── 43. 监控指标最终效果展示.mp4 ├── 44. Supervisor 管理 Flume Agent.mp4 ├── 45. Flume Exporter 接口配置到 Prometheus.mp4 ├── 46. 在 Grafana 上配置 Flume Metric 监控.mp4 ├── 笔记/ │ ├── 头条实时数据采集与监控项目实施笔记.md │ └── image-8120609492.png ├── 代码/ │ └── code.zip ├── 资料/ │ └── 头条实时数据采集与监控.xmind.zip └── 软件/ └── soft.list
| 
