慕课-龙裕科技

大数据平台核心技术

课程类型：选修课

主讲教师：武永卫

建议学分：3.00分

课程编码：xtzx0442

课程介绍

课程目录

教师团队

第一讲大数据和ODPS

s 主讲人：武永卫（14分钟）

s 主讲人：程永（20分钟）

第二讲分布式存储

s 大纲（1分钟）

s 初步认识大数据对分布式存储系统的需求（2分钟）

s 理解大数据对分布式存储系统的需求（1分钟）

s 具体说明大数据对分布式存储系统的需求（3分钟）

s 大规模分布式存储的挑战（1分钟）

s 小概率事件-Raid卡故障（9分钟）

s 分布式存储系统举例（10分钟）

s 分布式存储系统重要功能设计要点剖析（1分钟）

s 链式写正常流程（2分钟）

s 写流程的另一种常见方式：主从模式（2分钟）

s 链式写异常流程（1分钟）

s 写异常处理的另一种方法-Seal and New （2分钟）

s 读正常流程（1分钟）

s 读流程优化-BackupRead （3分钟）

s IO QoS （3分钟）

s 数据正确性：checksum （3分钟）

s 数据可靠性-Replication （3分钟）

s 数据均衡-Rebalance （2分钟）

s 垃圾回收-Garbage collection （2分钟）

s Erasure coding （3分钟）

s Erasure coding（3,2）写入和读取过程（2分钟）

s 元数据管理的高可用性和可扩展性（4分钟）

s 元数据管理的高可用性（4分钟）

s Paxos概要（3分钟）

s Raft （1分钟）

s 元数据管理的可扩展性（3分钟）

s 不同存储介质的特性（2分钟）

s 盘古混合存储（4分钟）

第三讲资源管理与任务调度

s 阿里云飞天分布式调度（15分钟）

s 任务调度（14分钟）

s 资源调度（6分钟）

s 容错机制（4分钟）

s 规模挑战（5分钟）

s 安全域性能隔离（6分钟）

s 分布式调度的发展方向（2分钟）

第四讲分布式编程模型的设计与演化

s 数据格式和抽象（5分钟）

s 分布式编程模型（5分钟）

s MapReuduce编程模型（11分钟）

s 关系型数据编程模型（9分钟）

s 分布式图计算模型（6分钟）

s 分布式编程未来展望（9分钟）

实践1：通过两阶段提交协议完成数据上传

s 分布式事务（6分钟）

s 分布式一致性算法（4分钟）

s 两阶段提交与三阶段提交（8分钟）

s 实践--介绍（3分钟）

第五讲离线分布式关系型计算

s 关系型计算基本原理_1 （6分钟）

s 关系型计算基本原理_2 （13分钟）

s 分布式环境中的连接计算和聚合计算（32分钟）

s 其他计算和物理优化（12分钟）

第六讲全局数据管理与调度

s 提纲（3分钟）

s 课程背景介绍（3分钟）

s 前序知识（9分钟）

s 分布式节点距离计算法则（3分钟）

s 数据分布策略（4分钟）

s 分布式计算调度（3分钟）

s 数据就近原则计算如何容错（7分钟）

s ODPS跨集群数据依赖（5分钟）

实践2：编写MR完成Group By+Join操作

s 主讲人：谢德军（10分钟）

第七讲流式计算的系统设计与实现

s 增量计算和流式计算（15分钟）

s 与批量计算的区别（3分钟）

s 业界典型系统技术概要分析（13分钟）

s 核心技术（13分钟）

s 消息机制（8分钟）

s 有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制（16分钟）

s StreamSQL （9分钟）

第八讲内存计算

s 软硬件趋势、分布式计算简史与内存计算（15分钟）

s 分布式计算（31分钟）

s 内存计算（13分钟）

s 统一的计算框架（14分钟）

s 业界经典系统技术分析-spark&flink （6分钟）

第九讲大规模数据的分布式机器学习平台

s 主讲人：褚葳（17分钟）

实践3：实现MapReduce编程运行时库

s 分布式环境下的新问题（12分钟）

s 工程实现范例（10分钟）

s 课程设计相关问题（2分钟）