Distributed Computing frameworks: MapReduce, computation graph & Distributed trainingMapReduce也有其局限性： 单个MapReduce难以实现排序等应用，因此使用多个MapReduce并串联在一起 chaining multiple MapReduce tasks并不是好的解决方法，因为需要拆分，

The distributed (and parallel) programming on a single device & MapReducefrom single device to a distributed computing单芯片的性能增长已经非常有限，因此引入分布式计算，使用很多张卡。但分布式计算在编程时需要考虑更多情况，因此使用分布式计算框架，让算法工程师不用自行考虑分布式

More on GPUs, tiling and FlashAttentioncase study: GPUGPU的基础单元为SM，每个SM上有多个warp，在同一个warp上都会执行同一个指令，有32个SIMD线程 现代GPU，如H100，引入了tensor core，即脉冲阵列；同时core变得更具体，定制浮点数计算；还降低了用于图形学的SFU数量。但整体架构没有很大区别 SIMT使得多核程序

The distributed (and parallel) programming: it’s all about scalability训练模型的计算分为两步：前向传播和反向传播 对于前向传播，每层计算 $Y = W \circ X$，假设： $W: m \times k \ X: k \times B$ 则近似的计算量为 $(2k - 1) \times m \times B \s

Secure Data Flowtaint tracking为了防止数据暴露，希望系统具备观测数据流动的能力(taint training)，即对数据进行标记 对于外部进入的数据，认为其不安全，设置taint status为true，从而标记出所有与外部数据相关的数据，如出现jump xxx，这个xxx的taint status为true，认为代码出现问题。taint的overhead极大，可能翻

ROP and CFIsecurity principles least privilege: 只提供完成事件的最小权限 least trust: 给组件分配任务时只提供最小的信任，如zero trust，内部也视为外网，使用U盘鉴权 users make mistakes: 安全要考虑用户犯的诸多错误 cost of security: 安全的成本不能太高 stack buffer overf

Introduction to System Securitycross-site scripting: 在评论中注入代码，而网站错误解读将其运行，或注入到其他用户的html中 SQL injection: 在SQL语句中注入SQL语句本身的语法，从而修改语句的含义 security难于实现，因为这是一个negative goal，如禁止某人访问某文件，这需要遍历所有访问这个文件的路径，但路径

DNS & Naming Schemethe design of DNS实现hostname和IP地址的转换，从而实现用户友好 一个域名可以对应多个IP地址，从而实现负载均衡，允许用户访问一个更近的IP地址；一个IP地址也可以对应多个域名；这种映射关系可以发生变化，但需要向DNS服务商发送请求 为了能够扩大规模，需要引入hierarchy的思想，即进行分层，分成不同的域，每个zone使用不

End-to-end Layer: Best-effort is not enoughend-to-end layer UDP: 最简化的协议 TCP: 能保证数据顺序和不丢包，能保证不重复 RTP: 建立在UDP，用于实时要求 assurance of at-least-once delivery保证发出的包至少成功一次，在best-effort网络中会为每个包加一个nonce，用于标记是哪个

Network Layer - 2case study: BGP每个region都希望实现自己的policy，比如某些region不想把数据发给其他某些region，或者不允许经过某些路径 典型BGP的角色有： customer/provider: customer为provider提供的流量付费，因为低级的AS需要向高级的AS购买流量 peers: 流量平等，不存在隶属关系，不互相付