Disaggregated LLM Serving：从 PD 分离到 Attention 卸载
梳理大模型推理系统的解耦架构演进：从 Continuous Batching 和 Chunked Prefill，到 DistServe 与 Mooncake 的 Prefill-Decoding 分离，再到 MegaScale-Infer 的 Attention-Expert 分离和 Adrenaline 的 Attention 卸载。
Attention 的多种变体：从 MHA 到 MLA 的演进与 KV Cache 优化
详细解析大模型中 Attention 机制的发展历程，从最初的 MHA，到为减少 KV Cache 提出的 MQA 和 GQA，再到 DeepSeek 提出的 MLA（Multi-head Latent Attention）如何通过低秩投影优雅地解决显存瓶颈并兼容 RoPE。
LLM Serving System的计算与通信建模
本文解析了大模型推理系统（LLM Serving）在不同并行策略下计算与通信的开销规律。
SoCC'20 | InferLine: latency-aware provisioning and scaling for prediction serving pipelines
在本文中介绍了 InferLine ，一个提供和管理预测流水线各个阶段的系统，以满足端到端的尾部延迟（tail latency）约束，同时最小化成本。
Docker 的容器与镜像
介绍和学习docker的容器和镜像的基础知识与用法
MobiSys'21 | nn-Meter: Towards Accurate Latency Prediction of Deep-Learning Model Inference on Diverse Edge Devices
简介
该论文是MobiSys 2021的最佳论文。该论文提出了nn-Meter。nn-Meter 是一个模型推理时间预测系统。该系统可高效、准确地预测 DNN 模型在不同边缘设备上的推理延迟，其关键思想是将整个模型划分为内核（kernel），即设备上的执行单元，然后执行内核级预测。