SoCC'20 | InferLine: latency-aware provisioning and scaling for prediction serving pipelines
在本文中介绍了 InferLine ，一个提供和管理预测流水线各个阶段的系统，以满足端到端的尾部延迟（tail latency）约束，同时最小化成本。
Docker 的容器与镜像
介绍和学习docker的容器和镜像的基础知识与用法
MobiSys'21 | nn-Meter: Towards Accurate Latency Prediction of Deep-Learning Model Inference on Diverse Edge Devices
简介 该论文是MobiSys 2021的最佳论文。该论文提出了nn-Meter。nn-Meter 是一个模型推理时间预测系统。该系统可高效、准确地