PyTorch内部机制深入

[meton-robean]

1.201905 PyTorch 纽约聚会上做了一个有关 PyTorch 内部机制的演讲 知乎 原文链接
2. pytorch特性机制解读 105页ppt：pytorch-under-the-hood

---

pytorch源码结构

[meton-robean]

pytorch的tensor特性

1.数据结构里面有stride字段来指示数据的逻辑layout
2.支持自动微分
3.支持TorchScript特性

[meton-robean]

自动微分机制简述

[meton-robean]

pytorch的eager mode 到script mode

• 主要是为了方便部署与进一步优化

• 将计算图从Python runtimec抽离，再进一步进行计算图操作优化，因为Python计算图有许多限制，例如GIL等等，但是抽离成中间层表示后，就可以利用LLVM的优化达到部署到不同平台的高效实现