A

Release AI芯片相关 Slide。 | 编号 | 名称 | 具体内容 | |:---:|:----------------------------------- |:--------------------------- | | 1 | [AI 计算体系](./02Hardware/01Foundation/) | 神经网络等AI技术的计算模式和计算体系架构 | | 2 | [AI 芯片基础](./02Hardware/02ChipBase/) | CPU、GPU、NPU等芯片体系架构基础原理 | | 3 | [图形处理器 GPU](./02Hardware/03GPUBase/) | GPU的基本原理，英伟达GPU的架构发展 | | 4 | [英伟达 GPU 详解](./02Hardware/04NVIDIA/) | 英伟达GPU的TensorCore、NVLink深度剖析 | | 5 | [国外 AI 处理器](./02Hardware/05Abroad/) | 谷歌、特斯拉等专用AI处理器核心原理 | | 6 | [国内 AI 处理器](./02Hardware/06Domestic/) | 寒武纪、燧原科技等专用AI处理器核心原理 |

Release第二部分**AI推理引擎**相关 Slide。 | | | | |:------:|:----------------------- |:-------------------------- | | **编号** | **名称** | **具体内容** | | 1 | [推理系统](./Inference/) | 推理系统整体介绍，推理引擎架构梳理 | | 2 | [轻量网络](./Mobilenet/) | 轻量化主干网络，MobileNet等SOTA模型介绍 | | 3 | [模型压缩](./Slim/) | 模型压缩4件套，量化、蒸馏、剪枝和二值化 | | 4 | [模型转换&优化](./Converter/) | AI框架训练后模型进行转换，并对计算图优化 | | 5 | [Kernel优化](./Kernel/) | Kernel层、算子层优化，对算子、内存、调度优化 |

ChatGPT Release. | 名称 | 名称 | 备注 | | ----------- | --------------------------- | ------------------------------------------------------------------------------------- | | | | | | ChatGPT狂飙 | 01 GPT系列详解 | [silde](./chatGPT01.pdf), [video](https://www.bilibili.com/video/BV1kv4y1s7V7/) | | ChatGPT狂飙 | 02 RLHF强化学习PPO | [silde](./chatGPT02.pdf), [video](https://www.bilibili.com/video/BV1w8411M7YB/) | | ChatGPT狂飙 | 03 InstructGPT解读 | [silde](./chatGPT03.pdf), [video](https://www.bilibili.com/video/BV1e24y1s7k8/) |

Release第二部分<u>**AI编译器原理**</u>相关Slide。 将站在系统设计的角度，思考在设计现代机器学习系统中需要考虑的编译器问题，特别是中间表达乃至后端优化。 **[二. 底层编译技术](./Compiler/)** | | | | |:------:|:-------------------------------- |:------------------------------- | | **编号** | **名称** | **具体内容** | | 1 | [传统编译器](./Compiler/Tradition) | 传统编译器GCC与LLVM，LLVM详细架构 | | 2 | [AI 编译器](./Compiler/AICompiler) | AI编译器发展与架构定义，未来挑战与思考 | | 3 | [前端优化](./Compiler/Frontend) | AI编译器的前端优化(算子融合、内存优化等) | | 4 | [后端优化](./Compiler/Backend) | AI编译器的后端优化(Kernel优化、AutoTuning) | | 6 | [PyTorch2.0](./Compiler/PyTorch) | PyTorch2.0最重要的新特性：编译技术栈 | | | | |

提供第一部分基础篇介绍AI框架的<u>**AI框架核心技术**</u>相关的Slide。 首先介绍任何一个AI框架都离不开的自动微分，通过自动微分功能后就会产生表示神经网络的图和算子，然后介绍AI框架前端的优化，还有最近很火的大模型分布式训练在AI框架中的关键技术。 **[一. AI框架核心技术](./Frontend/)** | 编号 | 名称 | 具体内容 | |:---:|:-------------------------------- |:--------------------------- | | 1 | [AI框架基础]() | AI框架的作用、发展、编程范式 | | 2 | [自动微分]() | 自动微分的实现方式和原理 | | 3 | [计算图]() | 计算图的概念，图优化、图执行、控制流表达 | | 4 | [分布式集群]() | AI集群服务器架构、软硬件通信方式 | | 5 | [分布式算法]() | 大模型挑战，Transformer和MOE结构的大模型 | | 6 | [分布式并行]() | 数据并行、模型并行、混合并行的原理和策略 | | | | |