A White Paper on Neural Network Deployment
  • ❤️‍🔥A White Paper on Neural Network Deployment
    • ❤️‍🔥A White Paper on Neural Network Deployment
    • 🤠CUDA
      • 🤑CPU|GPU程序执行流程
      • 🤗QiuckLearnFromPicture
      • 🤒GPU编程模型
      • 🫣线程束和线程束分化|Warp
      • 🤭Reduction|并行规约
      • 🤔全局内存(Global Memory)访问模式
      • 🫢Share Memory|共享内存|Bank Conflicts
      • 😷CUDA流和事件
      • 🫡Nsight system和Nsight compute
      • 🤫Grid-Stride Loops
    • 😄ONNX
      • 😉ONNX中的各类Proto
      • 🤔onnx->torch
      • 🥳0x00自定义算子
      • 😕0x01自定义算子
      • 🥴ONNX 模型的修改与调试
      • 😆ONNX中的一些概念
      • 😍用python操作ONNX
      • 🥹ONNX中的广播机制
      • 🤣外部数据
      • 🥰ONNX Model hub
      • 😘ONNX IR(Intermediate Representation)
      • 🥳ONNX后端
      • 🥸概述
    • 🐶TensorRT
      • 🐱TensorRT快速入门指南
      • 🐭文档简介
      • 🐹TensorRT的功能
      • 🐰TensorRT的C++接口解析
      • 🦊TensorRT的Python接口解析
      • 🐻TensorRT如何工作
      • 🐼trtexec的使用
      • 🐻‍❄️实战:解析onnx模型保存为engine文件|from scratch
      • 🐨实战:加载engine文件并执行推理|from scratch
      • 🐯手撕TensoRT源码|0x00
    • 🫶模型量化和剪枝
      • 🖕IEEE754标准
      • 🫰浮点运算产生的误差
      • 🤲映射和偏移
      • 🫴quantization from scratch|python
      • 👏动态量化范围
      • 🤝量化粒度
      • 👍校准
      • 👊Post-Training Quantization
      • ✊Quantization-Aware Training
      • 🤞pytorch-quantization使用文档
      • ✌️Polygraphy-Cheatsheet
    • 🤺杂文不杂
      • 😾Roofline_model
      • 🤖模型部署的几大误区
      • 😽手算Ampere架构各个精度的Throughout
      • 😻Tensor Core VS CUDA Core
      • 😺PNNX计算图结构剖析
      • 🎃融合BN和Conv层
      • 👾深度神经网络编译器原理简介
      • 👽在WSL2上安装CUDA_cuDNN_TensorRT
    • 🍀CPP
      • 🪵lamda表达式|C++11
      • 🌴智能指针|C++11
      • 🌲右值引用|移动语义|完美转发|C++11
      • 🫑emplace_back 减少内存拷贝和移动|C++11
      • 🥬多线程|互斥锁|条件变量|C++11
      • 🥒异步操作|C++11
      • 🍆原子变量|CAS操作|内存顺序|C++11
      • 🍏对象生存期和资源管理|RAII设计思想
      • 🍎Pimpl设计模式|编译防火墙
      • 🌶️std::variant|C++17
      • 🫛std::any|C++17
    • 🩷部署实战
      • ❤️yolov8Multitask
      • 💚yolov5
      • 🧡pointpillars
      • 💛centerpoint
      • 🩵deepstream
      • 💜BEVfusion
      • 💙BEVLane
      • 🖤Occupancy
    • ☯️重点参考书籍
Powered by GitBook
On this page
  • 🤖写在前面的话
  • 👽主要内容
  • 🥳贡献
  • 😎License

Was this helpful?

Edit on GitHub
  1. A White Paper on Neural Network Deployment

A White Paper on Neural Network Deployment

NextCUDA

Last updated 11 months ago

Was this helpful?

🤖写在前面的话

目前市场上充斥着许多关于深度学习和人工智能的资料,书籍,但是他们当中对于模型部署的讨论相对较少,尤其是在针对特定硬件平台的情况下更是如此。因此,我决定撰写这本书,以填补市场上对于深度学习模型部署方面知识的空白。

本书的目标是向读者介绍如何有效地将深度学习模型部署到英伟达(NVIDIA)相关的硬件平台上。我将从基础概念出发,逐步引导你了解如何在实际项目中部署深度学习模型。无论你是刚刚入门深度学习领域,还是已经在实践中积累了一定经验,相信本书都将为你提供有价值的信息与指导。

⚠️特别强调,本书是开源的,我希望通过共享知识,促进深度学习模型部署领域的发展。我相信,只有在开放的环境下,知识才能不断地被传播、丰富和完善,且知识理应共享!

若本书对您有所帮助,请在页面右上角点个 Star ⭐ 🌟✨支持一下,谢谢~~~。

👽主要内容

神经网络部署白皮书(以下简称白皮书)仍在全力更新中,目前只更新了大概30%,后面将添加更多进阶内容,以及大量的实战案例。由于笔者平时也有其他科研任务,所以更新的进度可能不会太快。😶‍🌫️

白皮书主要分为以下几个板块,CUDA,ONNX,TensorRT,C++,实战内容,还有一些不属于以上各类的文章我就放到杂文里边去了。

0️⃣CUDA

coming soon~

1️⃣ONNX

coming soon~

2️⃣c++以及一些开发技巧

coming soon~

3️⃣实战教学

coming soon~

🥳贡献

本开源书仍在持续更新之中,欢迎参与本项目,一同为读者提供更优质的学习内容。

😎License

🚀github地址:

🚀在线阅读地址:

白皮书的部分内容为韩博提供的资料,这是他的github主页, 这个是韩博写的一个开源项目,后面也会对这部分代码进行解读。

我的邮箱fengzhe8215@outlook.com,也可以知乎私信我,我的知乎

The texts, code, images, photos, and videos in this repository are licensed under .

❤️‍🔥
❤️‍🔥
https://github.com/Phoenix8215/A-White-Paper-on-Neural-Network-Deployment
https://deployment.gitbook.io/love
https://github.com/kalfazed
https://github.com/kalfazed/tensorrt_starter
https://www.zhihu.com/people/fengzhe_love
CC BY-NC-SA 4.0