A White Paper on Neural Network Deployment
  • ❤️‍🔥A White Paper on Neural Network Deployment
    • ❤️‍🔥A White Paper on Neural Network Deployment
    • 🤠CUDA
      • 🤑CPU|GPU程序执行流程
      • 🤗QiuckLearnFromPicture
      • 🤒GPU编程模型
      • 🫣线程束和线程束分化|Warp
      • 🤭Reduction|并行规约
      • 🤔全局内存(Global Memory)访问模式
      • 🫢Share Memory|共享内存|Bank Conflicts
      • 😷CUDA流和事件
      • 🫡Nsight system和Nsight compute
      • 🤫Grid-Stride Loops
    • 😄ONNX
      • 😉ONNX中的各类Proto
      • 🤔onnx->torch
      • 🥳0x00自定义算子
      • 😕0x01自定义算子
      • 🥴ONNX 模型的修改与调试
      • 😆ONNX中的一些概念
      • 😍用python操作ONNX
      • 🥹ONNX中的广播机制
      • 🤣外部数据
      • 🥰ONNX Model hub
      • 😘ONNX IR(Intermediate Representation)
      • 🥳ONNX后端
      • 🥸概述
    • 🐶TensorRT
      • 🐱TensorRT快速入门指南
      • 🐭文档简介
      • 🐹TensorRT的功能
      • 🐰TensorRT的C++接口解析
      • 🦊TensorRT的Python接口解析
      • 🐻TensorRT如何工作
      • 🐼trtexec的使用
      • 🐻‍❄️实战:解析onnx模型保存为engine文件|from scratch
      • 🐨实战:加载engine文件并执行推理|from scratch
      • 🐯手撕TensoRT源码|0x00
    • 🫶模型量化和剪枝
      • 🖕IEEE754标准
      • 🫰浮点运算产生的误差
      • 🤲映射和偏移
      • 🫴quantization from scratch|python
      • 👏动态量化范围
      • 🤝量化粒度
      • 👍校准
      • 👊Post-Training Quantization
      • ✊Quantization-Aware Training
      • 🤞pytorch-quantization使用文档
      • ✌️Polygraphy-Cheatsheet
    • 🤺杂文不杂
      • 😾Roofline_model
      • 🤖模型部署的几大误区
      • 😽手算Ampere架构各个精度的Throughout
      • 😻Tensor Core VS CUDA Core
      • 😺PNNX计算图结构剖析
      • 🎃融合BN和Conv层
      • 👾深度神经网络编译器原理简介
      • 👽在WSL2上安装CUDA_cuDNN_TensorRT
    • 🍀CPP
      • 🪵lamda表达式|C++11
      • 🌴智能指针|C++11
      • 🌲右值引用|移动语义|完美转发|C++11
      • 🫑emplace_back 减少内存拷贝和移动|C++11
      • 🥬多线程|互斥锁|条件变量|C++11
      • 🥒异步操作|C++11
      • 🍆原子变量|CAS操作|内存顺序|C++11
      • 🍏对象生存期和资源管理|RAII设计思想
      • 🍎Pimpl设计模式|编译防火墙
      • 🌶️std::variant|C++17
      • 🫛std::any|C++17
    • 🩷部署实战
      • ❤️yolov8Multitask
      • 💚yolov5
      • 🧡pointpillars
      • 💛centerpoint
      • 🩵deepstream
      • 💜BEVfusion
      • 💙BEVLane
      • 🖤Occupancy
    • ☯️重点参考书籍
Powered by GitBook
On this page

Was this helpful?

Edit on GitHub
  1. A White Paper on Neural Network Deployment
  2. ONNX

概述

神经网络的深度学习是通过对数据流图的计算来实现的。一些框架(如 CNTK、Caffe2、Theano 和 TensorFlow)使用静态图,而另一些框架(如 PyTorch 和 Chainer)则使用动态图。不过,它们都提供了接口,使开发人员可以轻松构建计算图和runtime,以优化的方式处理计算图。图作为一种中间表示(IR),可以捕捉开发者源代码的特定意图,并有利于优化和转换,以便在特定设备(CPU、GPU、FPGA 等)上运行。

Why a common IR?

如今,每个框架都有自己专有的计算图表示法,尽管它们都提供类似的功能--这意味着每个框架都是 API、计算图和runtime的孤立堆栈。此外,框架通常会针对某些特性进行优化,如快速训练、支持复杂的网络架构、在移动设备上进行推理等。 开发人员可以选择针对这些特征进行优化的框架。

我们的目标是实现人工智能的民主化,因此我们设想让开发人员能够在开发或部署的任何阶段选择最适合其项目的框架。开放神经网络交换(ONNX)格式是一种通用的 IR,有助于建立这一强大的生态系统。

通过提供计算图的通用表示法,ONNX 可以帮助开发人员选择适合其任务的框架,使作者能够专注于创新,并使硬件供应商能够简化其平台。

ONNX 是一种开放格式。我们欢迎来自社区的贡献,并鼓励每个人在其生态系统中使用 ONNX。

PreviousONNX后端NextTensorRT

Last updated 1 year ago

Was this helpful?

❤️‍🔥
😄
🥸