【ppq install】
简介
PPQ 是 Sensetime OpenPPL 团队开源的量化部署工具,经过量化的神经网络往往能够在端侧加速600%~800%,而在目前已经支持OpenPPL, TensorRT, SNPE, NXP, Metax等多个不同平台的量化模拟与网络部署。PPQ 不仅限于提供强大而先进的量化优化算法,同时提供强大的网络调度工具、完善的硬件计算模拟、量化误差的分析工具等等,这些工作能够使得你的神经网络更加安全地部署在目标设备上,其量化误差最终是可控的。
安装 ppq
库
-
安装 CUDA Toolkit:首先,确保系统已经安装了 CUDA Toolkit。可以从 NVIDIA 官网下载并安装适合操作系统和 GPU 的 CUDA 版本。
-
安装编译器:
对于 Linux 用户:
需要安装 Ninja 构建系统,可以通过以下命令安装:apt-get install ninja-build
对于 Windows 用户:
- 需要从 Ninja 的 GitHub 释放页面 下载 Ninja 可执行文件(.exe),并将其添加到 Windows PATH 环境变量中。双击Path变量即可,之后点击新建。Releases · ninja-build/ninja (github.com)
- 此外,还需要安装 Visual Studio 2019,并确保 C++ 编译器的路径被添加到 PATH 环境变量中。
-
安装 PyTorch:更新或安装 PyTorch 到 1.10 或更高版本,因为
ppq
需要 PyTorch 支持。 -
克隆 PPQ 仓库并安装:
通过以下命令克隆 PPQ 的 GitHub 仓库并安装:# https://github.com/OpenPPL/ppq git clone https://github.com/openppl-public/ppq.git cd ppq pip install -r requirements.txt python setup.py install
如果遇到任何依赖问题,比如
protobuf
版本过高,可以尝试安装特定版本的protobuf
,参考【python error】Descriptors cannot be created directly. must be regenerated with protoc >= 3.19.:
(果然遇到了这个问题)pip install protobuf==3.20.2
-
安装 PPQ(可选):
还可以从 PyPI 安装 PPQ:(yes)
虽然可以,我选择从源码安装的,pip install ppq
参考:
[source: PPQ - 安装与使用手册]