相關代碼下載地址:下載地址
壓縮
- 量化:High-Bit(>2b): QAT, PTQ, QAFT; Low-Bit(≤2b)/Ternary and Binary: QAT
- 剪枝:正常、規整和分組卷積結構剪枝
- 針對特征(A)二值量化的BN融合(訓練量化后,BN引數 —> conv的偏置b)
- High-Bit量化的BN融合(訓練量化中,先融合再量化,融合:BN引數 —> conv的權重w和偏置b)
部署
- TensorRT(fp32/fp16/int8(ptq-calibration)、op-adapt(upsample)、dynamic_shape等)
環境要求
- python >= 3.5
- torch >= 1.1.0
- torchvison >= 0.3.0
- numpy
- onnx == 1.6.0
- tensorrt == 7.0
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/438649.html
標籤:AI