而对于不支持 VNNI 指令的 CPU,一般只提供最低 int16 的数值类型支持,则通过使用 AVX2(Advanced Vector Extensions)这一向量格式,实现了 int8 推理性能与浮点性能持平。
我们所说的Differential Growth属于是几何定义,和以上定义的“组织分化”有所区别,就和它的字面意思一样,我将其称为“差异化生长”——通过差异的扩增与分化,来发展出复杂的空间形态。它是一种在有限空间内通过褶皱增加结构利用率与复杂度的规则——大脑的褶皱用于容纳更多的神经元、肠道的弯曲与褶皱提高营养的吸收周期与吸收率、电脑芯片的数据量也取决于”褶皱“的复杂度。
一种最直观的裁剪方式就是用更少位数的数值类型来存储网络参数,比如常见的做法是将 32 位浮点数模型转换成 8 位整数模型,模型大小减少为 1/4,而运行在特定的设备上其计算速度也能提升为 2~4 倍,这种模型转换方式叫做量化(Quantization)。