Hardware

本文首发于微信公众号: GTOC 业界经常使用量化的手段来提高大模型的训练和推理效率和节省成本，因此衍生了很多浮点精度和格式，比如 TF32、BF16、FP8、FP4 等。 在 AI 芯片的虚拟原型平台开发中，对于各类 FPU 硬件的 model 建模，一般采用软浮点的方式来模拟，常使用 C/C++ 来实现，在保证准确性的同时，性能也不会太差。 常见的模拟器