TF32、BF16、FP8/6/4这些浮点格式除了生成式AI训练之外还有别的广泛应用么？

TF32、BF16、FP8这些低精度浮点格式，基本没啥用可以说90%以上的应用都在深度学习训练和推理上。

因为对于其他的应用来说，这些浮点数的精度太低了，比如天气预报、流体力学仿真、分子动力学模拟这些，对数值精度的要求其实挺苛刻的。很多时候FP32都不够，得用FP64双精度，甚至有些场景还需要更高精度。

其次就是这些格式的硬件支持主要在NVIDIA的Tensor Core、Google的TPU这些AI专用芯片上。通用CPU或者传统GPU对这些格式支持很有限，性能提升不明显。

我知道的只有BF16还有一些应用，因为BF16动态范围比FP16大所以在处理HDR光照计算时可能会用。比如游戏引擎在做实时渲染的某些计算环节会考虑用低精度格式来提速，但这个应用规模还很小远不如AI领域成熟。

而且就算在传统的AI领域也基本上很少用到16位以下的格式，因为精度太低了。我们现在看到的大语言模型可以不严谨的说是一个分类的任务，要求的不是具体的值而且选择出一个类别，比如top1，不管他的概率是80%还是81%只要这个概率最大那么他就是top1，这就比具体的值简单的多，而你要计算一个数值那80和81差距可就大了。比如说传统的回归任务基本上16位就已经开始有精度损失了，所以也基本没人会用。

以上供参考