消费级显卡FP8算力天梯图,30系还是输在了硬件上

在单人单卡部署场景下，FP8实现了显存占用与计算效率的平衡点。相比FP16，显存占用直降50%，让24G显存跑出32G的容量；相比INT8量化，原生浮点计算保留了更高的模型精度，无需复杂的校准流程。对于个人开发者而言，这意味着在单张消费级/专业级显卡上也运行14B+的大模型或者极限部署30B的模型，推理速度提升30%-50%，真正实现”一卡多用，性能不打折”。

NVIDIA显卡支持情况

对于nvidia显卡在 40系和50系上才开始支持FP8计算单元，并支持稀疏矩阵加速

型号	FP8 稀疏 (TFLOPS)	FP8 稠密 (TFLOPS)	FP16 稀疏 (TFLOPS)	FP16 稠密 (TFLOPS)	显存 (GB)	FP8支持	稀疏加速
RTX 5090	838.02	419.01	419.01	209.51	32	✅	✅ 2x
RTX 4090	660.60	330.30	330.30	165.15	24	✅	✅ 2x
RTX 4090 D	588.35	294.17	294.17	147.09	24	✅	✅ 2x
RTX 5080	450.21	225.10	225.10	112.55	16	✅	✅ 2x
RTX 4080 SUPER	417.79	208.90	208.90	104.45	16	✅	✅ 2x
RTX 4080	389.90	194.95	194.95	97.47	16	✅	✅ 2x
RTX 4070 Ti SUPER	352.79	176.39	176.39	88.20	16	✅	✅ 2x
RTX 5070 Ti	351.52	175.76	175.76	87.88	16	✅	✅ 2x
RTX 4070 Ti	320.72	160.36	160.36	80.18	12	✅	✅ 2x
RTX 4070 SUPER	283.80	141.90	141.90	70.95	12	✅	✅ 2x
RTX 5070	246.94	123.47	123.47	61.73	12	✅	✅ 2x
RTX 4070	233.16	116.58	116.58	58.29	12	✅	✅ 2x
RTX 5060 Ti	189.63	94.81	94.81	47.41	16	✅	✅ 2x
RTX 4060 Ti	176.52	88.26	88.26	44.13	16	✅	✅ 2x
RTX 5060	153.42	76.71	76.71	38.35	8	✅	✅ 2x
RTX 4060	120.91	60.46	60.46	30.23	8	✅	✅ 2x
RTX 3090 Ti	—	—	159.99	79.99	24	❌	✅ 2x
RTX 3090	—	—	142.33	71.16	24	❌	✅ 2x
RTX 3080 Ti	—	—	136.40	68.20	12	❌	✅ 2x
RTX 3080	—	—	119.07	59.54	10	❌	✅ 2x
RTX 3070 Ti	—	—	81.25	40.63	8	❌	✅ 2x
RTX 3070	—	—	81.25	40.63	8	❌	✅ 2x
RTX 3060 Ti	—	—	64.79	32.39	8	❌	✅ 2x
RTX 3060	—	—	50.95	25.48	12	❌	✅ 2x
RTX 3050	—	—	32.86	16.43	8	❌	✅ 2x
RTX 2080 Ti	—	—	—	26.90	11	❌	❌
RTX 2080 SUPER	—	—	—	22.30	8	❌	❌
RTX 2080	—	—	—	20.14	8	❌	❌
RTX 2070 SUPER	—	—	—	18.07	8	❌	❌
RTX 2070	—	—	—	14.93	8	❌	❌
RTX 2060 SUPER	—	—	—	14.36	8	❌	❌
RTX 2060	—	—	—	12.90	6	❌	❌
GTX 1660 Ti	—	—	—	10.87	6	❌	❌
TITAN X Pascal	—	—	—	10.97	12	❌	❌
GTX 1660 SUPER	—	—	—	10.05	6	❌	❌
GTX 1080 Ti	—	—	—	11.34	11	❌	❌
GTX 1080	—	—	—	8.87	8	❌	❌
GTX 1070 Ti	—	—	—	8.19	8	❌	❌
GTX 1070	—	—	—	6.46	8	❌	❌
GTX TITAN X	—	—	—	6.69	12	❌	❌
GTX 1060	—	—	—	4.38	6	❌	❌

---

英伟达显卡FP8算力图

稀疏矩阵加速

稠密矩阵 (Dense):          稀疏矩阵 (2:4 Structured Sparsity):
┌─────┬─────┬─────┐        ┌─────┬─────┬─────┐
│ 1.2 │ 0.0 │ 3.4 │        │ 1.2 │  0  │ 3.4 │  ◄─ 每4个元素中2个为零
├─────┼─────┼─────┤        ├─────┼─────┼─────┤
│ 0.0 │ 5.6 │ 0.0 │        │  0  │ 5.6 │  0  │  ◄─ 固定模式，硬件直接支持
├─────┼─────┼─────┤        ├─────┼─────┼─────┤
│ 7.8 │ 0.0 │ 9.0 │        │ 7.8 │  0  │ 9.0 │  ◄─ 计算量减半，速度翻倍
└─────┴─────┴─────┘        └─────┴─────┴─────┘
      │                           │
   计算100%                    计算50% (2x加速)

AMD显卡支持情况

AMD消费级显卡 RDNA 4 架构（RX 9070 XT / RX 9070）开始支持原生 FP8 计算，RDNA 2/3 不支持

型号	FP8 算力 (TFLOPS)	FP16 算力 (TFLOPS)	显存 (GB)	FP8支持
RX 9070 XT	~195	125.7	16	✅
RX 9070	~171	110.0	16	✅
RX 7900 XTX	—	122.78	24	❌
RX 7900 XT	—	102.96	20	❌
RX 7900 GRE	—	91.61	16	❌
RX 6950 XT	—	47.31	16	❌
RX 6900 XT	—	46.08	16	❌
RX 7800 XT	—	74.65	16	❌
RX 6900	—	42.48	16	❌
RX 6800 XT	—	41.47	16	❌
RX 7700 XT	—	70.34	12	❌
RX 6800	—	38.66	16	❌
RX 6750 XT	—	32.14	12	❌
RX 6700 XT	—	27.75	12	❌
RX 7600 XT	—	45.14	16	❌
RX 7600	—	42.30	8	❌
RX 6700	—	24.19	10	❌
RX 6650 XT	—	19.94	8	❌
RX 6600 XT	—	17.20	8	❌
RX 6600	—	14.14	8	❌
RX 5700 XT	—	12.47	8	❌
RX 5700	—	10.97	8	❌

AMD显卡FP8算力图

综合FP8算力图