从本地3090到云5090：云GPU还是蛮香的

这边写一篇文章记录一下 最近机器使用情况

3090还是死机了

之前花 6000大洋买的3090 二手矿卡 用来跑vllm 批量来处理任务 终究是没顶住 在持续处理2并发任务时 显存温度 到达104° 导致

刚开始以为是显存溢出导致黑屏死机，但重复使用–gpu-memory-utilization 不断 限制显存使用上限后，发现多次还没到显存上线 就提前关机了 最后打开GPU-Z 看显卡温度才发现是显存过来导致的，我已经在我的显卡背板加了一个小散热风扇，但没想到这个场景上还是黑屏了
多次尝试调整 任务占用后无果 gpu任务打满后显存还是降不下来，看来我的3090后续只能只能使用在间歇性运行打满的场景，类似批量大模型持续推理这种对于显存复杂较大的场景可能不适合

默默地 又打开了淘宝，把5090加入了价格关注中

云服务器体验

大型的服务器厂商像阿里云等 推出的GPU显卡大部分都是专业的显卡然后又是类似L20 这种 大部分都是又贵 而且又不是满血版本，所以不准备使用大厂商的平台
这边我体验了两个平台 一个是属于小厂商的 算家云，还有一个是Ucloud

算家云

算家云的优点是 价格低 4090可以只需1.24元/时

但缺点也有，需要在服务上开放端口时需要上传身份证信息，且看后台配置开放端口有限

Ucloud

Ucloud 平台显卡价格 5090在3.13元/时 4090在2.08元/时，相较与算家云单机价格略贵 但由于是背靠云厂商 服务也会完善一些，比如支持huggingface等海外域名域名加速，然后单机提供的免费的网盘也在200GB

Ucloud平台地址:

云服务器性能测试

这边由于本地文件较多，要兼顾性能和速度，测试了一下几款开源模型 发现gpt-oss-20B和qwen3-14B都能满足我的需求，测试时推理框架使用vllm 然后模型使用qwen3-14B

压测脚本

evalscope perf   --parallel 80   --number 240   --log-every-n-query 500   --model Qwen/Qwen3-14B-AWQ   --url xxxxx   --api openai   --dataset random   --max-tokens 1000   --prefix-length 0   --min-prompt-length 100  --tokenizer-path Qwen/Qwen3-14B-AWQ --max-prompt-length 1000      --extra-args '{"ignore_eos": true}'

4090

单并发

2并发

4并发

8并发

16并发

32并发

48并发

64并发

5090

32并发

48并发

64并发

80并发

显存限制0.95
80并发

结论

1. qwen3-14B简单测试了一下 单卡4090 在48并发时 峰值输出在2.2k token/s ,5090的在64并发时峰值输出在3.5k token/s，按3.5k token/s计算 每小时输出可以达12.6百万token 按1.7元/百万token计算, 5090单卡3块/小时可能达到21元/小时相同的推理量

2. 云服务器好处，可以少关心卡温度状况，可以随便使用
   
   而且发现云服务器 Ucloud 5090的温度控制得不错 可以在60度以下

3. vllm 直接做后端部署MinerU 这种服务 然后再提供http服务 用了以下，再高并发会有http异常