使用v100+vllm推理qwenasr
作者：互联网观察 发布时间：May 19, 2026 分类：互联网观察
先安装 qwenasr
然后安装vllm
支持v100的 vllm停留在 0.18.1
需要安装这个版本。
然后直接推理即可：
uv run vllm serve Qwen/Qwen3-ASR-0.6B --gpu-memory-utilization 0.7 --dtype float16
- 页码:
作者：互联网观察 发布时间：May 19, 2026 分类：互联网观察
先安装 qwenasr
然后安装vllm
支持v100的 vllm停留在 0.18.1
需要安装这个版本。
然后直接推理即可：
uv run vllm serve Qwen/Qwen3-ASR-0.6B --gpu-memory-utilization 0.7 --dtype float16