- #!/bin/bash
- set -e
- # 创建日志目录
- mkdir -p /var/log/vllm
- # 启动 vLLM 服务 --convert classify --convert embed --task score --convert auto --task classify
- vllm serve /model/Qwen3-Reranker-8B \
- --trust-remote-code \
- --tensor-parallel-size 1 \
- --gpu-memory-utilization 0.5 \
- --host 0.0.0.0 \
- --port 30000 \
- --api-key lq123456 2>&1 | tee /var/log/vllm/qwen3-reranker-8b-server.log
|
