#!/bin/bash
set -e

# 创建日志目录
mkdir -p /var/log/vllm

# 启动 vLLM 服务 --convert classify  --convert embed --task score --convert auto --task classify
vllm serve /model/Qwen3-Reranker-8B \
    --trust-remote-code \
    --tensor-parallel-size 1 \
    --gpu-memory-utilization 0.5 \
    --host 0.0.0.0 \
    --port 30000 \
    --api-key lq123456 2>&1 | tee /var/log/vllm/qwen3-reranker-8b-server.log