#!/bin/bash
set -e

# 创建日志目录
mkdir -p /var/log/vllm

# 启动 vLLM 服务 --convert classify -task embed
python3 -m vllm.entrypoints.openai.api_server \
    --model /model/Qwen3-Reranker-8B \
    --runner pooling \
    --trust-remote-code \
    --tensor-parallel-size 1 \
    --gpu-memory-utilization 0.45 \
    --host 0.0.0.0 \
    --port 30000 \
    --chat-template /vllm/sglang-main/examples/chat_template/qwen3_reranker.jinja
    --api-key lq123456 2>&1 | tee /var/log/vllm/qwen3-reranker-8b-server.log