Pārlūkot izejas kodu

禁用flashattention

lxylxy123321 1 nedēļu atpakaļ
vecāks
revīzija
b8d6fd086b
1 mainītis faili ar 7 papildinājumiem un 0 dzēšanām
  1. 7 0
      backend/app/engines/text_engine.py

+ 7 - 0
backend/app/engines/text_engine.py

@@ -1,3 +1,10 @@
+import os
+
+# 禁用 FlashAttention,解决沐曦显卡共享内存不足问题
+os.environ["FLASH_ATTENTION_ENABLED"] = "0"
+os.environ["PYTORCH_NO_FLASH"] = "1"
+os.environ["VLLM_ATTENTION_BACKEND"] = "NO_ATTENTION"
+
 import asyncio
 import json
 from pathlib import Path