lxylxy123321 пре 1 недеља
родитељ
комит
b8d6fd086b
1 измењених фајлова са 7 додато и 0 уклоњено
  1. 7 0
      backend/app/engines/text_engine.py

+ 7 - 0
backend/app/engines/text_engine.py

@@ -1,3 +1,10 @@
+import os
+
+# 禁用 FlashAttention,解决沐曦显卡共享内存不足问题
+os.environ["FLASH_ATTENTION_ENABLED"] = "0"
+os.environ["PYTORCH_NO_FLASH"] = "1"
+os.environ["VLLM_ATTENTION_BACKEND"] = "NO_ATTENTION"
+
 import asyncio
 import json
 from pathlib import Path