Browse Source

添加禁用Flash Attention的环境变量

lxylxy123321 1 tuần trước cách đây
mục cha
commit
a6037fb3a7
1 tập tin đã thay đổi với 3 bổ sung2 xóa
  1. 3 2
      backend/app/engines/text_engine.py

+ 3 - 2
backend/app/engines/text_engine.py

@@ -1,9 +1,10 @@
 import os
 
 # 禁用 FlashAttention,解决沐曦显卡共享内存不足问题
-os.environ["FLASH_ATTENTION_ENABLED"] = "0"
 os.environ["PYTORCH_NO_FLASH"] = "1"
-os.environ["VLLM_ATTENTION_BACKEND"] = "NO_ATTENTION"
+os.environ["FLASH_ATTENTION_ENABLED"] = "0"
+os.environ["USE_FLASH_ATTENTION"] = "0"
+os.environ["TORCH_FLASH_ATTN"] = "0"
 
 import asyncio
 import json