Преглед изворни кода

添加禁用Flash Attention的环境变量

lxylxy123321 пре 1 недеља
родитељ
комит
a6037fb3a7
1 измењених фајлова са 3 додато и 2 уклоњено
  1. 3 2
      backend/app/engines/text_engine.py

+ 3 - 2
backend/app/engines/text_engine.py

@@ -1,9 +1,10 @@
 import os
 import os
 
 
 # 禁用 FlashAttention,解决沐曦显卡共享内存不足问题
 # 禁用 FlashAttention,解决沐曦显卡共享内存不足问题
-os.environ["FLASH_ATTENTION_ENABLED"] = "0"
 os.environ["PYTORCH_NO_FLASH"] = "1"
 os.environ["PYTORCH_NO_FLASH"] = "1"
-os.environ["VLLM_ATTENTION_BACKEND"] = "NO_ATTENTION"
+os.environ["FLASH_ATTENTION_ENABLED"] = "0"
+os.environ["USE_FLASH_ATTENTION"] = "0"
+os.environ["TORCH_FLASH_ATTN"] = "0"
 
 
 import asyncio
 import asyncio
 import json
 import json