flash-attention总是安装失败

大家有时候在执行下面命令安装flash-attention的时候经常会报错

pip install flash-attn --no-build-isolation

遇到这种情况，可以从源码进行安装

git clone https://github.com/Dao-AILab/flash-attention.git cd flash-attention # RTX 4090的话就是8.9 export TORCH_CUDA_ARCH_LIST="8.9" rm -rf build flash_attn.egg-info dist export TMPDIR=$PWD/tmp mkdir -p $TMPDIR git checkout v2.5.7 # 这个过程会比较久，10minutes左右 pip install --no-build-isolation -e .

# 安装fused_mlp_lib # 在flash-attention目录下 cd csrc/fused_dense_lib pip install --no-build-isolation .

# 安装layer_form # 在flash-attention目录下 cd csrc/layer_norm pip install --no-build-isolation . # 这个编译比较慢哈

最后应该会成功哒。