zhifu gao
2023-03-21 1f0f44bd07b0184313b170d2aa2d0d4025b4e69a
funasr/export/models/modules/multihead_att.py
@@ -75,8 +75,10 @@
    return x, cache
import torch.fx
torch.fx.wrap('preprocess_for_attn')
torch_version = float(".".join(torch.__version__.split(".")[:2]))
if torch_version >= 1.8:
    import torch.fx
    torch.fx.wrap('preprocess_for_attn')
class MultiHeadedAttentionSANMDecoder(nn.Module):