fix loss normalization for ddp training

haoneng.lhn

2023-12-07 4152cf4615e234b9892703a8e088cdd51937fc13

 funasr/models/encoder/opennmt_encoders/fsmn_encoder.py

@@ -7,7 +7,6 @@
import torch
import torch.nn as nn
from torch.nn import functional as F
from typeguard import check_argument_types
import numpy as np
from funasr.modules.nets_utils import make_pad_mask
from funasr.modules.layer_norm import LayerNorm