fix loss normalization for ddp training

haoneng.lhn

2023-12-08 ace42e5043be992c3a324fc637ba0594f10ad3b6

 funasr/models/e2e_diar_eend_ola.py

@@ -6,7 +6,6 @@
import torch
import torch.nn as  nn
import torch.nn.functional as F
from typeguard import check_argument_types

from funasr.models.base_model import FunASRModel
from funasr.models.frontend.wav_frontend import WavFrontendMel23
@@ -70,8 +69,6 @@
            mapping_dict=None,
            **kwargs,
    ):
        assert check_argument_types()

        super().__init__()
        self.frontend = frontend
        self.enc = encoder