FUNASR训练
blame | 历史 | 补丁 | 提交 | 提交对比 | ignore whitespace
liugz18
2024-07-18 d80ac2fd2df4e7fb8a28acfa512bb11472b5cc99 
 funasr/models/sanm/attention.py


@@ -100,7 +100,9 @@


        n_batch = value.size(0)


        if mask is not None:


            mask = mask.unsqueeze(1).eq(0)  # (batch, 1, *, time2)


            min_value = float(numpy.finfo(torch.tensor(0, dtype=scores.dtype).numpy().dtype).min)


            min_value = -float(


                "inf"


            )  # float(numpy.finfo(torch.tensor(0, dtype=scores.dtype).numpy().dtype).min)


            scores = scores.masked_fill(mask, min_value)


            self.attn = torch.softmax(scores, dim=-1).masked_fill(


                mask, 0.0


@@ -269,7 +271,9 @@




            mask = mask.unsqueeze(1).eq(0)  # (batch, 1, *, time2)




            min_value = float(numpy.finfo(torch.tensor(0, dtype=scores.dtype).numpy().dtype).min)


            min_value = -float(


                "inf"


            )  # float(numpy.finfo(torch.tensor(0, dtype=scores.dtype).numpy().dtype).min)


            scores = scores.masked_fill(mask, min_value)


            self.attn = torch.softmax(scores, dim=-1).masked_fill(


                mask, 0.0


@@ -673,7 +677,9 @@


        n_batch = value.size(0)


        if mask is not None:


            mask = mask.unsqueeze(1).eq(0)  # (batch, 1, *, time2)


            min_value = float(numpy.finfo(torch.tensor(0, dtype=scores.dtype).numpy().dtype).min)


            min_value = -float(


                "inf"


            )  # float(numpy.finfo(torch.tensor(0, dtype=scores.dtype).numpy().dtype).min)


            # logging.info(


            #     "scores: {}, mask_size: {}".format(scores.size(), mask.size()))


            scores = scores.masked_fill(mask, min_value)


@@ -774,7 +780,7 @@


        return q, k, v




    def forward_attention(self, value, scores, mask, ret_attn):


        scores = scores + mask


        scores = scores + mask.to(scores.device)




        self.attn = torch.softmax(scores, dim=-1)


        context_layer = torch.matmul(self.attn, value)  # (batch, head, time1, d_k)


@@ -858,7 +864,9 @@




            mask = mask.unsqueeze(1).eq(0)  # (batch, 1, *, time2)




            min_value = float(numpy.finfo(torch.tensor(0, dtype=scores.dtype).numpy().dtype).min)


            min_value = -float(


                "inf"


            )  # float(numpy.finfo(torch.tensor(0, dtype=scores.dtype).numpy().dtype).min)


            scores = scores.masked_fill(mask, min_value)


            self.attn = torch.softmax(scores, dim=-1).masked_fill(


                mask, 0.0