维石
2024-04-17 149063ced4d2d5269f0472677228eadfcb4a4d8a
funasr/datasets/dataloader_entry.py
@@ -4,7 +4,7 @@
from funasr.register import tables
@tables.register("dataloader_classes", "DataloaderMapStyle")
# @tables.register("dataloader_classes", "DataloaderMapStyle")
def DataloaderMapStyle(frontend=None, tokenizer=None, **kwargs):
   # dataset
   logging.info("Build dataloader")
@@ -25,7 +25,7 @@
   
   return dataloader_tr, dataloader_val
# @tables.register("dataloader_classes", "DataloaderMapStyle")
@tables.register("dataloader_classes", "DataloaderMapStyle")
class DataloaderMapStyle:
   def __init__(self, frontend=None, tokenizer=None, **kwargs):
      # dataset
@@ -50,7 +50,7 @@
         batch_sampler_val = batch_sampler_class(self.dataset_val, is_training=False, **self.kwargs.get("dataset_conf"))
      
      batch_sampler["batch_sampler"].set_epoch(epoch)
      batch_sampler_val.set_epoch(epohc)
      batch_sampler_val["batch_sampler"].set_epoch(epoch)
      dataloader_tr = torch.utils.data.DataLoader(self.dataset_tr, collate_fn=self.dataset_tr.collator, **batch_sampler)
      dataloader_val = torch.utils.data.DataLoader(self.dataset_val, collate_fn=self.dataset_val.collator, **batch_sampler_val)