Dev gzf (#1468)

zhifu gao

2024-03-11 e847f85a14b85a94cfa6e109ecab69974eeeb443

 funasr/auto/auto_model.py

@@ -155,9 +155,9 @@
            device = "cpu"
            kwargs["batch_size"] = 1
        kwargs["device"] = device
        
        if kwargs.get("ncpu", None):
            torch.set_num_threads(kwargs.get("ncpu"))

        torch.set_num_threads(kwargs.get("ncpu", 4))

        
        # build tokenizer
        tokenizer = kwargs.get("tokenizer", None)
@@ -476,11 +476,13 @@
               calib_num: int = 100,
               opset_version: int = 14,
               **cfg):
        os.environ['EXPORTING_MODEL'] = 'TRUE'
    
        device = cfg.get("device", "cpu")
        model = self.model.to(device=device)
        kwargs = self.kwargs
        deep_update(kwargs, cfg)
        kwargs["device"] = device
        del kwargs["model"]
        model = self.model
        model.eval()

        batch_size = 1