Merge branch 'main' into dev_smohan

yhliang

2023-05-11 1d1ef01b4e23630a99a3be7e9d1dce9550a793e9

 funasr/runtime/onnxruntime/src/audio.cpp

@@ -11,6 +11,7 @@

using namespace std;

namespace funasr {
// see http://soundfile.sapp.org/doc/WaveFormat/
// Note: We assume little endian here
struct WaveHeader {
@@ -235,6 +236,24 @@
    is.read(reinterpret_cast<char *>(&header), sizeof(header));
    if(!is){
        LOG(ERROR) << "Failed to read " << filename;
        return false;
    }

    if (!header.Validate()) {
        return false;
    }

    header.SeekToDataChunk(is);
    if (!is) {
        return false;
    }
    
    if (!header.Validate()) {
        return false;
    }

    header.SeekToDataChunk(is);
    if (!is) {
        return false;
    }
    
@@ -496,7 +515,7 @@
    delete frame;
}

void Audio::Split(Model* recog_obj)
void Audio::Split(OfflineStream* offline_stream)
{
    AudioFrame *frame;

@@ -507,7 +526,7 @@
    frame = NULL;

    std::vector<float> pcm_data(speech_data, speech_data+sp_len);
    vector<std::vector<int>> vad_segments = recog_obj->VadSeg(pcm_data);
    vector<std::vector<int>> vad_segments = (offline_stream->vad_handle)->Infer(pcm_data);
    int seg_sample = MODEL_SAMPLE_RATE/1000;
    for(vector<int> segment:vad_segments)
    {
@@ -519,4 +538,21 @@
        frame_queue.push(frame);
        frame = NULL;
    }
}
}


void Audio::Split(VadModel* vad_obj, vector<std::vector<int>>& vad_segments)
{
    AudioFrame *frame;

    frame = frame_queue.front();
    frame_queue.pop();
    int sp_len = frame->GetLen();
    delete frame;
    frame = NULL;

    std::vector<float> pcm_data(speech_data, speech_data+sp_len);
    vad_segments = vad_obj->Infer(pcm_data);
}

} // namespace funasr