使能OpenCL运行崩溃

[finneyyan]

测试设备：骁龙8gen3 (Android)
测试模型：sense-voice-small-q4_0.gguf
在Linux上交叉编译成功，将可执行文件、模型文件和.wav文件拷贝到安卓设备中

在CPU上可以运行，但准确率非常差（语音识别、语种检测、情感识别、事件识别均有错误）

推理选项不加-ng 使其运行在OpenCL上（编译时有链接OpenCL库），推理崩溃

./sense-voice-main -m /sdcard/models/sense-voice-small-q4_0.gguf -f ./yuanshen.wav -t 4 -ng
sense_voice_small_init_from_file_with_params_no_state: loading model from '/sdcard/models/sense-voice-small-q4_0.gguf'
sense_voice_init_with_params_no_state: use gpu    = 1
sense_voice_init_with_params_no_state: flash attn = 0
sense_voice_init_with_params_no_state: gpu_device = 0
ggml_opencl: selecting platform: 'QUALCOMM Snapdragon(TM)'
ggml_opencl: selecting device: 'QUALCOMM Adreno(TM) 750'
ggml_opencl: device OpenCL version: OpenCL 3.0 Adreno(TM) 750
ggml_opencl: OpenCL driver: OpenCL 3.0 QUALCOMM build: commit unknown Compiler E031.45.02.16
ggml_opencl: vector subgroup broadcast support: false
ggml_opencl: device FP16 support: true
ggml_opencl: mem base addr align: 1024
ggml_opencl: max mem alloc size: 1024 MB
ggml_opencl: SVM coarse grain buffer support: true
ggml_opencl: SVM fine grain buffer support: true
ggml_opencl: SVM fine grain system support: false
ggml_opencl: SVM atomics support: true
ggml_opencl: flattening quantized weights representation as struct of arrays (GGML_OPENCL_SOA_Q)
ggml_opencl: using kernels optimized for Adreno (GGML_OPENCL_USE_ADRENO_KERNELS)
sense_voice_init_with_params_no_state: devices    = 2
sense_voice_init_with_params_no_state: backends   = 2
sense_voice_model_load: version:      3
sense_voice_model_load: alignment:   32
sense_voice_model_load: data offset: 423680
sense_voice_model_load: loading model
sense_voice_model_load: n_vocab = 25055
sense_voice_model_load: n_encoder_hidden_state = 512
sense_voice_model_load: n_encoder_linear_units = 2048
sense_voice_model_load: n_encoder_attention_heads  = 4
sense_voice_model_load: n_encoder_layers = 50
sense_voice_model_load: n_mels  = 80
sense_voice_model_load: ftype  = 2
sense_voice_model_load: vocab[25055] loaded
sense_voice_default_buffer_type: using device GPUOpenCL (QUALCOMM Adreno(TM) 750)
sense_voice_model_load: OpenCL total size =   181.86 MB
sense_voice_model_load: n_tensors: 1212
sense_voice_model_load: load SenseVoiceSmall takes 3.558000 second 
sense_voice_backend_init_gpu: using GPUOpenCL backend
sense_voice_backend_init: using CPU backend
sense_voice_init_state: kv pad  size  =    3.67 MB
Segmentation fault (core dumped)

问题一：在CPU上的运行效果符合预期吗？换成FP32模型同样识别错误非常多。
问题二：看ggml里是支持OpenCL后端的，为什么使用OpenCL会崩溃呢？

[lovemefan]

1. 能否提供音频，我测试看看是模型问题，还是vad切分问题。
2. 我们目前没有设备测试，不确定问题出在哪。我刚刚更新了一下ggml版本，请更新项目测试看最新的ggml是否还会出现该问题 。

[finneyyan]

能否提供音频，我测试看看是模型问题，还是vad切分问题。

不支持上传.wav文件，我放在了这里https://limewire.com/d/uo1TE#dfnHXq0hia 您试下能不能下载

我们目前没有设备测试，不确定问题出在哪。我刚刚更新了一下ggml版本，请更新项目测试看最新的ggml是否还会出现该问题 。

更新了SenseVoice.cpp (6f93611, Jun24) 和ggml子模块 (a70b4a7cdc, Jun24)，仍然有问题，但这次有明确终止的调用栈：

sense_voice_init_state: compute buffer (encoder)   =    3.09 MB
sense_voice_init_state: compute buffer (encoder)   =   17.53 MB
sense_voice_init_state: compute buffer (decoder)   =   10.35 MB

system_info: n_threads = 1 / 8 | AVX = 0 | AVX2 = 0 | AVX512 = 0 | FMA = 0 | NEON = 1 | ARM_FMA = 1 | F16C = 0 | FP16_VA = 0 | WASM_SIMD = 0 | SSE3 = 0 | SSSE3 = 0 | VSX = 0 | COREML = 0 | OPENVINO = 0

main: processing audio (643840 samples, 13.41333 sec) , 1 threads, 1 processors, lang = auto...

/root/SenseVoice.cpp/sense-voice/csrc/third-party/ggml/src/ggml-backend.cpp:296: GGML_ASSERT(buf->iface.memset_tensor != NULL && "memset not implemented by backend buffer") failed
0: 0x5ed1228de8 
1: 0x5ed1228cf4 
2: 0x5ed1228f50 
3: 0x5ed122fbe8 
4: 0x5ed122cee0 
5: 0x5ed11a7c3c 
6: 0x7dab29c078 __libc_init
Aborted (core dumped) 

对照报错位置看了下，OpenCL后端的memset_tensor方法实现确实是空的；考虑到这个设备曾经成功运行过从llama.cpp编译出的使能了OpenCL的程序，对照llama.cpp看了下，发现llama.cpp程序全程未调用该接口。故尝试直接将这里的memset操作去掉：

diff --git a/src/ggml-backend.cpp b/src/ggml-backend.cpp
index b1050ad5..5efdfdc3 100644
--- a/src/ggml-backend.cpp
+++ b/src/ggml-backend.cpp
@@ -293,6 +293,7 @@ void ggml_backend_tensor_memset(struct ggml_tensor * tensor, uint8_t value, size
     GGML_ASSERT(buf != NULL && "tensor buffer not set");
     GGML_ASSERT(tensor->data != NULL && "tensor not allocated");
     GGML_ASSERT(offset + size <= ggml_nbytes(tensor) && "tensor write out of bounds");
+    if (buf->iface.memset_tensor == NULL) return;
     GGML_ASSERT(buf->iface.memset_tensor != NULL && "memset not implemented by backend buffer");
 
     buf->iface.memset_tensor(buf, tensor, value, offset, size);

现在可以运行成功了，速度也比CPU快了两倍（虽然识别效果仍然很糟糕）。

请问这个效果是符合预期的吗？我换用fp32模型仍然没有明显改善。

[lovemefan]

感谢提供的信息和思路。本地可以稳定复现，该效果不符合预期，初步排查应该是vad切分后音频数据的问题，不是模型问题。感谢反馈，我会尽快修复

[lovemefan]

排查发现是音频采样率不对，转成16kHz之后正常

[0.19-2.05] <|zh|><|HAPPY|><|Speech|><|withitn|>师傅教我的枪法很厉害吧。
[2.66-4.67] <|zh|><|HAPPY|><|Speech|><|withitn|>你想学的话，我也可以交给你哦。
[5.60-7.04] <|zh|><|NEUTRAL|><|Speech|><|withitn|>不过说到这个。
[7.42-9.47] <|zh|><|HAPPY|><|Speech|><|withitn|>要是你愿意跟我学厨就好了。
[9.92-13.31] <|zh|><|HAPPY|><|Speech|><|withitn|>我的这些技巧和配方要流传的远远的才好呢。

[finneyyan]

排查发现是音频采样率不对，转成16kHz之后正常

不是框架本身的问题是吗？我看没有修复PR，我应该怎么做？

[lovemefan]

音频需要转换成采样率16000，单通道，wav格式文件

ffmpeg -i input.wav -ar 16000 -ac 1 output.wav

[finneyyan]

音频需要转换成采样率16000，单通道，wav格式文件

我按照您提供的方法成功进行了识别，效果令人满意，非常感谢。有个疑问，所以这算是音频文件的问题吗？我又找了两个.wav文件也有同样的问题，直接运行效果很差，按照上述命令转换后再运行就可以了

[lovemefan]

音频需要转换成采样率16000，单通道，wav格式文件

我按照您提供的方法成功进行了识别，效果令人满意，非常感谢。有个疑问，所以这算是音频文件的问题吗？我又找了两个.wav文件也有同样的问题，直接运行效果很差，按照上述命令转换后再运行就可以了

是的，模型只支持采样率为16000的音频输入，而麦克风录制的通常为48000或44100采样率，需要转换