检测不同类别时的文本编码问题

[songhc8]

谢谢分享你的工作，
我有个问题，在样例代码里没有发现有把text转为token的过程，代码里显式使用了计算好的token，这部分工作有完善的计划吗？
如果使用其他的tokenizer集成到代码里完成动态的text2token的过程，比如使用tokenizers-cpp库,会影响检测结果吗？
谢谢

[songhc8]

我好像理解错误，在转onnx和tensort的时候已经限定了类别。后面用trt测试的时候是没办法动态更改类别的。这样就限制它在实际场景中的应用了。

[wsx1q]

我好像理解错误，在转onnx和tensort的时候已经限定了类别。后面用trt测试的时候是没办法动态更改类别的。这样就限制它在实际场景中的应用了。

第一个评论里我已经做过了

[dataplayer12]

我好像理解错误，在转onnx和tensort的时候已经限定了类别。后面用trt测试的时候是没办法动态更改类别的。这样就限制它在实际场景中的应用了。

@songhc8 this is not true anymore. the prompt can be specified at runtime, it is not hardcoded in the engine anymore. Please re-export the onnx and build the engine based on the latest main branch. That being said, you are right that the prompt calculation is tedious and not friendly right now. I will add a feature to do so this weekend