ITADN

accelerate tta inference; fix bug

#12Pull Requestqiuqiao 创建于 2024-04-05已合并
Q
qiuqiaocommented
实现了batch推理、batch解码,加速了tta选项开启后的推理速度。 修复了打开tta选项后,设备为cuda时程序会报错的错误。
合并状态:已合并 合并于 2024-04-05 关闭于 2024-04-05 0 条评论