ITADN

为什么说“当前Inference场景中,无论用户直接使用TFServing还是使用TF提供的C++接口调用Session::Run,都无法实现多个Session并发处理Request”

#1009OpenNov11 创建于 2024-09-25
N
Nov11commented
The DeepRec docs are open source! To get involved, read the user documents: https://deeprec.readthedocs.io/en/latest/index.html **URL(s) with the issue** **Description of issue (what needs changing)** 如题, Session::Run内部有锁之类的操作, 使得统一时刻发出的多个Session::Run调用必须排队吗?
0 条评论