为什么说“当前Inference场景中,无论用户直接使用TFServing还是使用TF提供的C++接口调用Session::Run,都无法实现多个Session并发处理Request”
The DeepRec docs are open source! To get involved, read the user documents: https://deeprec.readthedocs.io/en/latest/index.html
**URL(s) with the issue**
**Description of issue (what needs changing)**
如题, Session::Run内部有锁之类的操作, 使得统一时刻发出的多个Session::Run调用必须排队吗?
0 条评论