服务器:Triton Inference Server提供了优化的云和边缘推理解决方案 源码

Triton推理服务器 最新版本:您目前在master分支上,该分支跟踪开发进度到下一发行版。 Triton Inference Server的最新版本是2.5.0,可在分支上。 Triton Inference Server提供了针对CPU和GPU优化的云和边缘推理解决方案。 Triton支持HTTP / REST和GRPC协议,该协议允许远程客户端为服务器管理的任何模型请求推理。 对于边缘部署,Triton可以作为具有C API的共享库使用,该API允许Triton的全部功能直接包含在应用程序中。 Triton Inference Server的当前版本为2.5.0,与上的triton