DevilKing's blog

冷灯看剑,剑上几分功名?炉香无需计苍生,纵一穿烟逝,万丈云埋,孤阳还照古陵

0%

Serverless inferencing on k8s

原文链接

Seldon core

  • Model
  • Router
  • Combiner
  • Transformer
  • Output_Transformer

Router 是一个路由组件,但是除了路由功能之外,其还接受来自各个路由的节点的 reward feedback(激励反馈),支持实现多臂老虎机的逻辑

Combiner 是一个跟 Router 类似的组件,区别在于它不是路由到某个节点,而是将其下所有的节点的输出进行结合,输出一个结合后的唯一的返回

Transformer 和 Output_Transformer 是类似的组件,负责做输入与输出的转换,可以理解为是预处理和后处理的过程。

用户会通过 POST 调用 /api/v1.0/predictions 来访问这一推理图。请求会首先到达 Engine。Engine 会根据推理图的拓扑序,依次访问不同的组件。在这一例子中,首先调用 Transformer 提供的 /transform-input 接口,进行特征转换,随后调用 Router 选择出最优的模型实例。随后,将 Transformer 处理后的 Response 作为 Request 转发给最优模型,最后得到输出,并且发回给用户

repo地址