TensorFlow模型服务

经过数据科学家和数据工程师之间一系列的讨论，我们明确了一些核心需求：

• 预测时的低延迟

• 横向可扩展

• 适合我们的微服务架构

• 可以使用A/B测试不同版本的模型

• 可以与更新版本的TensorFlow兼容

• 支持其他TensorFlow模型，以支持未来的数据产品

TensorFlow Serving

经过网上的调研之后，Google的TensorFlow Serving成为我们首选的模型服务。TensorFlow Serving用C++编写，支持机器学习模型服务。开箱即用的TensorFlow Serving安装支持：

• TensorFlow模型的服务

• 从本地文件系统扫描和加载TensorFlow模型

TensorFlow Serving将每个模型视为可服务对象。它定期扫描本地文件系统，根据文件系统的状态和模型版本控制策略来加载和卸载模型。这使得可以在TensorFlow Serving继续运行的情况下，通过将导出的模型复制到指定的文件路径，而轻松地热部署经过训练的模型。

根据这篇Google博客中报告的基准测试结果，他们每秒记录大约100000个查询，其中不包括TensorFlow预测处理时间和网络请求时间。

有关TensorFlow Serving架构的更多信息，请参阅TensorFlow Serving文档。