F5与Intel联合提升AI推理与安全管理
文章重点
F5与Intel合作，结合NGINX Plus与OpenVINO工具包，提升AI推理的安全性与流量管理能力。通过这一整合，用户可实现高度安全及可扩展的AI推理模型部署。Intel的基础设施处理单元IPU将为边缘应用提供更高的性能与低延迟。信用：Frame Stock Footage / Shutterstock
F5近日宣布正与Intel合作，为客户提供开发和安全传递AI推理模型与工作负载的新途径。
具体而言，双方将把F5的NGINX Plus套件的安全性和流量管理能力与Intel的OpenVINO工具包及其基础设施处理单元IPU结合起来。此解决方案将为用户在先进AI推理开发中提供保护、可扩展性和性能。
NGINX Plus是F5的一款应用安全套件，包含软件负载均衡器、内容缓存、Web服务器、API网关和微服务代理，旨在保护分布式网络和移动应用程序。
OpenVINO是一个开源工具包，能够加速AI推理，并允许开发者使用使用流行框架如TensorFlow、PyTorch、ONNX等训练的AI模型。OpenVINO模型服务器采用Docker容器技术，可以在集群环境中部署，以处理高推理负载并根据需要进行扩展。
根据Intel的说明：“OpenVINO模型服务器支持远程推理，使客户端能够对部署在远程服务器上的模型进行推理。”这一特性非常适用于分布式应用或需要在强大服务器上进行AI推理，而客户端设备资源有限的场景。
Intel的基础设施处理单元IPUs是硬件加速器，能够从服务器CPU中卸载多种任务，如数据包处理、流量整形和虚拟交换。
F5与Intel整合的解决方案现已推出，对于边缘应用特别有利，如视频分析和物联网IoT，因为低延迟和高性能至关重要。F5首席技术官Kunal Anand在博客中提到这项技术的好处。
Anand写道：“F5 NGINX Plus作为反向代理，为AI模型服务器提供流量管理和保护。” 他进一步指出：“凭借高可用配置和实时健康检查，NGINX Plus能够确保来自应用、工作流或用户的请求能抵达正常运行的OpenVINO模型服务器。”
他补充道，该技术还允许使用HTTPS和mTLS证书加密用户应用与模型服务器之间的通信，而不影响整体性能。
使用OpenVINO，开发者首先可以转换模型，并进一步优化和压缩模型，以实现更快的响应。Anand解释道：“ AI模型准备就绪，可以通过将OpenVINO运行时嵌入到应用程序中，使其具有AI能力。开发者可以通过轻量级容器在数据中心、云或边缘的各种硬件架构上部署他们的AI集成应用。”
根据Intel的说法，将Intel IPU与NGINX Plus整合能够在NGINX Plus与OpenVINO服务器之间创建安全隔离。这一额外的安全层能够有效防止潜在的共享弱点，以帮助保护AI模型中的敏感数据。
Intel的IPUs与搭载Intel Xeon处理器的Dell PowerEdge R760服务器兼容。根据Anand的说法，使用Intel IPU与Dell PowerEdge R760机架服务器，可以提高OpenVINO模型服务器与F5 NGINX Plus的性能。
Anand表示：“在Intel IPU上运行NGINX Plus，凭借其硬件加速器带来性能和可扩展性。这种组合还使CPU资源得以保留给AI模型
小火箭共享id
