百度推出端侧推理引擎PaddleLite，支持华为NPU在线编译_manbext，manbext·(中国区)官方网站

2024-10-04 04:50:01

上也更为完善。目前，Paddle Lite 早已反对了 ARM CPU，Mali GPU，Adreno GPU，华为 NPU 以及 FPGA 等诸多硬件平台，是目前首个反对华为 NPU 在线编译器的深度自学推理小说框架。随着技术变革，手机等移动设备已沦为十分最重要的本地深度自学载体，然而日益异构化的硬件平台和简单的终端外侧的用于状况，让末端外侧推理小说引擎的架构能力备受挑战，末端外侧模型的推理小说往往面对着算力和内存的容许。

为了需要原始的反对众多的硬件架构，并且构建在这些硬件之上人工智能应用于性能的性能优化，百度飞桨公布了末端外侧推理小说引擎 Paddle Lite。通过建模底层计算出来模式，强化了多种硬件、分析方法、Data Layout 混合调度继续执行的能力，从而确保宏观硬件的反对能力，符合人工智能应用于落地移动端的苛刻拒绝。Paddle Lite 在架构上全新升级，并重点减少了多种计算出来模式（硬件、分析方法、Data Layout）混合调度的完善性设计，可以原始分担深度自学模型在有所不同硬件平台上的的推理小说部署市场需求，不具备高性能、多硬件、多平台、扩展性强劲等优势。

不同于其它一些独立国家的推理小说引擎，Paddle Lite 相结合飞桨训练框架及其对应的非常丰富原始的算子库，底层算子计算出来逻辑与训练严苛完全一致，模型几乎相容无风险，并可较慢反对更加多模型。它的架构主要有四层次：Model 层，必要拒绝接受 Paddle 训练的模型，通过模型优化工具转化成为 NaiveBuffer 类似格式，以便更佳地适应环境移动端的部署场景；Program 层是 Operator 序列包含的执行程序；是一个原始的分析模块，主要还包括 TypeSystem、SSA Graph 和 Passes 等模块；执行层，由 Kernel 序列包含的 Runtime Program。

值得一提的是，末端外侧推理小说引擎在人工智能应用于落地环节具有最重要影响，必要关系到用户的体验。由此，Paddle Lite 的发售对末端外侧推理小说引擎性能展开了大幅度优化提高，同时也推展了 AI 应用于在端侧的落地。原创文章，予以许可禁令刊登。

下文闻刊登须知。

本文来源：万博app|官方网站IOS/安卓通用版/手机APP，官网-www.zbstjt.com