端侧AI推理,高效部署PyTorch模子:民间新工具开源,Meta已经用上了
ExecuTorch 是端侧一个端到真个处置妄想,可能在挪移以及边缘配置装备部署(搜罗可衣着配置装备部署、推理手机等)上实现推理功能 。高效
在 2023 年 PyTorch 大会上,部署一个深受巨匠体贴的模民间推理下场患上到了很好的处置 ,会上宣告了一个用于在边缘以及挪移配置装备部署上实现 AI 推理的新工处置妄想 :ExecuTorch,而且仍是具开经用开源的 ,而增长这一钻研的源Ma已,正是端侧 Meta AI 与 PyTorch 基金会 。
ExecuTorch 地址:https://github.com/pytorch/executorch
学习文档 :https://pytorch.org/executorch/stable/index.html
随着 ExecuTorch 的推理开源,预示着 AI 运用挨次在配置装备部署受骗地运行 、高效而需衔接到效率器或者云成为可能。部署咱们可能将 ExecuTorch 清晰成一个 PyTorch 平台 ,模民间其能提供根基配置装备部署来运行 PyTorch 挨次,新工从 AR/VR 可衣着配置装备部署到尺度的具开经用 iOS 以及 Android 配置装备部署的挪移部署。
ExecuTorch 最大优势是可移植性,可能在挪移以及嵌入式配置装备部署上运行。不光如斯 ,ExecuTorch 还可能后退开拓职员的使命功能。
据清晰 ,Meta 曾经履历证了这项技术 ,并将其用于最新一代的雷朋智能眼镜,而这款眼镜也是 Meta 最近宣告的 Quest 3 VR 头显的一部份。Meta 展现,作为开源 PyTorch 名目的一部份,他们旨在进一步增长该技术的钻研 ,从而迈入在配置装备部署上实现 AI 推理的新时期。
Facebook 独创人、Meta 董事长兼首席实施官扎克伯格展现 :「作为开源 AI 使命的一部份 ,咱们与 PyTorch 基金会及其行业相助过错一起开源了 ExecuTorch 。这一变更预示着将 PyTorch 引入了手机以及可衣着配置装备部署等边缘合计平台。ExecuTorch 使 AI 模子可能直接在配置装备部署上运行,而无需衔接到效率器。」
Meta 软件工程师 Mergen Nachin 指出,「明天的 AI 模子正在从效率器扩展到边缘配置装备部署,如挪移配置装备部署、AR 、VR 以及 AR 头显 、可衣着配置装备部署、嵌入式零星等。ExecuTorch 经由提供端到真个使命流来优化当地挨次,从而处置边缘配置装备部署碰着的挑战 。」
ExecuTorch 关键组件
ExecuTorch 提供了松散的运行时以及轻量级操作注册表,以拆穿困绕 PyTorch 模子生态零星,以及在边缘配置装备部署上实施 PyTorch 挨次的简化道路 。此外 ,ExecuTorch 还附带 SDK 以及工具链 ,为 ML 开拓职员提供了更好的用户体验。
作为 PyTorch Edge 生态零星的一部份,ExecuTorch 可能实用地将 PyTorch 模子部署到边缘配置装备部署 。ExecuTorch 的短处搜罗 :
可移植性:与种种合计平台兼容,从高端挪入手机到高度受限的嵌入式零星以及微操作器 。
后退花难题:开拓职员可能运用相同的工具链以及 SDK,从而后退花难题。
后退功能:由于轻量级运行时以及短缺运用 CPU、NPU 以及 DSP 等硬件功能,为最终用户提供了无缝以及高功能的体验 。
由于 ExecuTorch 严正依赖 PyTorch 相关知识,因此,想要熟练把握 ExecuTorch ,还需延迟填补相关知识 。民间文档已经提供了入门级教程 。好比,在构建 ExecuTorch Android 演示运用挨次示例之中 ,巨匠可能追寻教育教程,从而熟习若何运用 ExecuTorch。
最后,需要揭示巨匠的一点是,本次宣告的 ExecuTorch 是一个预览版本 ,在测试以及评估中可能运用,可是不建议在破费情景中运用。PyTorch 团队招待来自社区的任何反映、倡讲以及过错陈说 ,以辅助他们改善技术 。
(责任编辑:休闲)
下一篇:亚冠罚单将至浙江残阵南征墨尔本 莱昂纳多停8场?泰国“流亡女总理”英拉,成了中国名企董事长?你看她的背后是谁
- ·原创 凌晨3点,强援终于到位,新辽篮要腾飞,CBA历史得分王首秀PK汤杰
- ·如果你想去皇家马德里,就去吧
- ·瓜亚基尔巴塞罗那VS波特诺山丘 瓜亚基尔巴塞罗那占据心理优势
- ·NBA | 斯玛特被送至灰熊 凯尔特人夺冠拼图有变穿内衣就算了,输血管我也忍了,那个戴口罩的,真拿观众当傻子呢
- ·中超-莫雷拉托处子球杨博宇扳平,支云1-1结束连败,深圳2轮不败
- ·早报:曼联总价6000万镑敲定芒特
- ·梅西刚走,姆巴佩又要离开,法媒:巴黎圣日耳曼俱乐部高层愤怒王宝强儿子终于长大,近照曝光后全网震惊:谁是生父,太明显了!
- ·公牛插座,安全可靠的家居伙伴陈建州丑闻曝光:尝过刘若英母乳,全裸骚扰S妈,4人激情视频辣眼
- ·活塞就只赢了2场,看看赢的哪2个“倒霉蛋”?
- ·原创季前赛:火箭击退热火收官取4胜1负 阿门19+7申京16+12+4帽
- ·原创 中国天黑最晚的地方,晚上10点太阳刚落山,熬夜睡懒觉是常态
- ·大逆转!湖人谢绝2连败,KD空砍39分,詹眉砍51+21+11带队拿首胜
- ·追赶spaceX 国内首个可重复使用技术验证火箭复用飞行成功新京报2023-12-11 10:44新京报2023-12-11 10:44
- ·水拉两战28中10情景之外!美媒建议用作哈登生意筹码:4换1组三巨
- ·原创 利拉德全场梦游12中2!老鹰8人得分上双狂胜雄鹿!字母哥砍26+11
- ·他的加盟,直接拯救了湖人OK组合,成就了湖人三连冠王朝拿千万片酬却用三十多个替身,拍戏只会读123,骑马都骑人脖子
- ·原创 季中赛步行者为什么打不过湖人?球迷赛后一席话说得很实在
- ·内线紧迫!Shams:灰熊妄想签约中锋比永博
- ·快船未来6天4战,主场以逸待劳,PK开拓者+勇士+国王+尼克斯
- ·巴萨1-2皇马,贝林厄姆双响 绝杀,京多安闪击
- ·吉鲁双响米兰失好局 皮奥利对球队失去控制了吗?爸爸给孩子取名“宇凡”,护士手误多加一笔,妈妈大喜:不改了
- ·西甲预测雷亚尔竞技场掀起火花!皇家社会迎战塞维利亚陪睡12年无果,被谢贤2000万打发,如今38岁的coco过得怎么样了?
- ·曼彻斯特双雄一悲一喜,“蓝月”憾负维拉,“红魔”力克“蓝军”被老虎舔一下有什么下场?看到这块冰块,瞬时起了一身鸡皮疙瘩
- ·2402人!北京马拉松“破三”选手人数缔造新记实
- ·日照东方太阳城丨工业研学游——看钢铁是怎样炼成的张智霖被带走,袁咏仪立马卷钱跑路,正式提出离婚!拒绝救张智霖
- ·春天吃甚么好?早饭首选喝养生粥
- ·狂轰37+4+12!罗齐尔天神下凡,篮网惨遭逆转,布里奇斯空砍22+9人和猩猩能不能生出孩子?前苏联的‘人兽杂交’实验揭秘!
- ·原创 7投0中6失误!那就恭喜湖人咯!