近期,騰訊會議與聯發科技宣布達成戰略合作,聯合推出了基于天璣平臺的虛擬背景功能,創新將虛擬背景技術與強大的AI算力相結合,開創了移動端會議的新紀元。這一版本運行于天璣移動平臺的NPU,使得會議體驗不僅更加智能化和高效,同時在安全性上也有了顯著提升。此次軟硬件生態的聯合優化,為用戶帶來了全新的會議方式,也為業內AI應用的進一步探索提供了寶貴的實踐案例。 在本次合作中,聯發科技的天璣移動平臺為虛擬背景功能提供了強大的AI性能底座。天璣移動平臺面向智能手機、平板電腦等移動設備,擁有高智能、高性能、高能效、低功耗卓越特性。最新發布的天璣9400集成聯發科技第八代 AI 處理器 NPU 890,提供遠超以往的AI 性能和能效。此外,天璣9400 還支持時域張量(Temporal Tensor)硬件加速技術、端側高畫質視頻生成技術,強勁的端側Stable Diffusion性能,不僅能夠實現高分辨率生圖,更支持端側動圖和視頻生成,實現更多創新玩法。 ![]() 【聯發科技天璣9400移動平臺集成先進的AI 處理器 NPU 890】 騰訊會議的虛擬背景功能是一種基于人像分割技術的運用,在進行視頻會議時,騰訊會議將自動識別參會人,并將參會人周圍的環境替換為指定圖像或視頻 ,在對參會人員進行隱私保護的同時,也提升了會議趣味。虛擬背景功能還可以取代布展背景墻,可有效節約會議成本。 此次騰訊會議基于天璣移動平臺NPU上實現的AI人像分割技術,采用了自建的多樣性數據集,涵蓋了豐富多樣的人物樣本和場景環境,以確保能夠在各種實際應用場景中實現穩定而精準的人像分割。同時在模型設計上,騰訊會議追求輕量化和高計算性價比,采用先進的卷積神經網絡架構,并結合注意力機制與重參數化等技術,確保用戶無論使用何種設備,都能享受到流暢且準確的人像分割體驗。 ![]() 【騰訊會議APP端-虛擬背景設置】 此次雙方的深度合作,共同針對模型在GPU架構和NPU架構的運行能力進行了協同優化,顯著提升了處理速度和能效表現,為用戶提供了更加流暢和高效的體驗。 聯發科技不僅在芯片硬件層面提供了強大的NPU算力支持,還為騰訊會議提供了天璣AI開發套件NeuroPilot軟件工具和API。通過聯發科技的一站式軟件解決方案NeuroPilot,為騰訊會議提供了模型量化、轉換、編譯和集成的完整工具鏈(SDK/API/Document),使之可在天璣移動平臺上高效開發和部署基于神經網絡的AI應用程序,極大簡化了騰訊會議基于AI的應用程序開發步驟。 為了讓模型網絡中更多計算運行在高性能的天璣移動平臺NPU,騰訊會議對自研模型中的自定義模塊進行調整和替換,以充分發揮天璣移動平臺NPU的AI性能。此外,雙方還共同設計模型最大并行度,以進一步提升AI應用在天璣移動平臺NPU上的執行效率。經雙方聯合優化,虛擬背景功能運行在天璣移動平臺NPU的版本相對CPU FP16模式版本性能提升可達3.5倍至4倍,耗時也縮短到6毫秒內。同時,降低功耗還有助于減少手機發熱,為長時間會議提供更好的續航保障。 騰訊會議智能應用研發中心負責人左小祥表示:長期以來,除了通過AI算法在軟件層優化性能,騰訊會議與芯片設計廠商積極合作,探索在硬件層提升性能與優化用戶體驗的更多可能。本次與聯發科技的合作,憑借天璣移動平臺強大的AI算力支持,將騰訊會議的AI人像分割模型遷移至天璣AI引擎上運行,AI算法運行更快的同時,還大幅降低算法的CPU占用,節省更多CPU資源。騰訊會議將持續發力AI技術應用的前沿探索,并在軟硬件生態的更多合作中,為用戶打造更優開會體驗,目前,騰訊會議已經在天璣9400、天璣9300、天璣9200、天璣9000等多個平臺上線虛擬背景的端側NPU版本。歡迎廣大使用天璣移動平臺設備的用戶下載騰訊會議APP,體驗高效AI加持的開會模式。 聯發科技與騰訊會議的深度合作展示了軟硬件協同的巨大潛力,尤其是在移動端AI算力的應用場景中取得了令人矚目的成果。雙方的合作不僅提升了用戶的實際體驗,也為未來更多功能的拓展和技術創新奠定了堅實的基礎。隨著合作的深入,聯發科技與騰訊會議將持續推動更智能的會議解決方案,在天璣平臺上為用戶帶來卓越的會議體驗。 |