云財(cái)經(jīng)訊，2025年1月26日，百川智能宣布正式上線Baichuan-Omni-1.5開(kāi)源全模態(tài)模型。該模型不僅支持文本、圖像、音頻和視頻的全模態(tài)理解，還具備文本和音頻的雙模態(tài)生成能力。在視覺(jué)、語(yǔ)音及多模態(tài)流式處理等方面，Baichuan-Omni-1.5的表現(xiàn)均優(yōu)于GPT-4。交互型多模態(tài)大模型是指跨越單一模態(tài)的限制，支持文本、音頻、圖像、視頻等模態(tài)任意組合的輸入輸出，能做出實(shí)時(shí)的、“類人”的理解和反饋，可以跟人無(wú)障礙交流的大模型。西部證券分析師認(rèn)為，應(yīng)用是連接人類意圖與信息及技術(shù)實(shí)現(xiàn)的媒介，其本質(zhì)是交互。在大模型迭代過(guò)程中，性能提高固然重要，但交互的升級(jí)也同樣具有重大價(jià)值，交互型多模態(tài)大模型的出現(xiàn)有望推動(dòng)人機(jī)交互變革，向更為簡(jiǎn)單的自然語(yǔ)言交互形式發(fā)展。其進(jìn)一步指出，交互型多模態(tài)大模型主要應(yīng)用場(chǎng)景包括教育、編程、醫(yī)療健康、游戲、情感陪伴等。相關(guān)上市公司拓爾思(300229)數(shù)字經(jīng)濟(jì)研究院及相關(guān)研發(fā)團(tuán)隊(duì)已經(jīng)完成康養(yǎng)大模型第一版本的訓(xùn)練，加入了情感支持、主動(dòng)問(wèn)答以及多模態(tài)的能力，正在與虛擬人進(jìn)行整合。