国产毛片a精品毛-国产毛片黄片-国产毛片久久国产-国产毛片久久精品-青娱乐极品在线-青娱乐精品

合合信息發(fā)布大模型加速器,破解國內(nèi)大模型產(chǎn)業(yè)“語料荒”難題

發(fā)布時(shí)間:2024-9-19 17:57    發(fā)布者:ztlss

      近日,合合信息在WAIC 2024上發(fā)布了用于大模型語料訓(xùn)練的“加速器”產(chǎn)品——TextIn智能文檔處理平臺(tái)。合合信息的思路是,從“煉丹”源頭的燃料出發(fā),通過標(biāo)準(zhǔn)化平臺(tái)進(jìn)行語料結(jié)構(gòu)化,提高數(shù)據(jù)預(yù)訓(xùn)練效率,幫助大模型廠商達(dá)成有效的模型性能提升和迭代。

  國內(nèi)的大模型產(chǎn)業(yè)處于高速發(fā)展時(shí)期,面向各個(gè)細(xì)分領(lǐng)域的大模型如雨后春筍辦涌現(xiàn),例如處理文檔的kimi、豆包,用于制作ppt的天工、萬知,但做到與chatgpt媲美確非常困難。業(yè)內(nèi)人士對這個(gè)現(xiàn)象的解釋是,高質(zhì)量的中文數(shù)據(jù)集實(shí)在緊缺,訓(xùn)模型時(shí)只能直接購買外文標(biāo)注數(shù)據(jù)集或者直接采集開源的國外語料庫作為外援。一旦“進(jìn)口語料”加入的訓(xùn)練參數(shù)量多了,就會(huì)出現(xiàn)跟ChatGPT相似的回答方式。

  國內(nèi)外大模型數(shù)據(jù)集主要為英文,均源于許多開源數(shù)據(jù)集進(jìn)行訓(xùn)練,如Common Crawl、RedPajama、BooksCorpus、The Pile、ROOT等。這部分?jǐn)?shù)據(jù)雖然量多,但質(zhì)量上卻良莠不齊。一大優(yōu)質(zhì)的中文語料數(shù)據(jù),沉睡在報(bào)告、論文、報(bào)紙等文檔里。

  為緩解語料荒困境,合合信息推出了用于大模型語料訓(xùn)練的“加速器”產(chǎn)品——TextIn智能文檔處理平臺(tái)。在訓(xùn)練前期階段,使用“加速器”文檔解析引擎,破解書籍、論文、研報(bào)等文檔中的版面解析障礙,為模型訓(xùn)練與應(yīng)用輸送純凈的“燃料”;同時(shí),“加速器”搭載了文本向量化模型,以解決大模型“已讀亂回”的幻覺問題。

  合合信息此次發(fā)布的大模型“加速器TextIn智能文檔處理平臺(tái),由TextIn文檔解析、TextIn Embedding(文本向量數(shù)據(jù)模型)以及OpenKIE三大工具組成。從獲得海量數(shù)據(jù)到高價(jià)值數(shù)據(jù),預(yù)訓(xùn)練階段的語料處理十分關(guān)鍵。這意味著,作為一個(gè)平臺(tái)型產(chǎn)品,向大模型廠商和開發(fā)者“遞鏟子”,其基礎(chǔ)的工具能力是否足夠扎實(shí),關(guān)系到種子用戶的購買意愿。

  基于這一思路,合合信息在產(chǎn)品設(shè)計(jì)階段提前做了幾件事。首先是場景前置,在未個(gè)性化階段提前給模型補(bǔ)充大量優(yōu)質(zhì)的垂直領(lǐng)域Know-how,比如金融、法律、教育等,關(guān)注特定行業(yè)中的普遍痛點(diǎn),基于用戶訴求在產(chǎn)品設(shè)計(jì)時(shí)提供解決方案,進(jìn)而提高大模型加速器在核心應(yīng)用場景中表現(xiàn)能力。二是專注產(chǎn)品化,不只對客戶提供通用場景的API,而是提供更多工具型產(chǎn)品,降低應(yīng)用門檻,做到開箱即用,這對技術(shù)資源較為薄弱的傳統(tǒng)企業(yè)、中小創(chuàng)業(yè)公司或個(gè)人開發(fā)者來說非常友好。

  大模型變革的浪潮里,以數(shù)據(jù)為中心,成為行業(yè)人士從事大模型研發(fā)和應(yīng)用的共識(shí)。具體到實(shí)踐層面,大模型上游階段在文本解析、邏輯版面、文檔問答等方面,仍有很多的提升工作可以做。

  未來,合合信息將繼續(xù)依托技術(shù)優(yōu)勢,面向人工智能產(chǎn)業(yè)的不足提出解決辦法,助力大模型產(chǎn)業(yè)持續(xù)健康發(fā)展。


本文地址:http://www.qingdxww.cn/thread-872019-1-1.html     【打印本頁】

本站部分文章為轉(zhuǎn)載或網(wǎng)友發(fā)布,目的在于傳遞和分享信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對其真實(shí)性負(fù)責(zé);文章版權(quán)歸原作者及原出處所有,如涉及作品內(nèi)容、版權(quán)和其它問題,我們將根據(jù)著作權(quán)人的要求,第一時(shí)間更正或刪除。
您需要登錄后才可以發(fā)表評論 登錄 | 立即注冊

廠商推薦

  • Microchip視頻專區(qū)
  • Dev Tool Bits——使用MPLAB® Discover瀏覽資源
  • Dev Tool Bits——使用條件軟件斷點(diǎn)宏來節(jié)省時(shí)間和空間
  • Dev Tool Bits——使用DVRT協(xié)議查看項(xiàng)目中的數(shù)據(jù)
  • Dev Tool Bits——使用MPLAB® Data Visualizer進(jìn)行功率監(jiān)視
  • 貿(mào)澤電子(Mouser)專區(qū)
關(guān)于我們  -  服務(wù)條款  -  使用指南  -  站點(diǎn)地圖  -  友情鏈接  -  聯(lián)系我們
電子工程網(wǎng) © 版權(quán)所有   京ICP備16069177號(hào) | 京公網(wǎng)安備11010502021702
快速回復(fù) 返回頂部 返回列表
主站蜘蛛池模板: 日韩亚洲欧美视频 | 国产一级特黄aa大片高清 | 黄页网址大全免费观看22 | 国产免费观看a大片的网站 国产免费高清在线精品一区 | 久久免费播放视频 | 四虎四虎 | 99成人在线 | 亚洲涩涩视频 | 99视频免费观看 | 狠狠色综合色综合网站久久 | 成人在线中文字幕 | 久久久高清日本道免费观看 | 国产精品三区四区 | 狠狠色综合网站久久久久久久 | 四虎影视黄色 | 欧美激情视频一区二区 | aaa在线观看视频高清视频 | 国产麻豆一级在线观看 | 欧美呻吟 | 国产免费一区二区三区免费视频 | 日韩高清在线播放不卡 | 黄片毛片一级 | 日本精品一区二区三区在线视频一 | 亚洲精品欧美日韩 | 4虎最新网站 | 在线观看中文字幕国产 | 四虎影院黄色 | 在线播放国产视频 | 99热都是精品 | 久久精品国产2020 | 欧美一级特黄aaa大片 | 欧美国产综合视频在线观看 | 色婷婷综合缴情综六月 | 国产免费高清在线精品一区 | 亚洲线精品久久一区二区三区 | 一区二区手机视频 | 一区二区三区四区视频在线 | 亚洲欧美日本在线 | 日木毛片 | 性色a v 一区| 欧美一区二区三区gg高清影视 |