cVector向量計(jì)算一體機(jī)是一種面向億級(jí)以上向量計(jì)算場(chǎng)景的高性能向量存儲(chǔ)、計(jì)算一體化平臺(tái)，采用并行計(jì)算架構(gòu)，融合高密度混合服務(wù)硬件，實(shí)現(xiàn)對(duì)大規(guī)模向量數(shù)據(jù)的計(jì)算和比對(duì)，相較于通過(guò)GPU、向量數(shù)據(jù)庫(kù)進(jìn)行向量計(jì)算，cVector向量計(jì)算一體機(jī)在入庫(kù)效率、計(jì)算性能方面優(yōu)勢(shì)突出，可廣泛應(yīng)用于人工智能大模型、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等領(lǐng)域。
產(chǎn)品介紹
產(chǎn)品架構(gòu)
cVector向量計(jì)算一體機(jī)基于大數(shù)據(jù)分布式實(shí)時(shí)計(jì)算框架，結(jié)合定制化高密度計(jì)算硬件，實(shí)現(xiàn)大規(guī)模AI任務(wù)的分發(fā)與計(jì)算結(jié)果匯聚，保證計(jì)算任務(wù)執(zhí)行的高效和穩(wěn)定。其采用全量計(jì)算的方式，基于特征向量計(jì)算算法以及分布式集群處理資源調(diào)度技術(shù)，實(shí)現(xiàn)了海量特征庫(kù)條件下1：N對(duì)比任務(wù)的高效分解與并行處理，可將單個(gè)任務(wù)響應(yīng)效率提升到0.1秒級(jí)。對(duì)于通過(guò)向量數(shù)據(jù)庫(kù)軟件需要幾千個(gè)時(shí)鐘周期的向量計(jì)算，該一體機(jī)只需很少的時(shí)鐘周期即可完成。
產(chǎn)品特性
測(cè)試證明
以下是中國(guó)軟件評(píng)測(cè)中心對(duì)cVector向量計(jì)算一體機(jī)與3款主流向量數(shù)據(jù)庫(kù)在入庫(kù)速度、查詢速度、準(zhǔn)確性等維度進(jìn)行的性能測(cè)試對(duì)比。
準(zhǔn)確性
在“cVector 向量計(jì)算一體機(jī) V1.0”、向量數(shù)據(jù)庫(kù)A、向量數(shù)據(jù)庫(kù)B和向量數(shù)據(jù)庫(kù)C中存儲(chǔ)相同的 1000 萬(wàn)條的 256 維向量數(shù)據(jù)，分別查詢與目標(biāo)向量的歐氏距離最短的 10 條向量，對(duì)比結(jié)果顯示各自返回的 10 條向量與目標(biāo)向量的距離值均相同。
測(cè)試結(jié)論
“向量計(jì)算數(shù)據(jù)庫(kù)驗(yàn)證平臺(tái) V1.0”性能效率符合《向量計(jì)算數(shù)據(jù)庫(kù)驗(yàn)證平臺(tái)測(cè)試需求V1.0》的相關(guān)要求，在現(xiàn)場(chǎng)測(cè)試過(guò)程中，系統(tǒng)運(yùn)行穩(wěn)定，通過(guò)了中國(guó)軟件評(píng)測(cè)中心（工業(yè)和信息化部軟件與集成電路促進(jìn)中心）的單項(xiàng)性能測(cè)試?！?/p>
根據(jù)測(cè)試報(bào)告結(jié)果，cVector向量計(jì)算一體機(jī)在千萬(wàn)級(jí)特別是億級(jí)以上規(guī)模的入庫(kù)和查詢等方面具有顯著的性能優(yōu)勢(shì)，可幫助提高大模型推理的服務(wù)性能和服務(wù)質(zhì)量，并能明顯降低其基礎(chǔ)設(shè)施建設(shè)成本，幫助類ChatGPT等人工智能企業(yè)以更優(yōu)的性價(jià)比解決算力不足的問(wèn)題。
技術(shù)規(guī)格
應(yīng)用場(chǎng)景
基于硬件的cVector向量計(jì)算一體機(jī)，實(shí)現(xiàn)了高效的向量數(shù)據(jù)存儲(chǔ)、索引和比對(duì)，與向量數(shù)據(jù)庫(kù)相比，cVector向量計(jì)算一體機(jī)入庫(kù)速度和查詢速度更快，處理規(guī)模更大，檢索結(jié)果更為精準(zhǔn)，可廣泛用于大語(yǔ)言模型、自然語(yǔ)言理解、大規(guī)模人臉識(shí)別等多種場(chǎng)景。
大語(yǔ)言模型支撐
cVector向量計(jì)算一體機(jī)將數(shù)據(jù)轉(zhuǎn)化為向量進(jìn)行保存與搜索，為大語(yǔ)言模型的訓(xùn)練和推理提供高效的相似性搜索能力，具備短時(shí)記憶和定向等功能，在不進(jìn)行推理的情況下直接返回結(jié)果，幫助大模型減輕訪問(wèn)壓力、提升實(shí)時(shí)理解數(shù)據(jù)能力、提高輸出準(zhǔn)確性、提升服務(wù)質(zhì)量、過(guò)濾敏感內(nèi)容等，有助于解決當(dāng)前同等投入規(guī)模情況下，僅依靠GPU不足以支撐大模型推理所需算力的難題。
文本相似度計(jì)算
cVector向量計(jì)算一體機(jī)根據(jù)向量的相似度排序返回與檢索對(duì)象相近的結(jié)果，支持基于文本的快速比對(duì)。針對(duì)千萬(wàn)級(jí)甚至上億量級(jí)的文本數(shù)據(jù)庫(kù)，結(jié)果返回速率達(dá)到0.1秒級(jí)，可廣泛應(yīng)用于資料查詢、專利搜索、電子病歷檢索、法律文獻(xiàn)檢索、學(xué)術(shù)文獻(xiàn)檢索、論文查重等多種場(chǎng)景。
圖像視頻檢索
cVector向量計(jì)算一體機(jī)能夠支持多種深度學(xué)習(xí)模型，具備對(duì)海量圖片和視頻的高性能分析檢索能力，通過(guò)訓(xùn)練可以精準(zhǔn)地提取圖片、視頻中的特征并進(jìn)行分類、打標(biāo)簽等應(yīng)用，從而輕松實(shí)現(xiàn)圖片檢索、圖片去重、視頻去重、以圖搜圖等功能。
音頻數(shù)據(jù)處理
cVector向量計(jì)算一體機(jī)支持對(duì)相關(guān)音頻切片進(jìn)行向量化處理并通過(guò)向量距離的計(jì)算，判斷其表達(dá)的含義，實(shí)現(xiàn)對(duì)語(yǔ)音、音樂(lè)等音頻數(shù)據(jù)的處理，可廣泛應(yīng)用于語(yǔ)音識(shí)別、語(yǔ)音驗(yàn)證、智能翻譯、會(huì)議轉(zhuǎn)錄等多個(gè)場(chǎng)景。
智能問(wèn)答
cVector向量計(jì)算一體機(jī)支持快速入庫(kù)和存儲(chǔ)自然語(yǔ)言處理語(yǔ)義分析模型的語(yǔ)義特征向量數(shù)據(jù)，支持快速比對(duì)問(wèn)題庫(kù)的向量和提問(wèn)問(wèn)題的語(yǔ)義特征向量，通過(guò)向量特征的匹配實(shí)現(xiàn)智能問(wèn)答，支持智能客服、智能語(yǔ)音助手、醫(yī)療輔助問(wèn)答等應(yīng)用場(chǎng)景。
個(gè)性化推薦
cVector向量計(jì)算一體機(jī)能夠?yàn)橘?gòu)物網(wǎng)站、視頻網(wǎng)站、新聞網(wǎng)站的推薦系統(tǒng)進(jìn)行賦能，將購(gòu)物網(wǎng)站、視頻網(wǎng)站和新聞網(wǎng)站的海量數(shù)據(jù)轉(zhuǎn)化為向量后進(jìn)行快速比對(duì)，實(shí)時(shí)分析用戶的偏好和行為模式，精準(zhǔn)地為用戶推薦個(gè)性化的商品、視頻和新聞內(nèi)容，提供更加智能和準(zhǔn)確的推薦服務(wù)。
