行業(yè)背景
LLM（Large Language Model）技術(shù)是一種基于深度學(xué)習(xí)的自然語言處理技術(shù)，旨在訓(xùn)練能夠處理和生成自然語言文本的大型模型,核心思想是使用深度神經(jīng)網(wǎng)絡(luò)，通過大規(guī)模的文本數(shù)據(jù)預(yù)訓(xùn)練模型，并利用這些預(yù)訓(xùn)練模型進(jìn)行下游任務(wù)的微調(diào)或直接應(yīng)用。
LLM 技術(shù)的主要特點是可以從大規(guī)模文本數(shù)據(jù)中學(xué)習(xí)到豐富的語言知識和語言模式，使得模型能夠?qū)ψ匀徽Z言的語義、語法等進(jìn)行理解和生成，具備更強(qiáng)的語言處理能力
LLM已經(jīng)在許多領(lǐng)域產(chǎn)生了深淵的影響。在自然語言處理領(lǐng)域，它可以幫助計算機(jī)更好地理解和生成文本，包括寫文章、回答問題、翻譯語言。在信息檢索領(lǐng)域，它可以改進(jìn)搜索引擎，讓我們更輕松地找到所需的信息
LLM 技術(shù)的主要特點是可以從大規(guī)模文本數(shù)據(jù)中學(xué)習(xí)到豐富的語言知識和語言模式，使得模型能夠?qū)ψ匀徽Z言的語義、語法等進(jìn)行理解和生成，具備更強(qiáng)的語言處理能力
LLM已經(jīng)在許多領(lǐng)域產(chǎn)生了深淵的影響。在自然語言處理領(lǐng)域，它可以幫助計算機(jī)更好地理解和生成文本，包括寫文章、回答問題、翻譯語言。在信息檢索領(lǐng)域，它可以改進(jìn)搜索引擎，讓我們更輕松地找到所需的信息
行業(yè)技術(shù)
LLM主要特點
巨大的規(guī)模
LLM通常具有巨大的參數(shù)規(guī)模，可以達(dá)到數(shù)十億甚至數(shù)千億個參數(shù)。這使得它們能夠捕捉更多的語言知識和復(fù)雜的語法結(jié)構(gòu)。
預(yù)訓(xùn)練和微調(diào)
LLM采用了預(yù)訓(xùn)練和微調(diào)的學(xué)習(xí)方法。它們首先在大規(guī)模文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練（無標(biāo)簽數(shù)據(jù)），學(xué)會了通用的語言表示和知識，然后通過微調(diào)（有標(biāo)簽數(shù)據(jù)）適應(yīng)特定任務(wù)，從而在各種NLP任務(wù)中表現(xiàn)出色。
上下文感知
LLM在處理文本時具有強(qiáng)大的上下文感知能力，能力理解和生成依賴于前文的文本內(nèi)容。這使得它們在對話、文章生成和情境理解方面表現(xiàn)出色。
多模態(tài)支持
一些LLM已經(jīng)擴(kuò)展到支持多模態(tài)數(shù)據(jù)，包括文本、圖像和語音。這意味著它們可以理解和生成不同媒體類型的內(nèi)容，實現(xiàn)更多樣化的應(yīng)用。
常用模型軟件
LLaMA（7B到70B）
ChatGLM/ChatGLM 2
Qwen-7B-Chat
Qwen-14B-Chat
算力和存儲需求
對于計算精度,我們需要計算整體的計算量,基于Transformer架構(gòu),整體的計算量由前向傳播和后向傳遞組成,因此整體的通用計算量為總步數(shù)*(前向傳播+后向傳遞)=6*模型參數(shù)量*總tokens數(shù)據(jù)
?存儲
使用NVMe SSD可以顯著提高數(shù)據(jù)讀寫速度，保障數(shù)據(jù)的快速存取。
?網(wǎng)絡(luò)接口?：盡量選擇IB網(wǎng)絡(luò)作為數(shù)據(jù)傳輸網(wǎng)絡(luò)
?網(wǎng)絡(luò)接口?：盡量選擇IB網(wǎng)絡(luò)作為數(shù)據(jù)傳輸網(wǎng)絡(luò)
?內(nèi)存
足夠的內(nèi)存可以提升多任務(wù)處理能力。一般建議至少512G內(nèi)存
GPU協(xié)處理器
推薦使用支持CUDA的NVIDIA GPU，如Tesla系列
對于推理應(yīng)用,由于推理主要針對模型的優(yōu)化及并發(fā)應(yīng)用,因此我們更加推薦符合要求的硬件產(chǎn)品,具體如下:
GPU協(xié)處理器
推薦使用支持CUDA的NVIDIA GPU，如Tesla系列,可以考慮T4/A10等產(chǎn)品
?內(nèi)存
足夠的內(nèi)存可以提升多任務(wù)處理能力。一般建議至少128GB的內(nèi)存，對于高性能推理服務(wù)器，可以搭配256GB或更高的DDR5內(nèi)存
?存儲
使用NVMe SSD可以顯著提高數(shù)據(jù)讀寫速度，保障數(shù)據(jù)的快速存取。
針對于LLM中涉及到的存儲要求,由于Transformer架構(gòu)的原因,訓(xùn)練數(shù)據(jù)需要循環(huán)讀寫存儲,因此需要一套高讀寫,低延遲的及高穩(wěn)定性的存儲,傳統(tǒng)的集中存儲不推薦在本架構(gòu)中使用,我們更加推薦分布式并行系統(tǒng)
?存儲
使用NVMe SSD可以顯著提高數(shù)據(jù)讀寫速度，保障數(shù)據(jù)的快速存取,整體讀寫要求:≥2GB/S
解決方案
LLM（Large Language Model）技術(shù)是一種基于深度學(xué)習(xí)的自然語言處理技術(shù)，通過大規(guī)模的文本數(shù)據(jù)預(yù)訓(xùn)練模型使得模型能夠?qū)ψ匀徽Z言的語義、語法等進(jìn)行理解和生成，具備更強(qiáng)的語言處理能力
LLM已經(jīng)在許多領(lǐng)域產(chǎn)生了深淵的影響。在自然語言處理領(lǐng)域，它可以幫助計算機(jī)更好地理解和生成文本，包括寫文章、回答問題、翻譯語言；在信息檢索領(lǐng)域，它可以改進(jìn)搜索引擎，讓我們更輕松地找到所需的信息
LLM已經(jīng)在許多領(lǐng)域產(chǎn)生了深淵的影響。在自然語言處理領(lǐng)域，它可以幫助計算機(jī)更好地理解和生成文本，包括寫文章、回答問題、翻譯語言；在信息檢索領(lǐng)域，它可以改進(jìn)搜索引擎，讓我們更輕松地找到所需的信息
