微軟將大語言模型分為兩類,參數(shù)較小的規(guī)模被稱為小語言模型(Small Language Models, SLMs)。微軟認(rèn)為,使用高質(zhì)量的數(shù)據(jù)集訓(xùn)練小規(guī)模參數(shù)語言模型,以達(dá)成更高的推理能力是很重要的一個(gè)方向。為此,微軟發(fā)布了Phi系列的大語言模型。
書生·浦語基于InternLM2模型與上一代 InternLM2 相比,推理性能提高了20%。數(shù)學(xué)推理性能超過了Llama3、Gemma2-9B等