meta chatgpt开源了
前几周,Meta发布了自家的大型语言模型LLaMA,参数量从70亿到650亿不等。
论文中,仅用1/10参数的LLaMA(130亿)在大多数基准测试下超越了GPT-3。
对于650亿参数的LLaMA,则与DeepMind的Chinchilla(700亿参数)和谷歌的PaLM(5400亿参数)旗鼓相当。
LLaMA在很多测试中表现出色。
在大规模多任务语言理解方面,即使相对较小的13B模型也与GPT-3水平相当,而GPT-3的规模是其13倍。
33B版本远远优于GPT-3, 65B则可与现有最强大的LLM模型--谷歌的540B参数的PaLM竞争。
对于需要应用逻辑或计算进行处理的文本方面,LLaMA表现优秀,在定量推理方面可与PaLM相较,甚至比后者的代码生成能力更好。