Meta发布全新大型语言模型LLaMA 加入硅谷AI竞赛
来源:界面新闻 • 2023-02-26 14:37:36
(资料图片仅供参考)
当地时间2月24日,Meta公司发布一款新的人工智能大型语言模型LLaMA,加入微软、谷歌等硅谷公司的竞赛。
Meta首席执行官扎克伯格在Instagram表示,LLaMA模型旨在帮助研究人员推进工作,在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等更复杂的任务方面“有很大的前景”。
根据Meta官网发布的论文,LLaMA目前包含70亿、130亿、330亿和650亿这4种参数规模的模型。其中,参数规模最小的LLaMA 7B也经过了超1万亿个tokens的训练。Meta表示,在大多数基准测试中,参数仅为十分之一的LLaMA-13B的性能优于OpenAI推出的GPT3(175B),也即支持ChatGPT的GPT3.5的前身。LLaMA-65B也可与业内领先的Chinchilla-70B和PaLM-540B竞争。
Meta在去年5月曾推出一款面向研究人员的名为OPT-175B的大型语言模型,去年年底还发布过另一款模型Galactica,但后者被发现经常分享有偏见或不准确的信息,在48小时内被迅速下架。
(文章来源:界面新闻)