2022年,开源大型语言模型(LLM)领域经历了重大变革,一些先驱模型引领了潮流。EleutherAI的创作GPT-NeoX-20B是最早的开源LLM之一。尽管它的规模较小(与GPT-3等专有模型相比,它有200亿个参数),但它通过RoPE嵌入和并行注意层等创新产生了影响。

它的自定义标记器可有效进行代码标记化,并在各种开源模型中得到采用。Meta AI的开放式预训练Transformers(OPT)计划旨在使LLM的获取更加民主化。OPT提供不同大小的模型,在精选数据集上进行预训练,并提供开源训练框架。

虽然OPT模型的表现并不优于专有模型,但它们在使LLM更易于研究和提高训练效率方面发挥了关键作用。BLOOM是一个包含1760亿个参数的LLM,它诞生于1000多名研究人员历时一年的大规模协作。

它使用多语言文本数据集ROOTS语料库进行训练。尽管BLOOM在各种基准测试中都具有竞争力,并且在机器翻译任务中表现出色,但在某些方面仍然落后于专有模型。

GPT-J和GLM等著名模型也取得了成功,为开源LLM领域的进一步发展奠定了基础。2022年标志着语言模型领域向开放可访问性和协作研究的重大转变。

2023年,OpenAI发布了GPT-4,在大型语言模型(LLM)领域迈出了开创性的一步。GPT-4是一个庞大的多模态模型,拥有约一万亿个参数。从这个角度来看,GPT-4比其前身GPT-3大约五倍,比原始BERT模型大3,000倍。这一规模和容量上的巨大飞跃改变了LLM领域的格局,使其能够一次性处理多达50页的文本。

极数:2024年全球人工智能简史电子版下载,全球人工智能产业发展-报告智库

极数:2024年全球人工智能简史电子版下载,全球人工智能产业发展-报告智库

极数:2024年全球人工智能简史电子版下载,全球人工智能产业发展-报告智库

极数:2024年全球人工智能简史电子版下载,全球人工智能产业发展-报告智库

极数:2024年全球人工智能简史电子版下载,全球人工智能产业发展-报告智库

极数:2024年全球人工智能简史电子版下载,全球人工智能产业发展-报告智库

极数:2024年全球人工智能简史电子版下载,全球人工智能产业发展-报告智库

极数:2024年全球人工智能简史电子版下载,全球人工智能产业发展-报告智库

极数:2024年全球人工智能简史电子版下载,全球人工智能产业发展-报告智库

极数:2024年全球人工智能简史电子版下载,全球人工智能产业发展-报告智库

极数:2024年全球人工智能简史电子版下载,全球人工智能产业发展-报告智库

极数:2024年全球人工智能简史电子版下载,全球人工智能产业发展-报告智库

极数:2024年全球人工智能简史电子版下载,全球人工智能产业发展-报告智库

极数:2024年全球人工智能简史电子版下载,全球人工智能产业发展-报告智库

极数:2024年全球人工智能简史电子版下载,全球人工智能产业发展-报告智库

极数:2024年全球人工智能简史电子版下载,全球人工智能产业发展-报告智库

极数:2024年全球人工智能简史电子版下载,全球人工智能产业发展-报告智库

极数:2024年全球人工智能简史电子版下载,全球人工智能产业发展-报告智库

PS:完整报告已上传『报告智库』知识星球,本社群每年更新优质报告30000+,精选近2年各行业策划方案;每月6 -20份行业内幕资讯; 点击这里 即可加入!