RWKV 元始智能完成种子轮融资,非 Transformer 架构的开源大语言模型

元始智能是一家国产开源非Transformer架构大语言模型提供商,其核心产品RWKV兼具Transformer和RNN的优势:推理效率高且恒定,显存占用少且恒定,支持无限上下文,对芯片友好。

近日,RWKV元始智能完成种子轮融资,投资方为陆奇于2018年创立的奇绩创坛和某匿名投资者。目前元始智能已开始继续融第二轮。

RWKV是国产开源的首个非Transformer架构的大语言模型,目前已经迭代到第六代RWKV-6。

RWKV作者彭博在2022年5月开始训练RWKV-2,当时只有1亿(100M)参数规模,后续在2023年3月训练了RWKV-4 140亿(14B)参数版本。

RWKV-5的15亿和30亿参数版本已发布,且70亿参数版本会在2024年1月发布。而RWKV-6的15亿和30亿参数版本将在2024年2月发布,然后将继续训练70亿和140亿参数版本。