岩猫星空网元始智能是一家国产开源非Transformer架构大语言模型提供商，其核心产品RWKV兼具Transformer和RNN的优势：推理效率高且恒定，显存占用少且恒定，支持无限上下文，对芯片友好。
近日，RWKV元始智能完成种子轮融资，投资方为陆奇于2018年创立的奇绩创坛和某匿名投资者。目前元始智能已开始继续融第二轮。
RWKV是国产开源的首个非Transformer架构的大语言模型，目前已经迭代到第六代RWKV-6。
RWKV作者彭博在2022年5月开始训练RWKV-2，当时只有1亿（100M）参数规模，后续在2023年3月训练了RWKV-4 140亿（14B）参数版本。
RWKV-5的15亿和30亿参数版本已发布，且70亿参数版本会在2024年1月发布。而RWKV-6的15亿和30亿参数版本将在2024年2月发布，然后将继续训练70亿和140亿参数版本。
未经允许不得转载：岩猫星空网 » RWKV 元始智能完成种子轮融资，非 Transformer 架构的开源大语言模型
