最近 X 上在讨论为什么大语言模型 O1,有时候会用中文思考?
转发一段 Hugging Face 王铁震老师的想法:
我一直觉得,会两种语言不仅仅是能用两种语言交流,而是能根据话题和场景,自然地用更合适的语言去思考。比如,我更喜欢用中文做加减乘除,因为每个数字只有一个音节,算起来干脆利落。但一提到 “无意识偏见” 这种话题,我就会不自觉地切换到英语,毕竟这些概念我最开始就是从英语里学来的。
这让我想到编程语言:大多数程序用什么语言都能写,但我还是会用 Bash 写命令行脚本,用 Python 搞机器学习,因为每种语言都有自己最顺手的地方。现实中的语言也一样,我们会根据语言的特点和自己的习惯,选择最顺手的语言去表达特定的内容。
这也是为什么我觉得,在训练大语言模型(LLM)时,保持所有语言和文化的多样性和包容性特别重要。就像哲学家维特根斯坦说的:“语言的界限就是世界的界限。” 只有包容每一种语言的细微差别,才能让模型学到更全面的思维。即使两种语言里的两个词意思一样,它们在模型中的 Embedding 也可能完全不同,因为它们背后的文化和使用方式截然不同。在我看来,这种包容性不仅能打造更公平、更准确的模型,还能让它处理更多样化的任务,汇聚全人类的智慧。
未经允许不得转载:岩猫星空网 » 为什么大语言模型 O1,有时候会用中文思考?