开源大模型生态迎来底层架构的重大突破。谷歌
此次 Gemma4最引人注目的技术创新在于引入了全新的“E2B”(参数卸载)架构。在传统的 Transformer 架构中,庞大的嵌入层往往会占用海量的显存空间。而新架构巧妙地在每一层中加入了嵌入表,利用查找表机制代替了繁重的全矩阵乘法计算。以其中一款50亿参数的模型为例,在 E2B 架构的加持下,实际需要加载到 GPU 显存中的“有效参数”仅为20亿,其余30亿参数可以安全地卸载到 CPU 甚至磁盘中。这意味着该模型仅需2GB 显存便能实现极速推理,彻底突破了移动端、智能手机和树莓派等端侧设备的部署瓶颈。
作为一次极具雄心的复杂发布,
在多模态与核心体验层面,Gemma4承袭了与 Gemini3相同的研究成果。即使是2B 或4B 规模的端侧小模型,也已具备出色的多语言(支持140种语言)和多模态理解力,能够轻松驾驭语音识别、语音提问以及30到60秒的短视频分析。尽管目前该模型在知识储备的绝对体量上与大模型仍有差距,且在文本扩散(Diffusion Transformer)等前沿实验性探索和专家混合模型(MoE)的微调上仍面临行业公认的挑战,但其展现出的高密度智能已不容小觑。
随着大模型开箱即用能力的增强,垂直领域的开发生态正经历深刻的重构,纯粹的传统微调热度正在逐步退烧。面向未来,
