最近，或许是年末了，谷歌的发布变得有些密布。比方昨日，谷歌发布了在智能 / 本钱上全球性价比最高的模型
在 Gemini 3 Flash 发布后，咱们都认为谷歌本年的模型发布现已收官的时分，谷歌却又掏出了一个让咱们都意想不到的模型更新：T5Gemma2。
T5Gemma 系列模型好像没能给群众留下什么深刻印象。本年 7 月，谷歌第一次发布了 T5Gemma 模型系列，而且一口气发布了 32 个模型。
T5Gemma 运用了「习惯（adaptation）」技能将已完结预练习的仅解码器模型转换为编码器 - 解码器架构。
但惋惜的是，「编码器 - 解码器架构」一直没有成为大模型国际的干流，在「仅解码器」大言语模型快速迭代的大布景下难逃逐步被边缘化的命运。
本年上半年，谷歌发布了敞开模型 Gemma 3 系列，功用强壮，反应火热，衍生出许多依据 Gemma 3 系列模型的优异作业。这次更新的 T5Gemma 2 模型正是其中之一。
简而言之：T5Gemma 2，是谷歌新一代编码器 - 解码器模型，是首个多模态和长上下文的编码器 - 解码器模型，建立在 Gemma 3 的强壮功用之上。
一起，谷歌向社区发布了 270M–270M、1B–1B 以及 4B–4B 三种规划的预练习模型，是社区中首个支撑超长上下文（最高 128K）的高功用编解码器大言语模型。
T5Gemma 2 连续了 T5Gemma 的「习惯（adaptation）」练习道路：将一个预练习的纯解码器模型适配为编解码器模型；一起，底座选用 Gemma 3 模型，经过结合 Gemma 3 中的要害立异，将这一技能扩展到了视觉 - 言语模型范畴。
T5Gemma 2 不单单是一次再练习。它在承继 Gemma 3 系列许多强壮特性的一起，还进行了重要的架构改变：
在编码器与解码器之间 同享词嵌入参数。这一规划显着降低了模型的全体参数量，使咱们也能够在相同的显存 / 内存占用下包容更多有用才能 —— 这对全新的 270M–270M 紧凑模型尤为要害。
在解码器中，咱们选用了兼并注意力机制，将自注意力（self-attention）与穿插注意力（cross-attention）融合为单一、一致的注意力层。这一做法减少了模型参数和架构复杂度，提高了模型并行化功率，一起更有助于推理功用的提高。
得益于 Gemma 3 的才能，T5Gemma 2 在模型才能上完结了明显晋级：
T5Gemma 2 模型能够一起了解和处理图画与文本。经过引进一个高效的视觉编码器，模型能够自然地完结视觉问答和多模态推理等使命。
经过在规划更大、愈加多样化的数据集上进行练习，T5Gemma 2 开箱即用即可支撑 140 多种言语。
T5Gemma 2 为紧凑型编码器 - 解码器模型设定了新的规范，在要害才能范畴体现出色，承继了 Gemma 3 架构强壮的多模态和长上下文特性。
强壮的多模态功用：在多个基准测验中逾越 Gemma 3。本来仅支撑文本的 Gemma 3 根底模型（270M 与 1B） 成功适配为 高效的多模态编解码器模型。
杰出的长上下文才能：相较于 Gemma 3 和 T5Gemma，在生成质量上取得了明显提高。经过引进独立的编码器，T5Gemma 2 在处理长上下文问题时体现更佳。
全面提高的通用才能：在 代码、推理和多言语 等使命上，T5Gemma 2 全体上均优于其对应规划的 Gemma 3 模型。
后功用。这儿的成果仅用于阐明，研讨团队对 T5Gemma 2 进行了最小的 SFT，未运用 RL。别的请注意，预练习和练习后基准是不同的，因而不同图表中的分数不行比较。
试验依据成果得出，该适配战略在不同模型架构与不同模态上都具有十分杰出的通用性，一起也验证了编解码器架构在长上下文建模方面的共同优势。与 T5Gemma 相似，T5Gemma 2 在预练习阶段的功用可到达或超越其 Gemma 3 对应模型，而在后练习阶段则取得了明显更优的体现。
咱们能看到，编码器 - 解码器架构下的大模型并不弱于仅解码器架构的模型，乃至具有自己共同的优势。
谷歌持续坚持的编码器 - 解码器架构，能否打破被边缘化的现状，让咱们拭目而待。
，杏彩客户端手机版