半岛,半岛体育,半岛体育app,半岛官网,半岛电竞,半岛真人,半岛棋牌,半岛体育官网注册,半岛体育官方app下载,半岛体育app下载,半岛体育怎么样,半岛体育官网,半岛体育登录入口,半岛体育官方网站

　　本周五凌晨，谷歌正式发布、开源了全新端侧多模态大模型 Gemma 3n。

　　谷歌表示，Gemma 3n 代表了设备端 AI 的重大进步，它为手机、平板、笔记本电脑等端侧设备带来了强大的多模式功能，其性能去年还只能在云端先进模型上才能体验。

　　多模态设计：Gemma 3n 原生支持图像、音频、视频和文本输入和文本输出。专为设备端优化：Gemma 3n 型号以效率为设计重点，提供两种基于有效参数尺寸：E2B 和 E4B。虽然它们的原始参数数量分别为 5B 和 8B，但架构创新使其运行内存占用与传统的 2B 和 4B 型号相当，仅需 2GB (E2B) 和 3GB (E4B) 内存即可运行。架构突破：Gemma 3n 的核心是全新组件，例如用于计算灵活性的 MatFormer 架构、用于提高内存效率的每层嵌入 (PLE) 以及针对设备用例优化的新型音频和基于 MobileNet-v5 的视觉编码器。质量提升：Gemma 3n 在多语言（支持 140 种文本语言和 35 种语言的多模态理解）、数学、编码和推理方面均实现了质量提升。E4B 版本的 LMArena 得分超过 1300，使其成为首个达到此基准的 100 亿参数以下模型。

　　谷歌表示，要想实现设备性能的飞跃需要彻底重新思考模型。Gemma 3n 独特的移动优先架构是其基础，而这一切都始于 MatFormer。

　　Gemma 3n 的核心是 MatFormer（Matryoshka Transformer） 架构，这是一种专为弹性推理而构建的新型嵌套 Transformer。你可以将其想象成俄罗斯套娃：一个较大的模型包含其自身更小、功能齐全的版本。这种方法将俄罗斯套娃表征学习的概念从单纯的嵌入扩展到所有 Transformer 组件。

　　因此，MatFormer 在训练 4B 有效参数 (E4B) 模型时，会同时优化 2B 有效参数 (E2B) 子模型，如上图所示。这为开发者提供了两项强大的功能和用例：

　　预提取模型：开发者可以直接下载并使用 E4B 模型以获得更高性能，或者使用已提取的独立 E2B 子模型，提供两倍更快的推理速度。使用 Mix-n-Match 自定义尺寸：为了根据特定硬件限制进行更精细的控制，你可以使用谷歌称之为 Mix-n-Match 的方法，在 E2B 和 E4B 之间创建一系列自定义尺寸的模型。这项技术允许人们精确地对 E4B 模型的参数进行切片，主要通过调整每层的前馈网络隐藏层维度（从 8192 到 16384）并选择性地跳过某些层来实现。谷歌还将发布 MatFormer Lab，以展示如何检索这些最佳模型，这些模型是通过在 MMLU 等基准测试中评估各种设置而确定的。

　　展望未来，MatFormer 架构也为弹性执行铺平了道路。虽然此功能不属于今天发布的实现，但它允许单个部署的 E4B 模型在 E4B 和 E2B 推理路径之间动态切换，从而根据当前任务和设备负载实时优化性能和内存使用情况。

　　Gemma 3n 模型采用了逐层嵌入 (PLE) 技术。这项创新专为设备部署而设计，可大幅提高模型质量，同时不会增加设备加速器 (GPU/TPU) 所需的高速内存占用。

　　虽然 Gemma 3n E2B 和 E4B 模型的总参数数量分别为 5B 和 8B，但 PLE 允许很大一部分参数（与每层相关的嵌入）在 CPU 上加载并高效计算。这意味着只有核心 Transformer 权重（E2B 约为 2B，E4B 约为 4B）需要存储在通常较为受限的加速器内存 (VRAM) 中。

　　通过每层嵌入，你可以使用 Gemma 3n E2B，同时仅在 AI 加速器中加载约 2B 个参数。

　　处理长内容输入（例如来自音频和视频流的序列）对于许多先进的设备端多模态应用至关重要。Gemma 3n 引入了键值缓存共享 (KV Cache Sharing)，旨在加快流式响应应用的首个 token 获取时间 (Time-to-first-token)。

　　KV Cache Sharing 优化了模型处理初始输入处理阶段（通常称为「预填充」阶段）的方式。来自局部和全局注意力机制的中间层的键和值将直接与所有顶层共享，与 Gemma 3 4B 相比，预填充性能显著提升了两倍。这意味着模型能够比以往更快地提取和理解较长的提示序列。

　　在语音方面，Gemma 3n 采用基于通用语音模型（USM）的高级音频编码器。该编码器每 160 毫秒的音频生成一个 token（约每秒 6 个 token），然后将其作为语言模型的输入进行集成，从而提供声音上下文的精细表示。

　　自动语音识别 (ASR)：直接在设备上实现高质量的语音到文本的转录。自动语音翻译 (AST)：将口语翻译成另一种语言的文本。

　　经过实践可知，Gemma 3n 在英语与西班牙语、法语、意大利语、葡萄牙语之间的翻译 AST 效果尤为出色。对于语音翻译等任务，利用「思维链」提示可以显著提升翻译效果。以下是示例：

　　Gemma 3n 编码器在发布时已可以处理长达 30 秒的音频片段，但这并非极限。底层音频编码器是一个流式编码器，能够通过额外的长音频训练处理任意长度的音频。后续的实现将解锁低延迟、长流式传输应用程序。

　　除了集成的音频功能外，Gemma 3n 还配备了全新的高效视觉编码器 MobileNet-V5-300M，为边缘设备上的多模态任务提供最先进的性能。

　　MobileNet-V5 专为在受限硬件上实现灵活性和强大功能而设计，可为开发人员提供：

　　多种输入分辨率：本机支持 256×256、512×512 和 768×768 像素的分辨率，让开发者能够平衡特定应用的性能和细节。通用的视觉理解：在广泛的多模式数据集上进行了联合训练，在各种图像和视频理解任务中表现出色。高吞吐量：在 Google Pixel 上每秒处理高达 60 帧，实现实时设备视频分析和交互式体验。

　　得益于新架构设计和先进蒸馏技术，MobileNet-V5-300M 在 Gemma 3 中的表现显著优于基线 SoViT（使用 SigLip 训练，未进行蒸馏）。在 Google Pixel Edge TPU 上，它在量化的情况下实现了 13 倍的加速（不使用量化的情况下为 6.5 倍），所需参数减少了 46%，内存占用减少了 4 倍，同时在视觉语言任务上实现了更高的准确率。

　　谷歌表示，更多细节会在即将发布的 MobileNet-V5 技术报告中展示。

　　5 月 20 日，谷歌 DeepMind 在 I/O 大会上宣布了 Gemma-3n，其小体量、高性能和低内存占用的特性让人印象深刻。

　　谷歌的首个 Gemma 模型于去年年初发布，目前该系列的累计下载量已经超过了 1.6 亿次。

　　小不点痴了，看到几次吐血，虽然比老族长强多了，但也数次受伤，因为骨书上记载的东西太过可怕。

　　两个时辰后，这群强者狐疑，石村有点古怪，他们反复探查，许多人根本就没有掌握骨文，这不该是一个隐世家族应有的体现。

　　,网上玩体育平台犯法吗,永利国际网站,高淳国际慢城吃鸡线日,“天价药”开出“平民价” 医保药品目录调整呈现三个新特点,

　　第一百八十五章 祭灵战,12bet手机版注册,欧宝平台入口在哪,天博下载地址。

　　时事3：9sp体育06月25日,检察机关依法对国家烟草专卖局一原副局长作出逮捕决定,

　　1、文明教育是个人修行的需要。开展“文明”教育，有助于提高我们全体师生的思想道德水平，文化修养水平;提高我们的“情商”，改善人际交往。促进我们做一个“知书达理”的人，做一个有文化涵养的人，做一个有高尚品位的人，做一个受人欢迎，受人尊重的人。“文明”能使我们的生活变得更加美好，获得更高的幸福体验。

　　,亚新赌场网站,必赢亚洲官网,欧陆娱乐在线日,法国国民议会通过对政府不信任动议 总理巴尼耶将辞职,

　　一群孩子在回归的路上，无视空中的那头凶禽，卖力地拍大人们的马屁，生怕回去后被狠拾掇。

　　06月25日,长期过量接触增塑剂影响青少年生长发育！选购体育用品时注意这几点,京东

　　起诉？欠钱被起诉了会坐牢吗,爱游戏中国官方网站,优信彩票官网下载,线日,澳门经济适度多元发展迈出新步伐(濠江在线),远处，传来了石林虎的吼声：“你们这群小兔崽子，以后不准再这般做了，不然长此以往，这些珍禽异兽非都被吓跑不可。”,米乐m6平台,沙巴体育信誉盘口,best365手机官网备用。

　　【（新春走基层）上海浦东换上“新春装扮” 缤纷活动邀民众“欢喜过大年”】

　　新闻信息服务许可证音像制品出版许可证广播电视节目制作经营许可证网络视听许可证网络文化经营许可证