AB
AB
AiBoss

All Categories

project

SenseNova Loop-9B-Preview - 商汤开源的多模态模型

SenseNova Loop-9B-Preview是商汤开源的9B参数级多模态预览模型。SenseNova Loop-9B-Preview保留首尾各4层原始解码器，中间层改为参数共享的循环计算模块，通...

SenseNova Loop-9B-Preview是什么

SenseNova Loop-9B-Preview是商汤开源的9B参数级多模态预览模型。SenseNova Loop-9B-Preview保留首尾各4层原始解码器，中间层改为参数共享的循环计算模块，通过多轮迭代扩展有效计算深度，引入mHC机制增强特征交互稳定性。官方评测模型办公与智能体任务表现超Qwen3.5-27B，以小参数实现大模型级复杂任务能力，权重已在GitHub与Hugging Face公开。

SenseNova Loop-9B-Preview的主要功能

  • 代码生成：在代码编写类任务上达到同级别领先水准，支撑开发场景应用。
  • 办公内容生成：接入小浣熊客户端，可生成 PPT 设计、长文档等办公交付物。
  • 智能体任务：在 AutomationBench 等多步骤 Agent 评测中表现突出，可完成含叙事与交互的复杂长链路任务。
  • 长上下文处理：官方定位为面向长上下文与智能体工作流的循环多模态模型。
  • 开源可商用探索：权重与推理代码在 GitHub、Hugging Face 公开发布，供社区研究与日常应用。

SenseNova Loop-9B-Preview的技术原理

  • Looped Transformer 循环架构：模型以 9B 尺度为基座，保留首尾各 4 层原始解码器模块，将中间层替换为参数共享的循环计算模块，同一组权重被多轮迭代复用，从而在参数规模不变的前提下扩展有效计算深度，让小模型获得近似更深网络的推理能力。
  • mHC 特征交互机制：为改善多轮循环中的信息传递，模型引入 Manifold-Constrained Hyper-Connections（mHC），通过多路残差双流与”双随机”受约束混合矩阵对特征进行混合，增强层间特征交互的同时约束信息流形，维持信号传播稳定性；消融实验显示该机制使 GPQA Diamond 提升 4.42 分、TeamBench 提升 13.34 分。
  • 参数共享与效率设计：中间循环层权重共享使模型以约 9B 参数承载远超 9B 稠密模型的计算深度，配合 TBK 等技术控制单轮计算开销，目标是在推理成本可控的条件下逼近 27B 级模型在复杂任务上的表现。

微信关注回复“开源”，加入AI开源项目交流群

如何使用SenseNova Loop-9B-Preview

  • 环境准备：安装与 CUDA 匹配的 PyTorch，再执行 pip install "transformers==5.18.0" accelerate safetensors。
  • 获取模型：从 Hugging Face 下载 sensenova/SenseNova-Loop-9B-Preview 权重到本地，确保目录包含配置、tokenizer、chat 模板与自定义模型代码。
  • 加载模型：在代码中以 trust_remote_code=True、dtype=torch.bfloat16 调用 AutoModelForCausalLM.from_pretrained 加载模型并 .eval()。
  • 构造输入：用 tokenizer.apply_chat_template 组装对话 prompt，需要深度推理时设置 enable_thinking=True。
  • 推理生成：调用 model.generate 生成文本，支持 use_cache 加速，MTP 加速可用。
  • 服务化部署：生产环境可用 LightLLM或 SGLang对外提供 API。

SenseNova Loop-9B-Preview的核心优势

  • 参数效率高：约 9B 参数，通过共享权重循环即可模拟 56 层执行深度，小成本逼近 27B 级模型表现。
  • 架构创新：采用 Looped Transformer + 双流 mHC，用受约束的多路残差混合增强信息交互并稳定信号传播，属国内首批 9B 级可用开源实践。
  • 长上下文能力：训练支持最长 262,144token 上下文，适配文档理解与长链路任务。
  • 多模态输入：支持文本与图像输入，官方定位为面向长上下文与智能体工作流的多模态模型。
  • 推理加速友好：内置 MTP 加速机制且已可用，Dspark、Dflash2 等投机解码方案在研。

SenseNova Loop-9B-Preview的项目地址

  • GitHub仓库：https://github.com/OpenSenseNova/SenseNova-Loop
  • HuggingFace模型库：https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview

SenseNova Loop-9B-Preview的同类竞品对比

对比维度 SenseNova Loop-9B-Preview Qwen3-8B
参数规模 ~9B 参数 / 单次前向约 14.6B 计算量（共享权重循环 2 次） 8.2B 参数（非嵌入 6.95B）
核心架构 Looped Transformer：24 层循环块执行 2 次，32 层权重实现 56 层计算深度 + 双流 mHC 传统稠密 Decoder，36 层
注意力机制 混合注意力：每 4 层组内 3 层线性注意力 + 1 层全注意力 全注意力 GQA（32 Q 头 / 8 KV 头）
上下文长度 训练最长 262,144（256K）token 原生 32,768，YaRN 可扩至 131,072
多模态 支持文本 + 图像输入，输出文本 纯文本
思考模式 支持 enable\_thinking 开关 支持思考 / 非思考模式无缝切换（/think、/no\_think）
推理加速 内置 MTP（已可用），Dspark / Dflash2 在研 官方无内置加速，依赖 AWQ 量化、vLLM 等外围方案
部署生态 Transformers 直载 + LightLLM / SGLang（需 PR 分支） vLLM / Ollama / SGLang 等全面主流支持，生态成熟
微调支持 官方 fork 的 torchtitan（8 卡 SFT / DPO / MTP 训练） 生态工具极多（LLaMA-Factory 等），社区教程丰富

SenseNova Loop-9B-Preview的应用场景

  • 长文档理解与分析：依托 256K 超长上下文，可一次性处理整份合同、财报、论文集等大体量文档并生成结构化摘要与问答。
  • 智能体（Agent）工作流：在多步骤工具调用、网页操作与任务规划场景中表现突出，适合构建自动化办公与流程执行类 Agent。
  • 办公内容生成：接入小浣熊客户端可直接生成 PPT 设计、数据分析报告与动效演示页，覆盖日常办公交付物制作。
  • 代码开发辅助：代码生成能力达同级别领先水平，可承担代码补全、脚本编写与小型项目的端到端开发任务。
  • 多模态内容创作：支持文本与图像输入，适用于图文混排的旅行专题、营销页面、叙事性网站等富媒体内容生成。
Back