DeepSeek开源的新东西到底强在哪？我帮你找专家问了问
在 DeepSeek-OCR 的架构中，图像不再只是文字的载体，而是成为一种语义压缩的中间语言。文字被渲染成图像后，经由 DeepEncoder 转换为紧凑的视觉表征；这些视觉 token 既可以通过 DeepSeek 3B-MoE 模型还原为原始文本（这也是标准的 OCR 机制），也可以与其他输入 token 与 prompt 结合，执行问答、摘要、检索等复杂任务。
通俗来说，就是我们可以把大量文字打包压缩成一张图片来节省空间，等需要使用的时候再解压出来，甚至在一部分使用场景中，你甚至不需要解压，直接用压缩包就可以达成目的。
即便在 10× 压缩比的条件下，模型的文本还原精度仍可达 97%。随着大模型逐渐向越来越复杂的场景嵌入，上下文长度资源远不够用甚至越来越不够用，而基座模型在此参数上升级颇为缓慢的当下，DeepSeek-OCR 的发布瞬间带来很大的想象空间。
研究团队甚至还进一步提出 “ 遗忘机制 ” 的构想，模型可依据信息的 “ 时序远近 ”，在视觉压缩阶段主动衰减细节，从而实现一种类人记忆式的上下文管理。
那么，视觉 token 为何能在信息量不损失太多的情况下，比文本 token 少一个数量级？模型记忆能否完全用视觉逻辑来替代？DeepSeek-OCR 是否为解决大模型上下文长度受限的问题提供了一条现实可行的途径？DeepSeek-OCR 反映了多模态大模型的什么发展趋势？
带着这些问题，知危与 Sand.ai 联合创始人、首席科学家、《Swin Transformer 》作者张拯进行了简单的对话。
同一段输入，为什么视觉 token 可以比文本 token 的数量少得多，有没有直观或本质的解释？
第二种，高效的原因不是视觉 v.s. 文本，而是两边采用的 token 表达方式不同：做视觉表达的时候，我们是在一个高维的连续空间中做信息压缩（ 把 image patch 映射为一个高维特征 ），之前 LLM 里常用的 tokenizer（ 把文本数据向量化的工具，通俗理解是一种把自然语言翻译为机器能理解的语言的工具 ）则实际上可以被认为是在一个一维空间中做压缩（ 把文本映射为 id ）。高维连续空间本来就有更好的表达能力，因此可以用更少的 token 数量来表达更多信息。其实文本也可以做成连续表达，来大幅度减少文本 token，但是目前应该没有被很广泛地用到 LLM 里。
我最近没有特别研究过 OCR 模型的进展，但基于我看过的一些信息，我觉得 DeepSeek-OCR 的技术本身好像并没有非常特别的部分。但是在观点上，“ 把视觉作为文本长上下文的压缩介质 ”，这个 idea 还是很棒的。这个 idea 有路线上的启发意义，相较于现在的多模态模型，DeepSeek-OCR 会使用两种不同的 tokenizer 机制，这种路线也许会启发更好的多模态模型设计方案。
这项技术对于基础模型上下文长度难以扩展的当下，可以带来多大的成本效益？对上下文工程的优化有哪些好处？
Andrej Karpathy 认为视觉 token 有潜力可以完全替代文本 token，因为信息压缩、多模态、可双向注意力处理、无需 tokenizer 等优势，您怎么看？
大部分都同意，但是 “ 可双向注意力处理 ” 这里有待探讨，“ 可双向注意力处理 ” 很大程度上和 training objective
另外，如果后面都是处理视觉 token 了，是不是有机会让模型能在一个 2D 的空间里做思考？从而带来更高效的推理（ 类似 GPT-4o 的 thinking with image ）？这个我觉得还是挺有意思的。
近期 Meta 也提出了一个无需 tokenizer 的模型架构 Byte Latent Transformer ，可以跳过 tokenization ，直接学习原始字节流。结合以上讨论和领域现状，您认为这体现了多模态大模型的哪些发展趋势？
现在的多模态大模型的主流做法基本上可以认为在捏合各种不同的模态的模块，整个训练 pipeline 其实还是有点复杂（ 不优雅 ）的。大家肯定希望有更简单、更统一的方式来处理。类似 DeepSeek-OCR 这样的工作对我们开发更好的多模态模型范式还是挺有启发的。
当模型的 “ 思考空间 ” 从一维文本拓展至二维视觉，思考和推理也可能变得更加高效和简洁。而在技术层面deepseek，则指向当前多模态大模型领域正等待一把 “ 奥卡姆剃刀 ” 简化模型范式的时刻。原文出处：DeepSeek开源的新东西到底强在哪？我帮你找专家问了问，感谢原作者，侵权必删！
