related work

• Painter：

  Images Speak in Images: A Generalist Painter for In-Context Visual Learning

• Visual Prompting：

  Visual Prompting via Image Inpainting

• SegGPT：

  SegGPT

• LLaVA:

  LLaVA: Visual Instruction Tuning

abstract

• Large Vision Model without use of any linguistic data
• without needing any meta-knowledge beyond the pixels
• 420B tokens dataset, 50 datasets
• minimize a cross-entropy loss for next token prediction
• visual prompts at test time to solve variable tasks

intro

we know that：

• visual competences are not dependent on language.
  • 很多非人类灵长类的视觉世界跟人类是非常相似的，但是他们不需要依赖于语言存在
  • 所以，单独依靠像素可以做到什么程度是一个问题
• 现代LLM中有一些关键特征：
  • 随着大数据扩展
  • 灵活的任务指定方式，prompt，也就是in-context learning
• 要做到LLM中的特性，需要三个组件：
  • Data：需要大量、多样的数据
    • 无标注：图像和视频
    • 有标注：语义分割、深度重建、关键点、3D对象的多个视图等
    • 通过一种visual sentences的格式来表示这些数据，并且不需要除像素外的信息
    • total size of training dataset：1.6B images/frames
  • Architecture：适配视觉表示的大模型
    • 3B transformer
    • learned tokenizer 将每张图映射为tokens序列（token为 256d向量）
  • Loss：sequential autoregressive prediction
    • cross-entropy of prediction next token
    • 图像已经被token序列所表示

noteworthy behaviors：

• 观察到了随模型大小和数据大小增加的缩放性
• prompts to solve task. 虽然效果没有专用模型那么高，但是可以单模型处理非常多的任务
• 观察到了大量无监督数据对标准视觉任务的性能有明显好处