这项由哈尔滨工业大学与华为诺亚方舟实验室联合完成的研究，以预印本形式于2026年6月30日发布在arXiv平台，编号为arXiv:2606.31924，研究方向属于计算机视觉领域的可控图像生成。
先来描述一个让人抓狂的日常场景。你找到一张参考图，想让AI按照这张图的姿势和布局，重新画出六个各有特色的人物——左边是穿红金战甲的钢铁侠，旁边是身着蓝白战袍的蜘蛛侠，中间是穿着冰蓝色礼服的艾尔莎……你把这段描述输入当前最强的图像生成工具，满怀期待地等待结果。图片生成了，却发现钢铁侠穿上了蓝色衣服，蜘蛛侠变成了金色，艾尔莎的裙子变成了红色——颜色、服装、甚至人物特征全部张冠李戴，像是一场乱入的化妆舞会。
这个恼人的问题在业内有个专属名称，叫"属性混淆"。越是复杂的场景、越多的人物出现在同一张图里，AI就越容易搞混每个角色的专属属性。这就像一个健忘的服装助理，手里拿着十套戏服，分不清哪件该给哪个演员穿。
现有的一些解决方案要求用户在每个人物区域上手动画出范围框、或者逐一标注每个实例的位置，才能告诉AI"这里是人物A，那里是人物B"。但这种操作费时费力，普通用户很难做到，更不用说在复杂的十几个人物场景里逐一标注了。
哈工大与华为诺亚方舟实验室的研究团队在这篇论文中提出了一个叫做InstanceControl的全新框架，其核心思路是：让AI自己去搞清楚文字描述和图像区域之间的对应关系，而不是依赖人工标注。他们借助视觉语言模型（一种既能看图又能读文字的AI），让系统自动从描述文字里解析出每个人物的属性，同时自动识别图像中每个人物所在的区域，从而建立起精准的"张冠李戴防护机制"。研究结果表明，这套系统不仅超过了同样不需要人工标注的现有方法，甚至在部分指标上超过了需要人工标注才能工作的专业工具。
一、"服装助理"的困境：为什么AI总搞混人物属性
要理解这个研究解决的核心问题，先从AI绘图的工作原理说起。当前主流的图像生成工具，比如基于FLUX或Stable Diffusion的ControlNet系列，工作方式大致是这样的：用户提供一段文字描述，同时提供一张"视觉条件图"——比如一张边缘线条图（canny edge）或者深度图，系统会根据这两个输入生成图像。视觉条件图告诉AI图中各个元素的空间布局，文字描述告诉AI每个元素长什么样子。
问题就出在这个"告诉"的过程上。当图中只有一两个人物时，AI还能比较准确地把文字属性对应到正确位置。但当场景里同时出现六个、八个、甚至十几个实例时，AI就像一个同时被十个人交代任务的助理，很快就会把"红色战甲给钢铁侠"和"蓝色战袍给蜘蛛侠"这两条指令混淆——这本质上是因为AI没有一个清晰的"实例级别对应机制"，不知道文字中描述人物A的那段话，究竟对应图像里哪一块区域。
现有的改进方案分两种路线。一种是让用户手动提供每个实例的区域标注，比如画出边界框或者分割蒙版，然后再附上对应的文字描述——这就相当于告诉助理"第一件红色战甲放在左边第三个衣架上，属于钢铁侠"，这样助理就不会搞混了。代表性工具包括EliGen、CreatiLayout、Seg2Any等。另一种是完全不做实例标注，依赖模型本身去理解复杂场景——以FLUX ControlNet为代表，但效果往往在复杂多实例场景下大打折扣。
InstanceControl选择了第三条路：不要用户手动标注，但也不放任AI自由发挥，而是引入一个"中间人"——视觉语言模型，让它自动完成原本需要人工完成的实例对应工作。
二、两阶段流水线：先"点名"再"对号入座"
InstanceControl的整个工作流程可以分成前后紧密衔接的两个阶段，每个阶段各司其职，共同完成从文字和参考图到精准图像的生成任务。
第一阶段的核心任务，是在文字描述和视觉条件图之间建立起实例级别的精准对应关系。可以把这个阶段理解为"先点名，再对应座位"。具体来说，系统需要做两件事：从复杂的文字描述里找出每个实例的属性描述，同时在视觉条件图里找到每个实例对应的区域。
这件事听起来简单，实际上有相当的挑战性。现有的视觉语言模型和图像分割工具（比如LISA等），主要针对真实照片设计，而且要求文字描述和图像内容在语义上高度一致。但在InstanceControl的应用场景里，用户给的视觉条件图可能只是一张黑白边缘线条图，里面的人形轮廓没有任何颜色信息，而文字里写的却是"身穿红金战甲的钢铁侠"——这两者之间的语义鸿沟，让现有工具直接失效，因为它们无法把一个只有轮廓的人形和"钢铁侠"这个语义关联起来。
为了解决这个问题，研究团队精心构建了一个专用的训练数据集，并专门微调了视觉语言模型，使其具备在这种"语义不对齐"场景下仍能完成准确对应的能力。他们还设计了一种类比式数据增强方法，用另一个AI工具把图像中的实例替换成语义相似但具体不同的类别，从而制造大量"文字描述和视觉内容看起来不直接匹配"的训练样本，强迫模型学会更深层的推理对应能力。
第一阶段的技术实现建立在Sa2VA这个架构基础上，这是一个将SAM（Segment Anything Model，一种能对任意图像进行分割的基础模型）和大型视觉语言模型整合在一起的框架。系统接收视觉条件图和文字描述作为输入，通过视觉语言模型生成一段格式化的文字响应，其中每个实例的描述短语都被标记出来，并附带一个特殊的SEG标记（分割标记）和一个唯一的实例编号。随后，系统把每个SEG标记对应的隐藏向量提取出来，输入到SAM的解码器中，得到该实例在视觉条件图上的分割蒙版，以及一个反映这块蒙版预测可信度的置信度分数。
这个过程中有一个精巧的设计值得特别说明，叫做"共享SEG标记策略"。在复杂的长文本描述中，同一个人物往往会在不同句子里被多次提及——比如先说"她穿着紫色上衣"，后面又说"她背着绿色手提包"。如果每次提及都生成一个独立的SEG标记，最后得到的蒙版可能不一致甚至相互矛盾。研究团队的解决方案是，把属于同一个实例的所有SEG标记的特征向量拼接在一起，作为一个统一的表示输入到SAM解码器，这样无论这个实例在文字里被提到多少次，最终都只对应一个连贯一致的区域蒙版。
三、蒙版不完美怎么办：动态精炼策略
有了第一阶段生成的实例蒙版，第二阶段就要把这些对应关系真正注入图像生成过程中。但这里有一个棘手的现实问题：第一阶段预测出的蒙版并非完美无缺。有时候蒙版范围不完整，漏掉了实例的某个部分；有时候位置有偏差，边界没有完全对准；还有时候整个实例都被漏掉了。如果把一个不准确的蒙版直接当做硬性约束施加给生成过程，最终结果会更差。
研究团队为此设计了一个蒙版精炼模块，其工作逻辑可以用一句话概括：置信度高的时候相信预测蒙版，置信度低的时候转而参考生成模型自己的"直觉"。
这个"直觉"来自于注意力机制。在扩散模型（当前主流图像生成技术的基础）的生成过程中，模型内部的交叉注意力图可以揭示"模型认为这段文字应该对应图像哪个区域"。研究团队把这种注意力信息提取出来，形成一个"注意力蒙版"，作为预测蒙版的补充参考。
蒙版精炼模块是一个轻量级的U-Net网络，输入包括预测蒙版、注意力蒙版、置信度分数以及当前的图像潜在特征，输出一个经过综合判断后的精炼蒙版。当置信度分数高时，精炼蒙版会贴近预测蒙版；当置信度分数低时，精炼蒙版会向注意力蒙版靠拢。网络内部同时设计了实例内部的注意力机制和不同实例之间的注意力机制，让精炼过程能够同时考虑单个实例的内部一致性和多个实例之间的空间关系。
得到精炼蒙版之后，系统构建一个"对应蒙版矩阵"。这个矩阵的作用是给图像生成模型的注意力机制加上一层精准的过滤器：属于实例A区域的图像像素，只被允许关注描述实例A的文字标记；属于背景区域的像素，则可以自由关注所有文字标记；而来自不同实例的像素之间则被强制隔离，防止属性渗透。在技术实现上，这个矩阵被以对数形式加入到注意力计算的分子中，当矩阵值趋近于1时，注意力计算恢复正常；当矩阵值趋近于0时，对应的注意力权重被压制到接近负无穷，相当于完全切断了这对像素与文字标记之间的信息流动。
整个第二阶段在FLUX图像生成框架上通过LoRA微调实现，先用真实蒙版训练基础对应能力，再在预测蒙版上训练蒙版精炼模块。
四、数据从哪来：五万张图的精心烹制
任何AI系统的效果都离不开数据支撑，而InstanceControl的训练数据构建本身就是一项相当复杂的工程，因为现有数据集存在两大通病：要么文字描述太短、实例太少，要么实例描述和整体文字提示是分离的，不符合InstanceControl需要的"实例描述嵌入在长文本中"的格式。
研究团队从SAM数据库、COCO数据集和UniWorld-V1数据集中精选了五万张图像及其对应的分割蒙版，过滤掉无效或无关的蒙版，保证每张图的实例密度在合理范围内——平均每张图包含约11.64个实例。随后，针对每张图，他们调用Gemini 2.5 Pro生成详细的长文本描述，平均每段描述约183个词，确保场景中的每个实例都有细致的属性刻画。再次调用Gemini 2.5 Pro，结合蒙版叠加在原图上的可视化效果，从长文本中精确提取出对应每个实例的关键名词短语，建立起文字到蒙版的对应关系。
最后一道关键工序是对比增强数据的构建。为了让模型具备处理"文字描述和视觉内容不直接对应"场景的能力，团队利用Nano Banana（Google的图像生成编辑工具）将数据集中的部分实例替换成语义相近但具体不同的类别——比如把一只猫换成一只狗，或者把一件蓝色夹克换成一件绿色外套——制造出超过一千个"语义相似但视觉内容被修改"的对比样本，让模型在训练时学会更鲁棒的对应推理能力。
对应视觉条件，研究团队还为每张图提取了三种不同类型的视觉条件：canny边缘图（只保留物体轮廓线条）、深度图（用灰度表示场景的远近层次）和HED图（一种更丰富的边缘检测结果）。这样训练出的InstanceControl对多种视觉条件都具备泛化能力，而不是只能处理一种特定类型的输入。
五、实验结果：量化数字背后的真实差距
研究团队在两个评测基准上对InstanceControl进行了全面测试，并与六种现有方法展开对比。MIG-Eval是他们基于自己构建数据集专门设计的评测基准，包含5400张测试图像，每张图都附有详细文字描述、实例蒙版和从文字中提取的对应实例描述。COCO-POS是一个公开的独立评测数据集。
评测指标覆盖三个维度。空间对齐度用平均交并比（MIoU）衡量，反映生成图像中各实例所在位置是否和参考蒙版吻合；区域质量用Local CLIP分数和Accuracy两项指标衡量，前者评估生成的实例区域和对应文字描述的语义匹配程度，后者调用Qwen2-VL-72B这个大型视觉语言模型来逐项核查空间关系、颜色、形状和纹理是否和描述相符；全局质量用FID分数和ImageReward分数衡量，前者评估生成图像整体的真实感，后者评估人类对图像整体质量的偏好。
在不需要人工标注的方法中，InstanceControl相比FLUX ControlNet的提升相当显著。以canny边缘条件为例，空间对齐度（MIoU）从0.6526提升到0.8250，颜色准确率从73.30%跃升至87.78%，形状准确率从73.93%提升到88.19%，纹理准确率从79.24%提高到90.88%，Local CLIP分数也从16.48提高到18.51，FID分数从14.04降低到10.03（FID越低越好，说明生成图像更接近真实图像分布）。深度图和HED条件下的提升幅度相似，这说明InstanceControl的优势并不依赖于特定的视觉条件类型。
更令人在意的对比是，InstanceControl（不需要人工标注版本）甚至超过了部分需要人工标注的方法。以颜色准确率为例，EliGen（需要人工标注边界框）达到84.98%，CreatiLayout（需要人工标注边界框）达到80.87%，而InstanceControl在不需要任何标注的情况下，canny条件下达到了87.78%，HED条件下更达到了88.75%。这意味着自动化的对应建立已经能够在实际效果上与人工标注竞争，而用户完全不需要付出额外的标注劳动。
研究团队还把InstanceControl与Qwen-Image ControlNet和Nano Banana这两个集成了理解和生成能力的统一模型进行了对比，在随机选取的300张MIG-Eval测试图上，InstanceControl在MIoU、Local CLIP、颜色准确率、形状准确率、纹理准确率、ImageReward和FID七项指标上均超过了这两个对比方法。
六、消融实验：逐块拆解，验证每个设计的价值
为了证明每个设计决策都是有效的而非多余的，研究团队进行了系统性的消融实验。
关于共享SEG标记策略的效果，对比实验表明，不使用这一策略时，MIoU从0.8250降至0.8214，颜色准确率从87.78%降至85.89%，形状准确率从88.19%降至86.46%，FID从10.03升至10.30。这说明对同一实例的多次描述进行统一处理，对最终生成效果有实质性的贡献，尤其是在颜色和形状这些属性维度上效果更明显，因为这些属性往往分散在文字描述的不同位置。
关于蒙版精炼模块的效果，实验对比了三种蒙版方案：直接使用预测蒙版、使用置信度加权的插值蒙版（即根据置信度分数在预测蒙版和注意力蒙版之间做线性混合）和使用精炼模块生成的精炼蒙版。直接使用预测蒙版时，颜色准确率为84.88%，形状准确率为85.48%，FID为10.93；使用线性插值方案时，颜色准确率提升到85.91%，形状准确率提升到86.26%，FID降至10.06；使用精炼模块时，颜色准确率进一步提升到87.78%，形状准确率提升到88.19%，FID降至10.03。线性插值方案和精炼模块的对比尤其有意义，它说明简单的加权平均虽然有效，但无法捕捉到复杂场景中多实例之间的交互关系，而精炼模块通过内部的注意力机制能够处理这种复杂性。
研究团队还分析了第一阶段和第二阶段之间的关联。第一阶段的分割效果达到了MIoU 0.71的水平，并且第一阶段MIoU和第二阶段颜色等属性准确率之间呈现出正相关关系——第一阶段分割越准确，第二阶段的属性控制就越精准。第一阶段最常见的失败类型是蒙版不完整（漏掉了实例的部分区域）、定位偏移（蒙版边界有误差）和完全漏掉某个实例。蒙版精炼模块对不完整蒙版具有相当强的鲁棒性，能够把这类情况的平均Accuracy从87.97%提升到90.10%；而定位偏移和漏检这两种更严重的错误则可能对第二阶段造成更大影响，但结合交互式修正功能（见下段），也能进一步提升到93.19%。
七、用户可以介入修正：交互式蒙版修正功能
考虑到自动预测并非万无一失，研究团队还为InstanceControl设计了一个交互修正机制。当系统生成的精炼蒙版效果不理想时，用户可以在视觉条件图上点击一个点或者画出一个边界框，给出额外的位置线索，系统会结合这个用户输入重新预测蒙版，从而在生成图像时得到更准确的结果。
论文中展示了一个具体案例：场景里有三件外套并排放置，其中一件是红色派克大衣。自动预测的蒙版把这件红色派克大衣的区域标注得不太准确，但用户只需在红色派克大衣所在区域点击一个点，系统就能重新生成一个准确的蒙版，最终生成的图像也因此更好地还原了红色派克大衣的视觉特征。这个功能的存在让InstanceControl在自动化效率和精准可控性之间取得了一个灵活的平衡点。
说到底，InstanceControl解决的核心问题是AI图像生成领域长期存在的"属性张冠李戴"困境，而且解决方式相当优雅——不是靠更多的人工劳动，而是靠让AI自己建立起文字和图像之间的精准对应关系。对于普通用户来说，这意味着将来使用AI绘图工具时，即使场景里有十几个各具特色的人物，也可以期待每个人物的颜色、服装和细节都能被精准还原，而不需要手动给每个人物画出边界框。对于内容创作者、游戏开发者、影视从业者这些需要精确控制大量角色视觉属性的专业用户，这项技术的实用价值尤其突出。有兴趣深入了解技术细节的读者，可以通过arXiv编号2606.31924找到完整论文，项目主页地址为instancecontrol.github.io/InstanceControl。
Q&A
Q1：InstanceControl和普通ControlNet有什么核心区别？
A：普通ControlNet只接收文字和视觉条件图，没有明确区分不同实例的机制，在多人物场景里容易把颜色、服装等属性搞混。InstanceControl增加了一个自动建立"文字描述与图像区域精准对应"的前置阶段，让每段人物描述只影响图中对应的那块区域，从而避免属性混淆。简单说，ControlNet是整体处理，InstanceControl是逐人物精准绑定。
Q2：InstanceControl生成一张复杂多人物图片需要用户手动操作哪些步骤？
A：基本上不需要手动标注区域。用户只需提供视觉条件图（比如边缘线条图）和文字描述，系统会自动完成人物识别和区域划分。唯一可选的手动操作是当某个人物的蒙版预测不准确时，用户可以点击一个点或画一个框来辅助修正，但这是可选功能，不是必须步骤。
Q3：InstanceControl的训练数据是怎么构建的？
A：研究团队从SAM、COCO和UniWorld-V1三个数据集中选取了五万张图南宁股票配资，用Gemini 2.5 Pro生成平均约183个词的详细描述，再用Gemini 2.5 Pro提取每个实例对应的文字短语，建立对应关系。此外还用图像编辑工具制作了超过一千个"文字与图像内容不直接对应"的对比训练样本，增强模型的泛化能力。
启泰网提示：文章来自网络，不代表本站观点。
