上交大提出ICRDrag:首个上下文区域拖拽模型,精准可控图像编辑

告别 DragGAN 与 DragDiffusion 时代!上交首个上下传统点选拖拽修图常伴随的大提形变失真、边界割裂及细节丢失问题,文区如今有了终极解决方案。域拖ECCV 2026 最新成果 ICRDrag首创“上下文区域拖拽”模型,拽模准通过掩码精准定位局部区域,型精像编实现移动、控图缩放、上交首个上下变形的大提丝滑自然过渡,在确保极高精准度的文区同时,完美保留画面真实感。域拖

Paper:https://arxiv.org/pdf/2606.25907
GitHub:https://github.com/bcmi/ICRDrag-Region-Drag-Editing
Demo:https://drag.ustcnewly.com/
效果展示
在编辑演示中,拽模准每组图像左侧蓝色掩码代表源区域,型精像编右侧红色掩码代表目标区域。控图ICRDrag 的上交首个上下核心逻辑是将源区域精准拖拽至目标区域,同时保持其他区域细节不变,仅允许必要的跟随性联动(如嘴巴移动带动下巴自然跟随)。实验表明,ICRDrag 能轻松驾驭各类图片的姿态调整与形状重塑。

Demo 交互体验:
用户可使用不同颜色绘制多对源区域和目标区域(目前支持最多 5 对),实现多区域同步拖拽。若发现非目标区域出现 unwanted 改动,只需在该区域增加类似“锚点”的源-目标掩码对,即可锁定该区域,防止意外变形。
立即体验:https://drag.ustcnewly.com/
直击痛点:传统拖拽修图的局限
AI 拖拽编辑虽已普及,但现有方案仍存在显著缺陷:
- 基于单点拖拽的模糊性
DragGAN、DragDiffusion 等主流模型依赖少量点对控制画面。点对信息稀疏,AI 难以准确推断用户意图。点越少,歧义越大,精准调整物体形态往往依赖运气,难以严格对齐目标位置。 - 现有区域拖拽的融合缺陷
RegionDrag、DragFlow 等模型虽引入掩码控制区域,但仍存在明显短板:物体拖拽后边缘出现断层,与背景融合生硬;面对复杂形状和姿态调整时,控制力不足。

核心技术:上下文区域拖拽 (ICRDrag)
ICRDrag(In-Context Region-based Drag)提出全新解法,真正实现“选啥改啥”的精准控制:
- 上下文学习框架 (In-Context Learning)
基于 DiT 架构,一次性输入原图、源区域掩码及目标区域掩码,直接输出编辑结果。从底层架构解决拖拽编辑的控制难题,避免迭代过程中的误差累积。 - 图像-掩码注意力一致性约束
强制目标图像在借鉴原图信息时,其注意力分布必须与目标掩码匹配源掩码的分布保持一致。AI 不再割裂看待图片与选区,生成画面严格贴合掩码划定的空间轮廓。 - 源-目标双向注意力对应约束
建立编辑前后的物体对应关系:目标物体关注原图对应区域,原图区域也反向关注目标物体,确保语义逻辑的一致性。 - 图片/掩码专属模态 LoRA
鉴于图像富含纹理细节而掩码仅存储空间轮廓,二者性质差异巨大。ICRDrag 为图像分支和掩码分支分别部署独立的 LoRA 模块,优化特征提取效率。 - 分阶段课程式训练 (Curriculum Learning)
针对用户手绘掩码往往粗糙的问题,模型采用两阶段渐进式训练: - 第一阶段:使用完整语义掩码训练,让模型掌握区域变换的基本逻辑。
- 第二阶段:使用稀疏且不完整的掩码训练,通过随机膨胀模拟手绘粗糙选区,大幅提升模型的容错率。即使掩码绘制潦草,AI 仍能精准理解编辑意图。

数据基石:区域拖拽大规模数据集
为支撑 ICRDrag 的训练,团队基于百万级视频数据集 OpenVid,构建了首个大规模区域拖拽数据集 PRD (Paired Region Dataset),填补领域空白:
- 训练集 PRD:包含 28.7 万组高质量配对样本(原图 + 源掩码 + 目标图 + 目标掩码)。如图所示,左栏展示原图、源掩码及采样区域,右栏展示目标图、目标掩码及采样区域,确保数据分布的多样性与准确性。
- 评测基准 PRDBench:包含 1000 组人工校验的高质量样本,同时标注掩码与关键点,为公平对比点拖拽与区域拖拽两类模型提供了标准化基准。

应用场景
ICRDrag 的精准可控特性,使其成为设计师与摄影爱好者的得力工具:
- 人像修图:框选人脸、四肢,自由调整身材比例、姿态及五官位置,确保不变形、不失真。
- 静物/产品设计:拖拽商品调整摆放位置或缩放大小,无需重新绘制光影,保持物理一致性。
- 场景构图优化:移动画面中的人物、花草、建筑,模型自动智能填充背景,实现无缝融合。
- 创意设计:自由扭曲物体轮廓,实现复杂创意形变,彻底告别生硬的拼接感。
实验室简介
ICRDrag 出自上海交通大学牛力实验室。该实验室近年来深耕图像生成与编辑领域,核心研究方向包括:
* 图像合成 / 物体插入 (Image Composition / Object Insertion)
* 少样本图像生成 (Few-shot Image Generation)
* 图像填充、图像分层、风格迁移及拖拽编辑等子领域
近两年,实验室重点关注生成模型的后训练技术以及理解与生成一体化模型的研究。
(责任编辑:娱乐)
- OPPO小布助手与支付宝阿宝深度融合,打造端云协同的智能体服务新范式
- 三星计划外包谷歌2nm TPU后端设计
- 野狗骨头车内吻戏封神:苗靖渣苏操作,把陈异拿捏得死死的
- 18年前汶川地震获救的少年,18年后在洪水中救人
- 凯尔凯兹:伊劳拉风格适合利物浦,在红军必须为冠军而战
- 荣耀发布全球首款机器人手机Robot Phone,具身交互时代加速到来
- 伊朗宣布封海,不到24小时,中方表态,措辞不寻常
- 欧盟放宽穿戴设备电池新规 AI眼镜出海欧洲迎来政策松绑
- 游戏掌机存储卡推荐:三星T7 1TB,多优集一身还促销
- 解读清泉股份盈利韧性:核心原料价格双周期波动加剧,客户集中高企制约成本传导能力|读懂IPO
- 巫师1:重制版转向开放世界,叙事逻辑与开发规模面临重构
- 矩阵超智创始人张海星:未来人形机器人价格会陡峭下降,大多数家庭会像买车一样尝试
- 刘丁硕说“怎么全是樊振东?”
- 轮回之兽实机演示发布:Game Freak打造高精度动作RPG
- 特朗普:俄罗斯已准备好达成协议,以结束俄乌冲突
- 丰田终止LF-ZC纯电轿跑项目,将补偿供应商数百亿日元损失
- 跟队透露阿根廷首发:梅西搭档小蜘蛛,小西蒙尼首发
- 威胁摧毁伊朗所有桥梁,不排除派遣地面部队,美媒:白宫讨论大规模进攻伊朗
- 【原声】英格兰懦弱崩盘,图赫尔亲自导演
- 伊朗称美进入正式战争状态
- 科学与健康|洪涝雷暴高发季,这样做好健康防护 views+
- 若西班牙夺冠,罗德里将是包揽世界杯、欧冠和金球奖第11人 views+
- 深夜!中国资产,集体爆发!科技巨头,飙涨 views+
- 87 版《红楼梦》主创集体悼念沙玉华 欧阳奋强邓婕送别刘姥姥 views+
- 洪欣张丹峰携女游伦敦,12岁彤彤气质出众,笑起来很甜美 views+
- 外媒关注中国经济半年报:走势稳健 多行业迎来更多发展机遇 views+
- 出走主播合体创业:曾为俞敏洪守擂,今与东方甄选打擂 views+
- 昆凌发文为大女儿海瑟薇庆生:曾经的小女孩已长成暖心大姐姐 views+
- ESPN:与M费相反,蒂莱曼斯渴望为曼联效力 views+
- 俄罗斯“金环”风情速览 views+
