鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI
现在，图像中的文字生成都进化到这种程度了，还是开源的。
通义模型家族，刚刚又双叒开源了，这次是Qwen-Image——一个200亿参数、采用MMDiT架构的图像生成模型。
这也是通义千问系列中首个图像生成基础模型。
看Qwen-Image生成的画面就知道，它主打的能力之一就是复杂文本渲染。
像这张书店畅销书架的图片，包含复杂的图文混合布局，文字的准确度、契合度，甚至于随书籍摆放角度形成的变化，都挑不出来什么错。
生成海报，也是不在话下。
照例，通义千问团队把模型、详细技术报告一口气都放了出来，Qwen-Image的能力也第一时间上线QwenChat，现在就能在官网上手体验。
实测Qwen-Image
Demo很优秀，实测效果又会如何？
Round 1：情境插画
测试提示词是：
李白站在窗前写“床前明月光”，窗外明月当空，在屋内投下柔和的光线，书桌上有酒和书籍，整体风格古典
好家伙，感觉可以直接给语文课本用了。
“床前明月光”这几个字不是直愣愣P上去的，跟画面融合得相当不错。画面细节方面，也很有氛围感。
硬要挑刺，就是AI有点分不清屋内屋外了（doge）。
Round 2：生成PPT、海报
官方Demo中有直接生成PPT的示例，我们也来测试一下，提示词是：
一张企业级高质量PPT页面图像，整体采用简约现代的风格，主题颜色是蓝绿色，背景用线条和粒子营造科技感，页面顶部左侧清晰展示QbitAI的标志。主标题位于画面中央偏上，文字内容为“量子位AI Coding线下沙龙”，字体规整简介，突出技术感。主标题下方放两张图，一张是线下沙龙现场照片，另一张体现AI编程
生成结果是这样的：
严格来看，右上角有小小的瑕疵，左下角图中图的文字也不是那么准确，但整体效果确实很顶，主体文字、图中图都能符合提示词的要求。
那么如果提示词更模糊更简单，Qwen-Image是否还能给出高质量结果？
测试提示词：
制作一张海报，主题是：通义千问开源Qwen-Image
文字准确，也体现了AI画画的元素，没毛病。
Round 3：商品宣传图
最后，再来测测Qwen-Image的“卖货”技能。
提示词：
面包店的商品宣传图，画面主体是面包和奶油蛋糕。图中文字展现“美味”、“动物奶油”、“开启美好一天”，字体采用花体字，整体风格轻松活泼。整体采用暖色调
有点惊喜的是，Qwen-Image把“动物奶油”这几个字准确对应到了奶油蛋糕上。
需要说明的是，以上实测，均为一次出图。
可以看到，Qwen-Image对提示词的理解都很到位，提示词给得越精准，执行的效果细节越丰富，其中文字渲染能力，确如官方所说，能做到高保真输出。
你给这个效果打几分？
性能SOTA
文本渲染能力之外，Qwen-Image还具备一致性图像编辑能力，支持风格迁移、增删改、细节增强、文字编辑、人物姿态调整等多种操作。
总结起来，其主要特性包括：
复杂文本渲染能力： Qwen-Image在复杂文本渲染方面表现出色，支持多行布局、段落级文本生成以及细粒度细节呈现。无论是英语还是中文，均能实现高保真输出。
一致性的图像编辑能力：通过增强的多任务训练范式，Qwen-Image在编辑过程中能出色地保持编辑的一致性。
性能SOTA：在多个公开基准测试中的评估表明，Qwen-Image在各类生成与编辑任务中均获得SOTA。
性能表现方面，通义千问团队在多个公开基准上对Qwen-Image进行了评估，包括用于通用图像生成的GenEval、DPG和OneIG-Bench，以及用于图像编辑的GEdit、ImgEdit和GSO。
在所有基准测试中，Qwen-Image都实现了SOTA。
在用于文本渲染的LongText-Bench、ChineseWord和TextCraft上的结果表明，Qwen-Image在文本渲染方面表现尤为出色。
特别是在中文文本渲染上，大幅领先现有的最先进模型。
从技术报告透露的细节来看，为了解决复杂文字渲染难题，通义千问团队在数据处理、训练策略方面都做出了改进。
训练方面，Qwen-Image采用渐进式训练策略，从非文字到文字渲染，从简单到复杂文本输入，逐步过渡到段落级描述，这种课程学习方法大大增强了模型的原生文字渲染能力。
更多细节，可戳文末链接，查看官方技术报告。
One More Thing
官方放出的示例中，还有这么一张有意思的PPT。
提示词中的关键字是“通义千问视觉基础模型”。
莫非是新的剧透？
这个8月真是有意思了~
ModelScope：https://modelscope.cn/models/Qwen/Qwen-Image
Hugging Face：https://huggingface.co/Qwen/Qwen-Image
GitHub：https://github.com/QwenLM/Qwen-Image
技术报告：https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-Image/Qwen_Image.pdf
实测地址：chat.qwen.ai
