近日,新加坡国立大学(NUS)团队发布了一个名为 “OmniConsistency” 的创新项目,旨在以极低的成本复现 OpenAI 的 GPT-4o 模型在图像风格化上的一致性。这项技术不仅解决了当前开源社区在图像风格化和一致性之间的矛盾,还为广大开发者提供了可行的解决方案。
近年来,图像风格化的技术不断发展,但在实际应用中,风格与内容一致性之间的平衡一直是个难题。为了增强风格化效果,很多模型往往牺牲了细节和语义的准确性。NUS 的研究团队认识到这个问题,他们的目标是实现风格化效果和一致性之间的完美结合。
OmniConsistency 的核心创新在于其独特的学习框架。与以往的方法不同,OmniConsistency 并不单纯依赖风格化结果的训练,而是通过配对的图像数据学习风格迁移中的一致性规律。该项目只用2600对高质量图像,经过500小时的 GPU 算力训练,便实现了令人惊艳的效果。如此低的成本大大降低了开发者的负担。
此外,OmniConsistency 采用了一种模块化架构,支持即插即用,兼容各种现有的风格化 LoRA(低秩适应)模块。这意味着,开发者可以轻松将 OmniConsistency 整合进他们的项目中,而不必担心与现有系统的冲突。
通过这项新技术,NUS 希望在开源生态中注入近乎商业级的能力,为更多的开发者和创作者提供便利。未来,OmniConsistency 可能会成为图像生成领域的重要工具,推动 AI 艺术创作的进一步发展。
项目地址:https://github.com/showlab/OmniConsistency