AI原生应用里面将会以AI Agent即AI智能体为主要代表，将会有很多个像crewAI—用于编排角色扮演的AI agent（超级智能体）一样的Agent出现在我们的面前。在可以预见的未来，世界大模型Sora—聊聊火出圈的世界AI大模型——Sora毫无疑问将会带来革命性的AI热潮。
今天要介绍的是一款复现Sora技术的开源项目。
Open-Sora 是一个开源项目，提供了一个高性能的开发管道实现，Sora 可能使用这种管道，由 Colossal-AI[2]驱动。
核心功能
•提供完整的 Sora 复现架构解决方案，包括从数据处理到训练和部署的整个过程。
•支持动态分辨率，训练可以直接训练任何分辨率的视频，无需缩放。
•支持多种模型结构。由于 Sora 的实际模型结构未知，我们实现了三种常见的多模态模型结构，如 adaLN-zero、交叉注意力和上下文条件化（token concat）。
•支持多种视频压缩方法。用户可以选择使用原始视频、VQVAE（视频原生模型）或 SD-VAE（图像原生模型）进行训练。
•支持多种并行训练优化。包括与 Colossal-AI 兼容的 AI 大模型系统优化能力，以及 Ulysses 和 FastSeq 的混合序列并行性。
更多信创开源资源下载，尽在XPlaza信创开源广场！
