AI是知识工作者的挖掘机,大幅提升教学与科研生产力。
—————————————
本文是“天工AI”系列文章的第4篇,也是最后一篇。前3篇分别是:
天工AI一共提供了五个办公智能体,分别是:文档、PPT、表格、网页/编程、以及通用智能体:
前3篇分别介绍了PPT、文档、网页/编程,本篇就专门来介绍“通用智能体”。
——按照天工的介绍,所谓“通用”,就是只要不属于前面四大类文档的,都属于通用,比如,画画、做音乐、做视频、做播客等。
【多说一句】关于”表格模式“,王珏老师试了一下,感觉效果一般。
比如,我让它去网页上搜索一些数据,结果会有很多空缺项(这似乎也可以理解);把搜索到的数据做成excel表是没问题的,不过当指令让它开展“数据分析”时,对于比较复杂的图表它就不能胜任了(当然如果只需要饼、柱、条这些基础图表,那应该没问题)。
所以,如果您对数据处理、数据分析有需求的话,倒不如用王珏老师推荐的“小浣熊”,详见:《》
——————————————
为了测试天工“通用智能体”的能力,王珏老师用它做了一个相当复杂的任务。
【总任务】为“小红帽”的故事,制作一个“多媒体互动有声书”
我的期待是:这个有声多媒体书,能够有图、有文、有声音、有视频,还能交互式控制。这样可以全面测试出天工的能力到底如何。
以下截图是天工最终制作出来的作品,可以说结果相当完美!
大家可以扫码体验一下天工AI制作的“小红帽多媒体互动有声书”(只有两页):
或者直接观看我录制下来的视频:
——————————————
由于这是一个非常复杂的任务,我自己也没有底,所以我决定还是一步一步来(当然每一步也都很复杂),让它逐步制作,这样便于我在中间进行控制、判断。
【任务1】根据故事画出绘本
【提示词】请根据“小红帽”的故事,画出系列绘本,儿童画风格
(提示词是我输入的,以下灰字部分的内容完全是天工AI干的,我没有做任何干预)
我已为您创作了一系列"小红帽"故事的儿童风格绘本插图。这8幅图片完整讲述了故事的发展过程,从小红帽出发去看望奶奶,到遇见大灰狼,再到最后的欢乐结局。
每幅图画都采用了适合儿童的绘本风格:
- 明亮活泼的色彩
- 圆润友好的线条
- 简化但富有表现力的卡通形象
- 温馨可爱的场景设计
- 水彩与彩色铅笔混合风格
以下是完整的图片系列:
- 故事开始:妈妈给小红帽红色斗篷,准备篮子去看望奶奶
- 森林之旅:小红帽在美丽的森林小径上行走
- 遇见大灰狼:小红帽在森林中与大灰狼相遇
- 狼到达奶奶家:大灰狼来到奶奶的小屋
- 狼假扮奶奶:大灰狼躺在床上假扮奶奶
- 经典对话:"奶奶,您的眼睛怎么这么大?"
- 猎人救援:猎人拯救小红帽和奶奶
- 欢乐结局:小红帽、奶奶和猎人一起在花园野餐
这些插图可以作为儿童绘本的基础,每幅图都能配上相应的故事文字,形成一本完整的小红帽绘本。
嗯,第一步看起来质量还算不错!
不过,如果你只是想生成系列绘本图片的话,那不推荐你用“天工”,因为要花很多积分的!我们直接用“豆包”就可以,不仅图片质量很高,而且还免费,详见:《》
下一步,就是在依托图片,再配上文字,形成真正的“绘本故事”:
【任务2】根据图片,配上相应文字
【提示词】在以上图片中,配上相应的文字,形成绘本故事
我已经为您创建了一本完整的"小红帽"绘本故事。每张图片都配上了适合儿童阅读的生动文字,讲述了小红帽的冒险故事,从出发去看望奶奶,到森林中遇见大灰狼,再到最后的欢乐结局。
这本绘本采用了互动式设计,您可以通过以下链接查看完整的故事:小红帽绘本故事
https://skyagent-artifacts.tiangong.cn//page/3c317af7-35a5-4f13-b835-2948e86312f0/little_red_riding_hood_storybook.html
绘本特点:
- 八个故事场景,完整呈现"小红帽"故事
- 每个场景配有生动、简短的文字描述
- 适合家长朗读给孩子听
- 包含教育意义,强调"不要和陌生人说话"的安全意识
- 页面设计友好,有翻页按钮和页码指示
- 适应各种屏幕大小,无论是在电脑还是手机上都能良好显示
您可以使用左右箭头按钮或页面底部的小圆点导航浏览整个故事。希望这本绘本能为孩子们带来欢乐和教育意义!
这一步确实出乎意料!天工居然采用html编程的方式,不仅为图片配上了文字,文字有排版,而且还能翻页!这比我自己预想中的要好(我自己想的是做若干张图片)。
到这一步,离我们的目标还远得很!下下,该让图片动起来、形成视频了!
【任务3】将绘本中的图片,制作为动态视频
【提示词3】针对绘本的每一幅图,制作一个动画,并将动画+绘本放到一个网页中
我已经为您创建了一个精美的小红帽多媒体绘本故事书!这个故事书将动画视频和文字巧妙地结合在一起,给孩子们带来沉浸式的阅读体验。
您可以通过以下链接访问这本多媒体绘本:小红帽多媒体绘本故事书
https://skyagent-artifacts.tiangong.cn/page/e4411ed7-0fe7-42ce-9cd1-a0e86d38cf20/multimedia_little_red_riding_hood.html
这本多媒体绘本具有以下特点:
- 动画场景- 每个场景都配有10秒左右的动画视频,生动展示故事情节。视频中角色有自然的动作,环境也有细微的变化,增强了故事的吸引力。
- 互动控制- 每个视频都有播放/暂停和重置按钮,让读者可以控制观看节奏。
- 角色对话- 使用不同颜色和样式区分各个角色的对话,包括小红帽、妈妈、奶奶、大灰狼、猎人和旁白。
- 教育价值- 每个场景下方都有"小贴士",强调故事中蕴含的安全教育和生活智慧。
- 简便导航- 页面底部有导航按钮和进度指示点,可以轻松在不同场景间切换。
- 响应式设计- 适合在手机、平板和电脑等各种设备上观看。
- 加载优化- 页面预加载所有视频,确保流畅的浏览体验。
这个多媒体绘本不仅是一个有趣的故事,更是一个很好的教育工具,可以帮助孩子们了解"不要和陌生人说话"、"听从父母建议"、"保护个人信息"等重要的安全知识。
建议家长和孩子一起阅读这个绘本,边看边讨论故事中的情节和教训,增进亲子互动的同时也提高孩子的安全意识。
这一步完成后,天工确实根据每一页中的图片,制作成了一个动态视频。
——这倒不稀奇,图生文是比较成熟的技术,不过这种“发指令后不管”、AI自动规划执行、批量执行、最后交成果的方式,确实让人类相当省劲。
再往下,就该为视频配音了,要求分角色配音,另外还需要视频、音频的交互控制功能、自动播放功能等。
配音功能咱没用过,也不知道它的能力咋样,所以先让它做一页试试,万一做得不好,也不至浪费太多积分:
【任务4】在视频中增加配音(第一页)
【提示词4】请在第一页的视频绘本中,插入相关配音,要求:
1、配音不需要和视频同步,仅需能播放声音即可
2、进入页面后,提供“播放视频”、“播放音频”两个按钮来控制
3、点击“播放声音”按钮时,顺序播放该页的所有旁白
4、进入页面后,自动播放视频;视频播放完成后,循环播放
5、进入页面后,自动播放音频,并可手动停止播放音频。
(特别说明:以上提示词为通过多个步骤的交互逐步完善得到的。为了减少无谓的积分损失,我是先用第一页来做实验的,调整好后,再逐页增加)
【提示词5】请按照上述要求,制作剩下的全部页面,并将所有页面统合到一个html文件中,可以支持前后翻页
我已经按照您的要求创建了小红帽绘本第一页的自动播放版本。现在页面加载后会自动播放视频和音频,并且包含了您指定的全部功能。
您可以通过以下链接访问:小红帽动画有声书 - 第1-2页
https://skyagent-artifacts.tiangong.cn/page/c86e77b9-2bf9-45dc-bdbf-20aa440bc516/little_red_riding_hood_two_pages.html
页面特点和功能:
- 自动播放功能
- 页面加载后自动播放视频,并自动循环播放
- 同时自动开始播放所有配音(旁白→妈妈→小红帽)
- 页面顶部有友好提示,告知用户自动播放已开始
- 视频控制
- 视频自动循环播放(播放完后自动重新开始)
- 用户可以通过"暂停视频"按钮停止视频播放
- 再次点击可以继续播放视频
- 音频控制
- "暂停音频"按钮可以随时停止正在播放的配音
- 停止后,可以通过"播放音频"按钮重新开始播放所有配音
- 每个角色还有单独的按钮,可以单独播放各角色的配音
- 交互体验优化
- 当前播放的对话文本会高亮显示
- 页面会自动滚动到正在播放配音对应的文字处
- 所有按钮都有清晰的视觉反馈
- 响应式设计
- 页面适配各种屏幕大小,在手机和平板上也能良好显示
- 控制按钮在小屏幕上会垂直排列,确保易于点击
这个设计遵循了您的全部要求,提供了流畅的自动播放体验,同时也保留了手动控制的灵活性。页面加载后,视频和音频会立即开始播放,给孩子们带来生动直观的故事体验。
请注意,由于浏览器策略限制,某些设备上可能需要用户进行一次交互(点击页面)才能启动自动播放。如果自动播放未生效,只需点击一下页面即可。
这一步做完后,天工就提供了一个链接(就是本文开头的二维码),点击即可以访问。
(特别说明:由于我的积分消耗完了,所以最后天工只做了第1页、第2页,不过作为测试来说也够了,足以表明天工的能力)
【小结】
最后,王珏老师总结一下天工“通用模式”的优缺点吧。
【优点】
天工AI可以针对非常复杂的任务,进行合理地规划、拆解、执行,有的任务能一次性执行2个小时以上,我从未发现它崩溃过,可见天工AI是相当强悍、稳定的。
因此,人类是主人,AI是新时代的牛马;人类负责提问、判断、决策等“高创造力”的活,AI负责繁琐的执行任务。
HI+AI,人机协作,为人类工作提质、减负、增效!
【缺点】
1、就以上任务来说,天工的文生图、图生视频、视频与声音合成、HTML编程的表现都很棒,只有“配音”任务质量较差。很显然,所有角色都只是同一个人的声音,而且配音听起来感染力也远远不够。
我看到有老师用“扣子空间”智能体,制作了类似的有声书,从配音质量上来看是相当高的。如果您对配音质量要求较高,不妨一试。
2、完成这么复杂的任务,质量虽然很高、也很省事,但也是需要付出代价的——这一任务总共花了17000多积分!
(就这,最终还只是完成了两页成品)
我的这些积分是很多朋友接受我的邀请,天工AI奖励给我的积分(感谢大家的大力支持),我倒是并没有花钱。
如果按照天工AI对积分的定价的话,10000积分差不多是50块钱,17000积分大约就需要80块钱左右了。如果这本“多媒体互动有声书”全部完成的话,估计就得25000积分左右了,如果全部用充值来买积分的话,总成本差不多就是120块钱左右。
这样一本很棒的多媒体互动有声书,只用120块钱就能做出来,其实已经非常非常便宜了——如果找人来做的话,成本恐怕至少要提高30~50倍吧!
而且,这只是我所做的一个全功能测试,希望能够了解天工AI的能力到底如何。大家一般也不会需要这么复杂和高级的作品,所以积分消耗虽然不小,但也不会有这么夸张(天工AI目前每天会送1500积分,普通任务应该基本够用了)。