人工智能与多模态基础 · 大语言模型与声音生成

"春江潮水连海平，海上明月共潮生。"小江想在短片开头用一段男声旁白念出这两句，配上潮水音效。她在对话框里敲下："请写一段《春江花月夜》的解说词，要有画面感。"十秒钟后，屏幕上出现了一段像模像样的文字——但读起来像旅游宣传册。问题出在哪？提示词没说清楚"给谁看、什么风格、多少字、分几个镜头"。这一章要解决的就是这件事：让你说的每一句话，都能变成机器听得懂的"指令"——顺带把机器听懂指令的原理、以及把文字变成声音的全过程讲透。

1.1多模态：机器眼中的世界，全都是数字

先立一个贯穿全书的观念：在计算机内部，不存在"文字"“画面”“声音”这些东西，只有数字、向量和概率。所谓"多模态"（multimodal），说的是把文本、图像、音频、视频、三维模型这些不同形态的信息（每种形态叫一个"模态"，modality），翻译成同一种数字语言，让一个模型能同时处理。

这张表值得多看两眼："切块 + 编码"是所有模态进入 AI 的统一入口。第 2 章的图像生成、第 3 章的视频生成，本质都是在处理"另一种词元序列"——你会发现它们的提示词写法、参数逻辑，与本章的文本提示一脉相承。这也是本书把"表征"放在第一章的原因：看懂了这个入口，后面每一种媒介都只是换了"块"的形状。

词元：机器眼中的"字"

模型不按"字"或"词"处理文本，而是按词元（token）：一种介于字和词之间的切块单位。切分规则由"分词器"（tokenizer）决定，大致可以这样理解：

• 英文里一个常见单词通常是 1 个词元，生僻词会被拆成两三个（如 unbelievable → un + believ + able）；
• 一个汉字通常是 1–2 个词元，取决于具体模型的分词表；
• 一个标点、一个空格也算词元。

为什么要知道这个？三个现实原因：第一，几乎所有大模型都按词元计费和限长——"你的输入不能超过多少词元"说的就是这个；第二，理解"词元≠字"，你就能理解模型的一些怪毛病，比如为什么它有时会把一个词的中间切开处理、为什么对数字的算术不敏感（数字也只是一个词元串）；第三，不同厂商的分词方式不同——同样的文本，在不同工具里的词元数可能相差不少，这就是"为什么同一段材料，A 工具装得下、B 工具装不下"的技术原因。凡是需要精确控制长度（如严格按字数生成的旁白）的场合，都要用目标工具实测一次，而不是凭感觉换算。

嵌入：把语义变成"坐标"

嵌入（embedding）指把每个词元映射成一串数字（向量）。关键在于：这串数字不是随便编的，而是在训练中"学"出来的——语义相近的词元，会被安排到向量空间里相近的位置。"月"和"明月"距离近，"月"和"冰箱"距离远。这一点也是后面所有技术的基础：只要能把某种媒介切块并嵌入，模型就能用同一套办法处理它——图像被切成小块（patch）嵌入、音频被切成小段嵌入、视频被切成时空小块嵌入。所谓"多模态大模型"，本质就是一个统一的向量空间 + 多套编码器。

不止会说话的模型：视觉语言模型的预告

本章的主角是"语言"模型，但你实际用的工具里，多数已经能"看图"：上传一张分镜图问"这个构图有什么问题"，或者把照片里的场景描述成提示词——这是视觉语言模型（vision-language model）在起作用：在第 1.1 节那张图上，"图像"也被切块、编码，然后与文字向量放进同一个空间，于是"看图说话"变成了"在同一空间里匹配"。

为什么现在预告这件事？因为它正是第 2 章的起点：既然图像能被"翻译"成向量，那么反过来，从文字的向量"翻译"回图像就成了一条可行之路——第 2 章的扩散模型走的正是这条路。你现在建立的"文本 ↔ 向量 ↔ 图像"的心智模型，会在下一章立刻被用到；到第 3 章的"视频"、第 4 章的"三维"，只是再往向量空间里塞进"时间和空间"第三个、第四个维度。

潜空间：多模态的"公共休息室"

你已经看到，文本、图像、音频都被编码成向量。把这些向量所在的高维空间统称为潜空间（latent space，也译"隐空间"，本书统一用"潜空间"）。它有两个反直觉但极其重要的性质：

• 它比原始数据"小"得多。一张 1024×1024 的彩图有 300 多万个像素值；编码后可能只有几百个数字。"潜"的意思就是"压缩后的、抽象的表示"——保留语义，丢掉冗余。压缩必然有损，这是后面所有"生成细节丢失"问题的总根源（第 2 章会细讲）。
• 在它里面可以"做算术"。因为语义变成了方向，向量之间的运算往往对应语义的操作——"国王−男人+女人≈女王"是最著名的例子。第 2 章的"图生图"、第 6 章的"动作迁移"，本质上都是在潜空间里"沿着某个方向移动"。这张图先建立直觉，后文不断回访：

1.2大语言模型：一台"预测下一个词"的机器

大语言模型（large language model，LLM）做的事，一句话可以说完：给定前面所有的词元，预测下一个词元最可能是什么。"春江潮水连海"后面接什么？模型会给所有候选词元一个概率："平"可能是 62%，"天"8%，"面"3%……然后按概率取样，选出"平"，再把它接到后面，继续预测下一个。整个"写作"过程，就是这件事重复几百上千次。

听起来平平无奇——但深想一层就可怕了：要准确预测"下一个词"，模型必须在内部学会语法、常识、逻辑，甚至世界知识。因为要接对"潮水连海平"，它得"知道"这是一句唐诗；要接对"如果 A>B 且 B>C，那么 A 和 C 的关系是"，它得会传递推理。这就是"预测下一个词"能涌现出翻译、写作、编程、推理能力的原因。

一次完整的生成：把"海上明月共潮生"拆开看

为了把"预测下一个词元"这个抽象说法变成可触摸的过程，我们把前几节的工具串起来，完整推演一次。假设提示词是"以《春江花月夜》的意境写一句七言诗，以'海上明月'开头"，模型的"思考"（其实是计算）大致是：

1. 读入与编码。把你的提示切成词元、嵌入成向量。此刻模型"手上"是几百个向量。
2. 逐层计算注意力。经过几十到上百层：每一层里，每个词都"看一圈"上下文（1.1 节的加权平均），不断融合信息。到最后一层，"下一个词"的候选分布已经蕴含了语法、意象搭配与格律倾向。
3. 取样第一个字。在"共/同/连/随……"的候选里按概率取到"共"——注意，这一次取样是随机的，换一次可能取到"同"（这就是温度在起作用）。
4. 回填与循环。"海上明月共"成为新的上下文，模型继续预测下一个字："潮"。如此往复——潮、生、。、然后停止。
5. 终止条件。模型输出一个特殊的"结束词元"，或达到你设置的长度上限，生成结束。

五个步骤里藏着本课程后面每一章都会重逢的四个概念：嵌入（第 2 章图像的"块"）、注意力（第 3 章视频的"时空"）、取样（全部生成工具的参数语义）、终止条件（第 8 章智能体的"停止条件"）。大语言模型是这套机制的第一个实例，不是唯一的实例——把这五个步骤吃透，后面只是"词元换成了图像块、音频帧、三维点"。

Transformer 与注意力：它到底怎么"读懂"上下文

支撑这一切的架构叫 Transformer，核心机制是注意力（attention）。用一句人话来概括：处理每个词时，先"看一圈"上下文里所有词，决定该重点关注谁。

看这个例子："小月把画架搬到窗边，因为它光线最好。"读到"它"时，模型要给上下文里的词分配注意力：对"光线"、"窗边"权重大，对"画架"权重小——于是它知道"它"指窗边，而不是画架。这个"权重分配"就是注意力。权重怎么算出来的？靠训练：模型从海量文本中学会了"什么词该关注什么词"。

训练三阶段：从"见过世面"到"会说话"再到"懂分寸"

一个大模型的能力不是一次训练出来的，而是分三个阶段"养"成的。理解这三段，你就明白为什么模型既博学又听话，也明白它的知识为什么有截止日期：

规模定律与"涌现"：为什么"大"本身就是方法

有一个反直觉的事实值得单独讲清楚：大模型的能力不是被"设计"出来的，而是被"规模"逼出来的。研究者发现，模型的能力随参数量、数据量、算力的增长呈现可预测的规律——这就是规模定律（scaling law）。更神奇的是"涌现"（emergence）：某些能力（如多步推理、指令跟随）在小模型上几乎为零，模型规模跨过某个门槛后却突然出现，像水在 0°C 突然结冰。

这解释了一系列现象：为什么业界拼命堆算力（因为"更大会更好"是可预测的）；为什么能力提升常常"突然"（涌现是相变式的）；也解释了你选工具时的直觉——同一个家族的模型，大版本与小版本的能力差距可能是一道"能不能用"的门槛，不要用轻量模型去硬扛复杂任务，也别用旗舰模型去做批量格式转换（浪费）。这条"按任务难度选模型档位"的意识，会贯穿后面每一章。

架构演化：模型在往哪儿长

2022 年以来，大模型虽多，演化方向却很清晰。你不需要记住型号，只需要记住四条趋势——它们决定了你未来能用工具做什么：

上下文窗口：模型的"工作台"有多大

模型一次能"看到"的词元总量，叫上下文窗口（context window）。这个数字很关键，因为模型没有长期记忆——它每次回答时"知道"的一切，就是你这次会话里给它的内容（再加上训练时学进参数的知识）。窗口越大，"工作台"越大：可以一次丢进整本小说让它分析结构，可以把几十页的分镜文档发给它做统一校对。换算参考：一百万词元（1M）大致相当于几十万汉字——一本长篇小说的体量。

使用上下文窗口有四个实用认知：第一，超长不等于好用——内容太长时，模型对中间部分的注意力往往弱于开头和结尾（业界俗称"中间遗忘"或"迷失在中间"），重要指令建议放在开头或结尾，并显式重复一遍；第二，"宣称窗口"往往大于"有效窗口"：第三方长文本基准测试显示，不少模型能可靠利用的长度只有宣称值的六成左右——所以"塞满整个窗口"不如"精简后再喂"；第三，窗口按词元算，不按字数算，而且不同厂商的分词方式不同，同样一段中文在不同工具里的词元数可以差出五成，估算时要留余量；第四，"没有记忆"是默认状态——多数工具里，换一个对话框就"失忆"，要它延续上面的工作，得把关键结论重新贴给它（或使用平台的"记忆/项目"功能）。理解了这一点，你就明白第 8 章为什么必须讲"记忆机制"和"知识库"。

1.3推理模型：从"脱口而出"到"想好再说"

2024 年之后，主流大模型陆续多了一个开关：有的叫"深度思考"，有的叫"推理模式"（reasoning）。打开它，模型不再"脱口而出"，而是先写一段不给你看的草稿——反复推敲、自我检查、必要时回头重算——最后才给出答案。

这项能力的训练逻辑（用一个尽量准确的直觉）：让模型在大量难题上练习"写出完整的解题过程"，并用结果对不对来奖励它。久而久之，模型学会了"想得越充分、答对的概率越高"，于是自发地在难题上花更多"思考"。

把推理模式用好的四条经验

1. 给它"可检验的目标"。推理模式擅长"有对错标准"的任务：算数、排期、逻辑检查。给它模糊目标（"写得有感觉"），它会用长篇思考换来平庸结果。
2. 要求它"先列假设，再动手"。提示词里加一句"先列出你需要的假设与信息缺口"，能把它的思考引向"检查前提"——很多规划类错误的根源是默默接受了错误前提。
3. 让它自评。"给出方案后，指出这个方案最可能失败的三个原因。"这一步几乎零成本，却常常直接产出下一轮的修改清单。
4. 别信"思考越长越好"。简单任务配上推理模式，等于打车去买楼下的酱油——又慢又贵，还可能因过度分析把简单问题复杂化。任务难度与模式匹配，是判断力的体现。

1.4提示工程：把"想要什么"说清楚的手艺

现在回到开头痛点：小江的提示词为什么只换来"旅游宣传册"？因为她只说了"要什么"（画面感），没说"给谁、多长、什么调、分几段"。提示工程（prompt engineering）就是研究"怎么说"的手艺。这一节给你一套能立刻用起来的框架。

四要素：角色 · 任务 · 约束 · 输出格式

一条"及格线以上"的提示词，通常包含四个要素。我们直接用小江的案例演示——把一句话扩写成一条能用的提示词：

下面是改写后的完整提示词，你可以直接复制去试（提示词卡在网页版带一键复制按钮）：

再看一张"分镜脚本"的提示词卡——它演示了"把大任务拆成有格式的小任务"的思路（与上面的解说词提示词是配套的两步）：

注意最后一行"风险备注"——这是本书反复使用的技巧：在提示词里给它留一列"说实话的位置"。让模型评估自己方案的风险，比让它假装一切顺利有用得多：你会因此提前知道"水面反光"这类老大难在哪一镜等着你（第 3 章会验收这一点）。

参数：温度与取样

对话框里能调的参数不多，但每个都很关键。最重要的是温度（temperature）：

四种常用提示模式：从"问一句"到"教一遍"

除了四要素，实践中有四种成熟的提示"套路"。它们按"你给模型的引导量"从小到大排列，引导越多，结果越稳定可控：

一个组合起来的例子（少样本 + 逐步推导，用于批量生成镜头文案）："请按以下格式为剩余 12 个镜头生成文案。先在草稿里分析每个镜头的情绪关键词，再输出成文。示例——镜头 1：情绪=辽阔→ 文案=……；镜头 2：情绪=孤独→ 文案=……"。"先分析、再成文"这个简单要求，常常能让文案质量明显提升，因为它把模型的"草稿空间"打开了——这也是 1.3 节推理模式的"平民版"用法。

迭代：没有人一次就写出好提示词

1. 先要一个"能看"的版本。不要憋大招，用四要素写第一版，马上跑。
2. 指出不满意的具体点，让它改。不要说"写得不好"，要说"第三句太浮夸，改成白描"——把"评估"变成下一轮提示词。
3. 一次只改一个变量。同时改风格和字数，你就不知道是哪一项起的作用——这与后面各章的"参数对照实验"是同一套方法论。
4. 满意后，沉淀成模板。把定稿提示词存进附录 C 那样的模板库，下次换主题直接替换占位符。

从"提示词"到"上下文工程"：把该给的信息给全

提示词的下一层功夫，是安排"模型能看到的一切"——不只是你最后敲的那句话，还包括：系统设定、历史对话、你粘贴的参考文档、上传的图片、工具返回的搜索结果。这个更大范围的功课叫上下文工程（context engineering）。它和提示工程的关系，好比"写一张便条"与"布置一张工作台"。

一个立刻能用的上下文工程实践是把参考资料放进会话，而不是指望模型"记得"：写《春江花月夜》的解说词时，把全诗原文、前几版定稿、风格要求列表一并贴进去，再让对方动笔。你会发现输出质量的提升，往往比"把提示词改得更花哨"大得多。另一个实践是给上下文分段：用标题（"【任务】【参考】【约束】【示例】"）把不同性质的内容分开——模型和人一样，读结构化的材料比读一大段"流水账"更不容易漏要点。

1.5幻觉：模型什么时候会"一本正经地胡说"

小江请模型"引用一句古人描写春江的诗"，模型给出了一句查无此人的"名句"——平仄工整、气象宏大、完全不存在。这就是幻觉（hallucination）：模型生成了一段流畅、自信、但不符合事实的内容。

为什么会幻觉：三个原因

• 它在"取样"，不在"查证"。回到 1.2 节的图：模型的每个词都是从概率分布里取的。"看起来最像下一句"的答案，不等于"真实存在"的答案——尤其当你的问题预设了一个错误的框架（"请引用×××的那句诗"），它会顺着你的框架编。
• 训练目标是"像"，不是"对"。预训练奖励的是"预测得像人类文本"，后训练才会部分纠正"编造"——但纠正不彻底。
• 知识有截止日期。预训练数据有截止时间，之后的事件它不知道；不知道时，一些模型宁愿"编一个像样的"也不说"不知道"。

三次"实测"告诉你幻觉有多普遍

幻觉不是理论担忧，而是被反复实测的问题。三个可以引用的公开案例：

• "315 晚会"测试（2026 年 3 月，据上海辟谣平台等报道）：向数个国产大模型提问"2026 年央视 3·15 晚会曝光了哪些品牌"，仅 1 个模型回答正确：有的把往年的曝光案例混入今年，有的断言"晚会尚未举办"，有的给出的报道链接实际打不开——错误还被后续引用，形成"错误链"。
• 中文史料引用基准的横评：一项针对中文历史出处能力的研究测试中，全部参测模型共出现上百处"纪年不可能"的臆造来源（例如断言某书收录某事，而该书的成书年代根本不可能包含它）——说明"编造出处"是跨模型的结构性问题。
• "过度顺从"的实验（Anthropic 团队论文，arXiv:2310.13548）：研究发现，用人类反馈训练的模型会表现出"sycophancy"倾向——当回答与用户观点一致时更容易被人和评分模型偏爱；有时甚至为讨好用户而牺牲真实性。这意味着一个隐蔽的风险：你说错了，它不但不纠正，还会顺着你编。

核查的实操工具箱

知道"要核查"和"会核查"是两回事。下面是四种在你手边就能用的核查手段，按成本从低到高排列：

使用的经验法则：用①做普查（让模型自己标记不确定处），用②③做抽查，用④守住"要公开发布的关键事实"这道闸门。别忘了把核查过程记进创作档案——期末"技术说明"里"本节涉及的三处史实分别经××方式核实"的写法，比任何形容词都有说服力。

幻觉的另一面：它是缺陷，也是"联想"的来源

有必要说清一件事：幻觉和创造力，在机制上是同一个东西的两个侧面。模型"编"出一个不存在的诗句，靠的是它把学过的意象、格律、修辞自由组合——同一套"自由组合"，换一个使用场景就是创意。所以我们的态度不是"消灭幻觉"，而是分流：

• 事实性任务（写解说词里的史实、技术说明里的数据、引用）：以"零幻觉"为目标——核查、溯源、拿不准就不写。
• 创意性任务（起名、比喻、分镜想象、"十个版本的片头语"）：欢迎"幻觉"——越出乎意料越好，人负责从候选里挑出那个"妙"的。

分流判断的标准很简单：这句话如果错了，会不会有人受伤害？会——进核查流程；不会——放手让它"胡思乱想"。第 2 章起你会发现，这个判断标准适用于所有媒介的生成结果。

怎么评估一段 AI 输出：四维打分法

课程期末的"技术说明与参数对照"要求你说明"为什么这一版更好"。说"感觉更好"不算数——你需要一套可复述的评估语言。下面这张表是本书推荐的"四维打分法"，后面每一章的实践都沿用它（各维度按具体媒介微调）：

用法：给每个维度打 1–5 分并写一句理由——理由比分数重要，因为它就是下一轮提示词的修改清单。"忠实度 2 分：把镜头 5 和 6 的内容写重了"——你看，反馈已经写成提示词了。

贯穿案例·第一步：小江的脚本工作流

1.6语音识别（STT）：把声音变成文字

小江给短片做完了配音，下一步是字幕。她本能地打开剪辑软件想手打——六十秒的旁白，四段文字，逐句听、逐句敲，至少要半小时，还容易打错。小舟拦住她："你先看看这个。"他把音频拖进一个网页工具，十秒钟后，带时间戳的四行字幕整整齐齐地列在那里。

这就是语音识别（speech-to-text，STT，也译"语音转文字"、俗称"听写"）：把一段声音变成对应的文字。它是本章四族技术里的第二族，也是最被低估的一族——因为它的产物太"朴素"（不过是一段文字），以至于很多人忘了：没有它，就没有自动字幕、没有口播剪辑、没有可检索的播客文稿。

一条逆向的流水线：从波形回到文字

上一节开头我们说，声音是"机器记录的形态"（波形）与"接近听觉的形态"（频谱）的结合。STT 要做的，是从前者出发，倒推出后者背后"说的到底是什么"。现代系统的链路大致是三步：

创作者的四个用法：字幕只是最简单的一个

多数同学对 STT 的印象止于"自动字幕"，但它在创作流程里至少有四个位置，而且后三个比字幕值钱：

注意②：它把视频剪辑的交互方式整个换掉了。当视频有了"文字层"，剪辑就从"看画面、找位置"变成了"读稿、改稿"——这是近几年内容行业最实在的效率变化之一，值得你在第 3 章的剪辑环节亲手试一次。

调好它：几个必须认识的参数

1.7语音合成（TTS）与语音克隆：把文字变成人声

现在把方向倒过来：给定一段文字，要它"说话"。这是本章四族技术里的第三族——语音合成（text-to-speech，TTS）。它和上一节是一对镜像：STT 把声音变成文字（判别），TTS 把文字变成声音（生成）。而这一节还要讲一个 TTS 的"加强版"：语音克隆——不只让它说话，还要让它用指定的音色说话。

先补一块地基：声音是什么

要理解 TTS 的三段管线，先得知道计算机眼里的声音长什么样。声音的本质是空气的振动。麦克风把振动变成电压起伏，每隔一小段时间记录一次电压值（这叫采样，常见频率 44.1 kHz，即每秒记录 44100 次），就得到一串数字——波形（waveform）。计算机存储、传输、合成音频，处理的都是这串数字。

但直接处理波形很难"理解"：它只是电压曲线，看不出"谁在说话、说了什么"。于是有了第二种视角——频谱：把一小段时间的波形分解成"由哪些频率成分组成"（这份工作由傅里叶变换完成）。人耳的听觉恰好是按频率组织的，所以"频谱"比"波形"更接近"我们听到的内容"。音乐播放器上的跳动柱状图、语音识别与语音合成里的特征，用的都是频谱视角。

TTS 的三段管线：念得对、念得像、听得真

语音合成（TTS）走的是"文本 → 声音"的路线，现代系统大致分三步：

1. 文本前端：把字读对。处理多音字（"明月"的"月"没问题，"长安"要读 cháng 还是 zhǎng？）、数字读法（"2 分钟"读"两分钟"）、断句与轻重音——这一步决定了"念得对不对"。
2. 声学模型：把字变成"声音的参数"。决定用什么音色、什么语调、哪里停顿、哪里扬起来。这一代模型是神经网络，学的是"文本与语音的对应关系"。
3. 声码器：把参数变回波形。把声学参数"还原"成能播放的波形数据——决定音质是否自然、有没有金属味。

近年的关键进展是零样本语音克隆：只要给模型一小段某人说话的录音（几十秒量级），它就能提取"音色特征"并模仿其声音朗读任意文本。技术上它是"把音色作为条件"的 TTS——听感上，它意味着每个普通人都能"拥有"任何声音。

回到脚本上——这是小江在主线任务里的下一站。她的解说词要交给 TTS 变成旁白，而"念得对、念得像、听得真"这三关，恰好对应她要做三次检查：字读对了吗、语气对不对、音质能不能用。

从脚本到成音：一条完整的制作流水线

把本节前面的零件装成一条线，就是"给短片做旁白"的完整流程。这条线你会在第 3 章（与画面合流）和第 8 章（交给智能体自动化）各重逢一次，值得现在就打牢：

怎么评价一段 AI 配音：三个维度

听一段配音说"像不像真人"太笼统。实践中用三个可操作的维度来评估（游戏与语音行业用类似的框架，教材做了简化）：

注意三维之间常常互相拉扯：追求夸张情绪可能牺牲自然度，追求高度相似可能牺牲表现力。此时回到"用途"做决定——旁白追求自然和稳定，广告配音追求表现力，角色配音追求相似度。你的期末作品属于哪一类，评估标准就向哪一类倾斜。

拿到音频之后：几个工程参数

AI 生成的音频最终要进剪辑软件、要与其他素材对齐，这时几个基础参数必须心里有数（剪辑软件里都叫这些名字）：

1.8音乐与音效生成：第四条产线

声音这条线上还剩最后一族技术——音乐与音效生成。它和 TTS 都属于"音频生成"，但训练的数据、要解决的问题、以及工具生态完全不同：TTS 学的是"人怎么说话"，音乐模型学的是"旋律与和声怎么组织"。这也是我们把它单独列一节的直接原因：同属"生成音频"，但它们是两个技术族。

两条技术路线，与"唱出来"的难点

音乐生成有两条主要路线。一条是符号音乐生成：模型先"写谱"（输出 MIDI 音符序列），再由音色库演奏出来——好比先写乐谱、再找乐队。另一条是直接生成音频：在音频压缩后的离散编码上建模，像语言模型生成文字一样生成声音——它更接近"直接唱给你听"。

后一条路线解决了传统难题里最棘手的一个：歌词与旋律的对齐。人声歌唱要求每个字落在正确的音符上，而"先写谱再演奏"的做法很难精确控制这一点；直接生成音频的模型则可以把歌词和曲风一起作为条件，一次生成完整的"演唱"。这也是近两年"AI 唱中文歌"质量跃升的技术原因。

音效生成（风声、水声、脚步、开关门……）与音乐生成同源——都是"以描述为条件的音频生成"，只是训练数据换成了海量的环境声与拟音素材。

配乐生成实操：把"感觉"翻译成参数

以"给短片做配乐"为例，一条够用的需求描述通常包含五要素：

音乐生成最常被低估的一点："时长精确到秒 + 自然收束"是它相对传统曲库的最大优势。传统做法要"剪辑到秒"，常常破坏音乐的完整结构；而生成工具可以"因片制宜"地写音乐。反过来，它最不擅长的也是传统曲库的强项：有主题记忆点的旋律——"让人哼得出来"的主题，目前的生成工具很难稳定提供，这也是"人工修改"在配乐环节的用武之地。

音效与拟音：让画面"落地"的隐形功臣

如果说配乐决定"情绪"，音效（sound effect）决定的就是"真实感"：江面的水声、衣袖摩擦的窸窣、远处的钟鸣——这些东西观众注意不到，但一旦缺失，画面立刻"塑料感"。电影工业里有专门的工种叫拟音（foley）：拟音师在棚里用真实道具"演"出画面的声音（哗啦的水声可能来自揉搓的塑料袋）。

AI 音效生成把"找素材"变成了"写描述"：输入"夜晚的江水轻拍石岸，远处一声孤钟"，直接得到可用的音效。它对短片创作的最大价值有三：① 描述即所得——传统音效库检索靠关键词碰运气，现在是"你想要什么就说什么"；② 时长可控——和配乐一样可以按场景精确到秒；③ 氛围一致——同一段落的多个音效可以在同一"描述风格"下生成，听感统一。局限同样明显：要求"真实录音级"的复杂音效（如特定型号发动机的轰鸣、某样乐器的特殊技法）时，生成结果常常"像但不真"，这种场合仍需真实素材库与拟音。第 3 章的剪辑环节会再回来讲音画配合，届时你会用上这里的工具。

1.9工具地图与合规框架

原理讲完，落到"用什么工具"。本节的两张表 + 一张图，是你第 1 周环境准备的行动清单。工具迭代极快，本书的原则是：只记"能力类别"，不迷信具体型号——附录 B 会持续维护最新的工具清单。

看这张表要抓的重点不是"哪个最好"，而是三种门槛类型：身份门槛（要不要企业认证）、费用门槛（免费额度够不够练习）、条款门槛（生成物的权属与商用许可）。课程实践的策略很朴素：用"免费额度 + 公共音色 + 自己的声音"完成全部作业；把商业级工具与开源方案留作拓展。

模型家族：认识"选手"，而非背"比分"

市面上的大模型看似眼花缭乱，其实是几个"家族"在竞争。下表按"厂商 → 家族"组织——版本号几个月一换，但家族的技术路线与擅长领域相对稳定。表中型号为编写本书时（截至 2026 年 10 月）检索到的版本，仅供建立"格局感"，使用前请以各官方文档为准：

一个可以写进技术说明的背景数字：据公开报道，2026 年中国大模型的周调用量已连续数十周位居全球最活跃梯队，应用市场的规模与迭代速度都处在世界前列——你在这门课里练的，正是这个市场里最紧缺的技能：会用、会评估、会负责。

开源意味着什么：不只是"免费"

表中"开源派"值得单独说两句，因为它是中国团队对世界 AI 生态最实在的贡献之一，也是通识课学生最应该理解的"技术自主"概念：

• 可下载：模型权重公开，任何人可以在自己的机器上运行——数据不出本地，适合对隐私敏感的场景。
• 可改造：可以针对特定任务（比如"专门给诗词短片写脚本"）做微调，让模型更像"你的助手"。
• 可审计：代码与权重公开意味着安全研究可以独立进行——这对整个生态的信任至关重要。
• 成本可控：本地运行不按次付费；配一块显卡就能跑 7B–30B 级别的模型（具体门槛见附录 F）。

对这门课而言，"开源"还有一个更直接的意义：它让"技术自立自强"从一句口号变成你桌面上可以运行的东西。第 8 章讲智能体时，你会看到开源模型如何作为"本地大脑"与云端工具协作。

合规框架：从"三件套"到"全套装备"

中国对生成式人工智能的治理已经形成清晰的法规框架，并且还在密集更新。作为创作者，至少要认识下面这张表里的规则（细节与最新动态见附录 E）：

记忆法：把这张表压缩成一句话——用合法的工具、标清楚身份、不碰他人权利、不代替自己思考。四句话分别对应上面的法规群：备案准入、标识义务、人格权与个人信息、学术诚信。第 2 章的"素材来源"、第 6 章的"身体影像"、第 8 章的"透明协作"会沿着同一根主线继续展开。

数据与隐私：你粘贴进去的内容去哪儿了

一个必须直面的问题：你在对话框里粘贴的每一段文字、上传的每一张图，去了哪里？不同的服务条款给出不同的答案，而你需要形成两个习惯：

• 先看条款再粘贴。多数在线服务默认可能将对话用于"服务改进"（含义常常包括训练）；是否可关闭、是否可用于训练、保留多久，各家不同。凡是不能公开的素材（他人隐私内容、未发表作品、含个人信息的数据），不要粘贴进未确认条款的在线服务。
• 敏感素材走"本地路线"。这正是1.9 节"开源模型"的现实价值：本地部署的模型推理在你自己机器上完成，数据不出设备。附录 F 给出了一个可复现的本地演示路径（本课程不要求，但值得知道它存在）。

还有一层"隐私"容易被忽略——你自己作品的隐私：期末作品在正式提交前，把关键创意（完整分镜、成片）上传到大流量平台求"点赞"，可能带来作品被抢先发布的尴尬。课程鼓励同学间互评，但建议在班级范围内进行；对外发布一律等作品定稿、标识齐全之后。

平台生态：把单点工具连成"创作流"

到你实际操作时就会发现：效率的瓶颈很少是"单个工具不够强"，而是"工具之间的搬运"。写完的文案要复制到配音工具，生成的音频要下载后导入剪辑，剪好的片段要重新上传——每一步手动搬运都在消耗注意力。平台生态正是在解决这件事：把对话、写作、图像、视频、配音、剪辑放进同一个账号体系，"上一环节的产物 = 下一环节的素材"。

国内主流平台几乎都走了这条路：聊天产品内置图像/文档/语音能力；创作平台（如以图像视频见长的国产工具）把生成与编辑、社区与素材库打通；剪辑工具把"文本成片、智能字幕、配音"集成进时间线。对课程实践来说，选平台的一条实用标准就是：能不能覆盖你需要的"至少两类媒体"——期末作品要求融合两类以上媒体，能在同一平台内完成的组合，出错率和搬运成本都最低。当然，也别被生态绑死：关键资产（提示词、参数、素材原文件）始终要保存在你自己的创作档案里，这既是第 1 章就强调的习惯，也是未来换平台时的底气。

选型三问：怎么在几十个同类工具里做决定

工具永远在换，但"选型"的方法稳定。面对一类能力（比如"文本转语音"），问三个问题就能筛出可用的：

1. 中文支持怎么样？看它对中文语境的处理：多音字、断句、语气词；中文样本的听感是否自然。国际工具未必弱，但要实际试听中文效果再决定。
2. 免费额度与限速是多少？课堂练习需要"能反复试错"的额度：每天几次、每次多长、有无排队。额度小的工具适合"精修"，额度大的适合"批量起草"。
3. 商用条款与授权怎么写？这是最容易被忽略、后果最严重的一条：生成内容的版权归谁？能否商用？是否需要署名？训练数据是否包含他人作品？——课程作业也要养成查条款的习惯，因为期末作品要公开展示（属于"对外发布"）。

把三问的答案记进你的创作档案。附录 B 的工具速查表按这套格式维护：能力 → 工具 → 中文支持 → 免费额度 → 条款要点。工具会变，方法不会变。

1.10关键概念表

本章出现的技术词汇，在此集中"对账"。建议把这张表当作本章的复习清单：能用自己的话解释每一行，本章的原理目标就达成了。

1.11动手实践：从环境准备到第一段配音

1.12课程思政：文化传播与声音权益

本章的思政主题有两个：科技向善与负责任的使用，以及声音权益与文化传播。

中国贡献：这轮技术变革里的"中国方案"

生成式 AI 不是某一家公司的独角戏。中国团队在这一轮竞赛中贡献了几样世界级的公共品，而且都可以核查，不是口号：

从"跟跑"到"并跑"再到局部"领跑"，最有说服力的不是宣传，而是你手里的工具：这门课后面每一章的实践，用的都是这场竞赛的成果。理解"中国方案"，最好的方式是把它用出作品来——这也是本课程把大量实践放在国产工具上的原因。

声音权益：从"知道有红线"到"三条可执行的习惯"

第 1.7 节讲过克隆的红线，第 1.9 节给过两起判例（「录音制品授权 ≠ 声音 AI 化授权」「举证不能者担责」）。知道红线还不够，落到实处只有三条习惯，请从这一周就开始执行：

1. 只用三种声音来源：① 你自己的声音；② 平台公共音色库；③ 有书面授权的声音。除此之外的第四种来源——"网上找的""听着像谁就用谁"——一次都不要碰。练习时多花三十秒找公共音色，比事后道歉便宜得多。
2. 导出即标识：AI 合成或克隆的音频，导出时就带上「AI 生成/合成」的说明，不留到发布前才想起来（第 3 章会给出视频版的完整标识流程）。
3. 保留来源凭证：授权书、平台条款截图、生成记录一并存入创作档案——真出事时，"我说得清来源"就是最有力的证据；说不清来源，才是判例里最危险的状态。

学术诚信：这门课"辅助"与"代写"的边界在哪

2025 年施行的《中华人民共和国学位法》把"利用人工智能代写学位论文"明确纳入了学术不端范畴——这不是遥远的新闻，它划定了每位同学与 AI 相处的法律边界。落到这门课上，"辅助"与"代写"的边界可以这样判断：

你会发现，这四条判断标准与前面"五步工作法"完全同构——课程的每一项设计（参数记录、对照实验、技术说明、个人贡献声明）本质上都是在帮你证明"我在辅助的这边"。记住一句话：允许 AI 参与你的思考过程，但不允许它替代你的思考过程。

另一面：同一项技术，三个值得做的方向

前面几节讲的多是"用错会怎样"。把镜头转过来——同一套语音技术，有三类用法几乎不可能被质疑，而且正在真实发生：

为什么要把这一节和前面的警示放在一起讲？因为技术向善与技术在作恶之间，差的从来不是技术本身，而是使用者的选择。这门课教的每一招，既可以用来让外婆的方言留下来，也可以用来伪造一句她从未说过的话——这两个用法在操作上的差别可能只有几步，在性质上却是两个世界。做选择的能力，比做作品的能力更值得练。

文化传播的责任：一个"差不多"的错误能走多远

讲一个值得所有创作者警惕的场景。某账号用 AI 生成了一组"古风插画"介绍本地景点，配文里把宋代建筑说成了唐代风格、把地方方言词用错了语境。内容流量很好，评论区却来了几位本地历史爱好者逐条纠正——最伤人的一条评论是："你们连自己拍的地方都没查过资料。"

这个场景里的错误"并不大"：一句含混的年代、一个用错的词。但传播的杠杆是可怕的：AI 让内容生产的成本趋近于零，也让错误的复制与扩散趋近于零成本。过去一个作者查错一处资料，影响几十个读者；现在一条未经核实的生成文案配上精美的 AI 插画，可能被几十个账号二次搬运。技术放大的不是"错误本身"，而是"错误的速度与规模"。

对创作者而言，可操作的结论有三条：① 涉及历史、地理、民俗的表述，先查权威来源再落笔（地方志、博物馆、学术资料，而不是"另一个 AI"）；② 拿不准的细节宁可模糊（"宋时此地已见记载"优于编造具体年份）；③ 出错后第一时间更正——公开更正不是丢脸，是专业素养的一部分。这三条与第 2 章的"素材来源合规"、第 7 章的"文化准确性"是同一套职业标准：越容易生成，越要负责。

技术、职业与劳动：一个诚实的讨论

学到这里，有一个问题值得摊开讲：AI 配音会取代配音演员吗？与其给一个口号式答案，不如看三个事实。第一，标准化语音确实在被替代——导航播报、通知提示、批量口播这类"信息传递型"配音，AI 已经做得又快又便宜，这部分工作在减少。第二，表演性语音的门槛在升高——需要表演、即兴、与观众建立情感连接的配音（纪录片解说、广播剧、角色配音），观众要的恰恰是"这个人此刻的表达"，AI 的"平均音色"替代不了，但会用 AI 的配音演员在批量试音、小样制作上效率大增。第三，新的工种在出现——"AI 声音设计师""提示词撰稿人""生成内容审校"，这些岗位五年前还不存在。

把这三个事实连起来看，得到的不是"取代或不取代"的二选一，而是：技术把行业从"人力密集"推向"判断密集"——被抬高的是"不可替代的那部分人"的价值，被挤压的是"可标准化"的环节。这对每位同学的启示：无论将来做不做媒体，都要问自己一个问题——我的工作里，"可标准化的部分"和"不可替代的部分"各占多少？前者学着交给 AI，后者用心经营。

劳动与创造：AI 配音背后的人工价值

这一章你亲手做了配音，应该能体会到：AI 生成的每一段"自然"的语音背后，都有人在处理多音字、拆分长句、校对引文、反复试听。技术把"发声"变便宜了，把"发声得好"变成了更稀缺的能力——判断哪里该停顿、哪句话不该那么写、这个音色配不配这首诗。这就是"人的位置"：不做 AI 的对手，也不做 AI 的传声筒，做它的导演。下节课开始，我们进入图像的世界——小江的脚本将第一次"看得见"。

新手常见误区速查（本章复盘清单）

自测

提示词迭代的可视化：一张"返工地图"

本章方法速查卡：文本与声音创作的"五步"落地

想继续深入？三条学习路径

• 路径一 · 技术原理：从本课程指定教材《深度学习》第 1 章读起，配合"注意力机制""扩散模型"的公开课程视频；重点关注"为什么这样设计"，而不是推导细节。适合想转技术方向的同学。
• 路径二 · 创作实践：以"每周完成一个小作品"为节奏，从文案、配音、配乐起步，逐步接入后续章节的图像、视频、三维工具；每一次都保存参数记录。适合想积累作品集的同学。
• 路径三 · 行业观察：订阅若干 AI 创作领域的行业媒体与创作者社区，每周记录"一个新工具、一个新案例、一个新争议"；一学期下来你会拥有一份自己的行业观察笔记。适合关心趋势与就业的同学。

三条路径不互斥。本课程的任务是把你"通车"到三条路的路口——真正的成长发生在课程结束之后，而它从你保存第一份参数记录时就已经开始了。

把合规变成操作：一份"三查"清单

法规条文读起来遥远，落到操作上其实只有"三查"。把这张清单贴在创作档案的第一页，每次发布前跑一遍：

1. 查素材来源。每个素材（图、音、字）在档案里都有来源行：来源 URL、授权方式（自有/公共领域/授权素材库/生成）、日期。来源缺一行的素材，不进作品。
2. 查真人权利。作品里出现真人（本人、同学、公众人物）的肖像、声音、身体影像吗？出现即问：有授权吗？授权范围覆盖本次发布吗？——没有就替换或删除；有则把授权记录存入档案。
3. 查生成标识。作品包含 AI 生成/合成内容吗（文本改写不算显著、图像/音频/视频通常算）？按《标识办法》添加显式标识（作品内可见的提示或在标题/简介注明），并保留隐式标识（生成工具的元数据不要清理）。课程所有对外发布的作业一律执行此条。

这套"三查"与平台的具体操作（各工具的标识开关在哪儿、元数据怎么保留）会随工具更新，附录 E 会给出操作层面的对照表——但清单本身不会过时，它是你在整个创作生涯里的"发布前仪式"。

拓展阅读

• Ian Goodfellow 等《深度学习》第 1 章与第 10 章（序列建模）——本课程指定教材；配合"深入一格"的注意力公式阅读，理解从 RNN 到 Transformer 的动机。
• 国务院《关于深入实施"人工智能+"行动的意见》（2025 年）与《国家人工智能产业综合标准化体系建设指南》——了解你未来行业"AI 化"的政策坐标，也为本书导论提到的"位置问题"提供注脚。
• 《人工智能生成合成内容标识办法》全文（2025 年 9 月 1 日施行）与配套强制性国家标准——建议通读一遍"标识要求"部分，并在你的第一次作品发布前逐条对照（附录 E 有操作清单）。
• 一本讲"注意力"的科普或视频教程（搜"Transformer 直觉理解"）——各家图解视角不同，多看两三个版本有助于建立直觉。
• 张若虚《春江花月夜》全诗与历代评注——贯穿案例的原典，建议全文背诵前八句（配音脚本会反复用到）。