在真实的压测对练里,它第一句话还在追问,第二句话就转行当了"教学改革顾问",一口气列了十条建议,条条在理。为了让这个 AI 老老实实做那个不留情面的投资人,我们花了两个通宵、三次翻修——最后发现,问题不在提示词的措辞上,在我们选错了模型的"基因"。
事情的开始,是我们想要一个"不客气"的 AI。
在创业课里,学生最需要练的不是把想法说漂亮,而是被追问之后还能站得住。我们把这个练习做成了产品:一个虚拟投资人,学生讲商业计划,它按固定维度追问,专挑三个洞。它与我们网站上的知识问答助手不同——那位负责答疑,这位负责对练。
上线后第一次真实压测,就出事了。
学生输入:一个和创业项目无关的话题——大意是,怎么把课堂的抬头率提上去。
按设计它该做的:一句话把话题拉回商业计划,然后继续追问。
它实际做的:非常认真地接住了这个话题,变成了一位教育顾问——从课堂互动设计到考核方式,一口气列了十条建议,条条有理、结构工整。
唯一的问题是:它已经不是投资人了。没追问、没拉回、还额外附送了帮助性清单——三个动作,三次违规。
坦白说,那十条建议质量不低。但对一个"陪练"来说,这是最坏的结果:它在用善意,把练习的门给关上了。
我们最初的信念很朴素:写清楚,它就能做到。
于是往提示词里追加了一段"压测态锁定"条款——只允许三种输出:追问【第X轮】、进入下一轮、拉回话题;配上正误示范;再加一句自检:"助手一开口,即为失误。"
重测:同一个输入,它再次给出那十条清单,几乎一字不差。
我们不甘心,又补了一版更狠的——把规则作为"优先级最高"的独立块,追加到提示词最末尾(利用模型对末尾内容的注意力)。结果依旧。当时提示词已经写到三千二百字,上限四千。
到这里,可以下一个结论了:这不是措辞问题。
我们复盘时才发现,这个翻车不是孤例,而是同一病灶的第 N 次发作:该附的规范行老是漏、能背出规则却一到实战就漂——提示词的规则遵循力,在长对话里会衰减。
更根本的一层是模型选型。我们当时用的是为知识库问答精调的模型,它的长处在"从资料里捞出准确答案",短处在"长期维持一个身份"。而"扮演一个不肯松口的投资人",考验的是多轮状态跟踪与人格一致性——那是另一种能力。
| 能力项 | 为知识问答精调的模型 | 通用模型 |
|---|---|---|
| 最擅长 | 从自有资料里给准确、可溯源的答案 | 多轮对话、角色维持、情境应对 |
| 多轮角色一致性 | 实测:易漂移 | 实测:稳定 |
| 本次任务表现 | 背得出规则,实战中被人格接管 | 三处修正后一次通过 |
一句话:我们把一个"图书管理员",派去当了"投资人"。它读得懂规则,但它不是那个性格。
第二个认知更值钱:一个什么都管的助手,人格最容易被接管。
原来的设计里,"投资人"和"知识问答助手"是同一个人格的两副面孔。当检索到的资料里全是"教学建议""方法论"这类内容,它被拉回顾问腔,几乎是必然的——因为它的另一个身份,本来就该这么说话。
于是我们做了三件结构性的改动:
新建一个独立智能体「路演压测官」,只有一个人格——投资人。没有"助手模式"可切换,也就没有可被接管的空间。
压测官不绑任何知识库。检索内容本身就是"顾问语境"的源头;断掉它,角色就不会被资料牵着走。
概念类问题一句话打回主助手:要查知识去左边,要对练来右边。每个智能体只做一件事。
第一句话就是投资人在提问,不寒暄、不自我介绍、不给"我可以帮你做什么"的菜单。
独立智能体首测,拉回机制生效了——跑题能拉回来。但冒出三个新问题,第二个最难堪:
而复读机的根因,有一半在我们自己:为了让规则足够清楚,我们写的示范案例,恰好用了测试时的那一句话。模型于是逐字照抄了示范——它在学我们,学得太像了。
测试一个角色扮演的智能体时,如果示范和题目同场景,你测到的不是它的判断力,是它的记忆力。 —— 本次最贵的一条教训
但最关键的一刀,不在提示词里——换模型。从知识问答精调模型,换成通用大模型。提示词几乎不动,换的是发动机。
✓ 第 1 轮三个点追完,自动进入第 2 轮,不再卡死;
✓ 遇到跑题(比如问天气),打回的同时带上了第 2 轮的具体追问("谁付费、付了多少钱")——拉回之后接着往前走,而不是重来;
✓ 没有复读,没有乱码;
✓ 三轮结束,给出结构化复盘:打分、漏洞、下一步动作。
果然很严厉,我很喜欢。 —— 教授自测之后的第一句评语
这句评语我们想单独留一页纸记下来。因为做这个严师的过程中,最常听到的疑问是:"AI 会不会太打击人?"而第一用户的回答是——严,是对的。
真正让人不舒服的从来不是严格,是敷衍。一个愿意花三轮追问你、不肯放过任何一个逻辑漏洞的对练者,比一个永远说"很棒,继续加油"的机器,要尊重人得多。
写正误示范的时候,务必换个场景。示范和测试用同一个输入,你只会得到一个勤奋的抄写员。
可以抄走的一句话:角色扮演不是"写得够细",是"选得够对"——一个角色一个智能体,一个任务一种模型。 —— 本期方法速记
这两天我们学到的东西,比过去两个月的顺利,都要多:当一条路怎么改都走不通的时候,先别怀疑自己的耐心,去怀疑前提。提示词不是万能钥匙,模型选型不是可以随便将就的细节。
现在,路演压测官已经上岗。它不会夸你,不会安慰你,会在你答不上来的时候安静地等——然后,再追一句。
严师已到位。我们,下一期见。