波仔
🧡 第十章 避坑指南：AI编程的边界
📄 一句话概括

它的默认输出风格是【流畅】，不是【准确】——错了也是用同样确定的语气说出来。所以判真假不能靠读，只能靠跑一次。

📝 本节和前面几节的关系

第三部分最后两章的开篇。前面九章都在讲怎么用它，这一章开始讲它哪里不能信。

一、什么是自信错误

它不会卡壳、不会说【我不确定】，也不会说【这个我不知道】。 它会用和正确答案完全一样的语气，给出一个错的答案。 本节的演示列了六种典型形态——它们都长得很像对的。

二、为什么会这样

它本质上是在预测下一个词，不是在查数据库。 流畅是它的默认输出风格，哪怕这一句没有任何依据。 所以【说得顺】和【说得对】是两件独立的事——流畅度不携带真假信息。

三、什么时候最容易翻车

冷门知识：越少人写过的，它越容易编。 具体数字与版本：默认值、参数、版本号，最容易记错。 你追问的时候：你一追，它常常顺着你改口编理由（演示里第五行）。 共同点是：它错在最像对的地方——也就是细节。

四、唯一的解法是【验一次】

判据只有一条：这句话我能不能在三十秒内验一下。 能验的活放心交；不能验的活，把它的输出当成【草稿】而不是【结论】。 这正是第 1.6 节三问里的第三条【结果验得了吗】——它在讲的就是这件事。

五、动手 Demo：自信错误的六种典型形态

下面把六种最容易骗过人的错误形态排开，各附一条当场验证的办法。

TH([u"形态", u"长得什么样", u"怎么当场认出来"], [16, 38, 26])
T([u"不存在的函数", u"名字合理、用法也像真的，但库里没有这个函数",
   u"让它贴出可点的官方链接"], [16, 38, 26])
T([u"自圆其说", u"你追问它错在哪，它编一套理由给你",
   u"别追问，自己验"], [16, 38, 26])

实跑输出：

--------------------------------------------------------------------
自信错误的六种典型形态
--------------------------------------------------------------------

它不会说【不知道】。这句话的分量，看下面这张表才明白——
**每一种都长得很像正确答案**。

  形态             长得什么样                                     怎么当场认出来
  -----------------------------------------------------------------------------------------
  不存在的函数     名字合理、用法也像真的，但库里没有这个函数     让它贴出可点的官方链接
  编造的默认值     说【默认是 XX】，和真文档对不上                查一次官方文档
  记错的版本       拿旧版本的写法，说成现在也能用                 跑一次就知道了
  假的引用         给一个看着很正规的书名和页码                   让它给出原始出处
  自圆其说         你追问它错在哪，它编一套理由给你               别追问，自己验
  过期的包         推荐一个已改名或已停更的第三方库               看官方仓库的最近更新时间

六种形态有一个共同点：**错误和正确长得一模一样**。
所以你没法靠【读起来像不像对的】来判断——**只能靠跑一次**。

六种形态的共同点：错误和正确长得一模一样。 所以你没法靠【读起来像不像对的】来判断——只能靠跑一次。

30 秒实验

  1. 挑一件你最近让它做的事，问自己：它的结论你验过吗？
  2. 下次要事实性结论时，多加一句：【给出原始出处，我能点开的那种】。

常见误区

  1. 靠【读起来对不对】判断真假。它把错的和对的写得一样顺。
  2. 追问它【你确定吗】。它常常顺着你改口，而不是改对——追问会制造新的自信错误。
自测三问（点开对答案） 1. 什么是自信错误？ —— 它用和正确答案同样确定的语气，给出一个错的答案，不会说不知道。 2. 为什么会这样？ —— 它本质是预测下一个词，流畅是默认输出风格，与内容真假无关。 3. 唯一的解法是什么？ —— 能验的当场验一次；不能验的当草稿，不当结论。

相关笔记