国产大模型在追赶美国的大模型上进展神速,但是有时候表现有非常的差强人意。最大的不足,不是模型的智能,反而是最基础的基本功上,缺失非常严重。

1 诚惶诚恐的ISFJ人工智能

挑选一个国内的典型的代表大模型,然后问他:你好。观察 1他的思考过程,你会发现大模型会有如下的内向活动:

  • 首先是准确的识别到了这句话是打招呼,然后想我要礼貌的回复这个招呼。
  • 然后就是我要怎么回复呢,首先得准确,还得热情,还要考虑。。。。等等因素。
  • 接着就是先打了个草稿,准备了三到五条的回复语句。

到这里还算正常。

  • 在接着就是琢磨下每一条候选回复,选择最佳的那条。 然后还要在打磨下看是不是回复语气还可以更好,要不要再补充点啥。
  • 在接着就是重新润色选中的回复。 又想出了新的润色方案。
  • 在接着就是最后的抉择,我得简单些,就选那个吧。准备最终的润色方案,加上感情,语气,和颜文字或图案。
  • 确定了。终于有了一条最终的输出答案。
  • 在然后,等等,是不是有啥其他约束条件?没有!就是一条简单的打招呼,那就不能太啰嗦,回复招呼就行。
  • 最终决策:一条精确些的但略显啰嗦的,一条非常简洁的。 嗯,简洁比较好,就选简洁那条。
  • 最最终决策:嗯,我在口语化一下。
  • 最最最最决策:生成一条回复。不对要自然一些,在优化一下。再复盘一次,在改改。实际上,得保持非常开放的态度,在改改。 差不多了,在改改。 最后决定,实际上一条简单而温暖的问候就好了。定稿。

结束。

最后的输出是:你好啊,有什么能帮忙的么,或者你想聊点啥?

所以你看,AI聪明么? 聪明! 傻么?真的是有点傻。

像不像一个拼尽全力想做好事情但丝毫不懂得方法的牛马?

你是不是经常感觉到国产大模型价格便宜,但是消耗的特别快!最后结果反而不便宜!! 如果每个简单的对话都如此无脑的反复思考,反复打磨,那得浪费多少倍的token呢?!怎么可能便宜呢?

2 缺乏常识的AI AGENT

我们再看看具体AI编程的例子。仍然以国内的典型代表性的ide为例子。

首先,ai能力是ok的,能比得上世界最顶尖的模型,就算差一点也差不远。 这个是要肯定的。 但!

实际执行下来,问题多多,效果不是差,是有点惨不忍睹。 那问题出在哪儿呢?

首先依然是重复、冗余、过度的循环。 这部分很容易快速的消耗token。 早期定的套餐,一般能用半个月的持续时候。现在,基本一个迭代就全耗光了。 而且过程不仅慢,还容易乱中出错,难以掌控。 在这个上面,像极了一个没学过编程的天才少年,每天勤奋的堆积一大堆的弱智代码,在前人已经经过几十年的开发经验沉淀后的技术路线上,反复的踩早就被填平的坑。

这是最悲哀的一件事情。忽视专业,忽视能力,忽视理论,忽视经验。全靠莽。

像不像那个不知道员工做到好不好,也不在乎做得好不好,只在乎半夜员工是否还在加班的团队!

更过分的事情来了,ai agent最重要的就是本地能力,能直接写代码,解决问题。但!

这里又要但一下了。很无奈。 agent 在处理文件的时候,如果认为内容比较复杂,可能会比较消耗token或无法处理,这时他就会尝试写一段代码来实现。这是很聪明的做法。 但是他的基础能力太差了。查到什么程度呢? agent 调用 shell, 执行一条指令,如查看第三行的某个数字。 指令没问题,逻辑也没问题。 执行也没问题! 打开shell 你会看到成功执行的结果。 但是agent无法识别到shell执行的结果。然后他会等到卡死,或者超时。超时后他认为失败了,于是动用他的强大的脑子,换了一套执行的指令。然后再超时。然后再度发挥强大的大脑,变幻出其他机制的执行指令。

指令都非常的棒。 就是一个最简单的shell执行后获取不到结果这么一个简单的问题。解决不了。 导致一个小地方反反复复的循环和卡死。不到半天功夫,事情一个没解决,token还耗光了。

这个问题真的是非常让人痛心,因为自从ai编程出现以来,一直到现在,这么个简单但如此严重的缺陷,依然还存在。

不得不说在基本功 2方面,真的是差的太远了。

今天的国产编程ide, 成长非常大,已经远非一年前可比。但是实际的生产效率,却和业界顶尖ide拉大到无法望其项背的程度来。 同样的问题,国外ide一小时少量token就能解决的,国内ide得消耗一天以上,而且能耗光一个月的订阅量。 唯一值得留念的地方,就是还有免费的模型可以凑活过日子。

3 木桶乘水的多少取决于最短的那块板

我相信大家都有一个印象,就是国产模型在成绩上没输过,在实战上没赢过。

现在,这个差距越来越大了。达到无法忽视,无法承受的地步! 就我个人来说,已经需要很强的爱国心来说服自己给国产模型续费。

问题所在也很明确,基本功完全缺失、幼稚、无序。总是试图以莽来代替技术和理论!

是继续以血肉之躯靠莽来应对钢铁铠甲,还是选择尊重专业,尊重专家呢?这个问题已经到了无法忽视的地步了。

希望国产模型能尽快的补上技术理论的基本功。做到实战和评分效果一致。


  1. 商业分析中的五十种分析方法和技巧之31-观察. https://srs.pub/babok/guancha.html↩︎

  2. 商业分析师必备的六项技能与知识. https://srs.pub/theory/competency.html↩︎