模型的三要素是算法、算力、数据，而AI应用在算力一块几乎没要求。在算法部分也会难度极大降级，唯一要求依旧较高的就是数据，甚至AI应用工程几乎完全是在做LLM与数据的交互。

所以，我们从做一个AI项目来说，可以用以下四个维度做分层：

这里，模型边界与幻觉处理也可以算作工程能力的一部分，优质数据是行业KnowHow的沉淀，有KnowHow未必有结构化的数据；

而KnowHow是什么呢，简单来说他是算法、他是SOP、他是工作流，比如简单的可能长这样：

稍微复杂点的是这样：

所以，无论做什么AI项目，重点一定是行业KnowHow，因为LLM说到头不过是一个API罢了，做两个复杂项目，什么都能学废：

所以在工程能力（包括LLM工程能力）KnowHow与数据排列组合下来，几乎所有的项目类型也就出现了：

只不过这其中有个“异类”Manus，他不太好被归纳到某一具体的类型，因为他什么都做！而且不妙的是现在这种大而全的Agent越来越多了...

所以，Agent这种看起来可以解决所有行业问题的模式，一套代码打所有的行为，我们直接将之归属到基座模型即可，但如果是垂直领域的Agent，我们就要将之归属到行业级应用了，比如Cursor、OpenEvidence、Lovart等，严格意义是要解决某个行业、某个职位的问题。

当然，映射到各个公司眼里，Cursor、OpenEvidence这些巨无霸似乎有些太远了，这里再做一些简化，从如何去开发一个AI应用出发，我们可以将AI应用分为三类：

  • 第一，工作流类AI；

  • 第二，简单知识问答；

  • 第三，多轮知识问答/复杂知识库项目；

多轮知识问答的难度

首先，根据前段时间的文章，大家可以清晰认识到，工作流类AI核心是KnowHow是如何梳理出完整的SOP，AI反而是其中的配角，这种应用里面AI的含量不会超过20%，也可以将其归属到降本增效类AI，做起来马上就会有效果，性价比奇高；

然后，简单知识问答系统核心就是RAG的使用，难点在于知识的处理，而后在Agent平台的使用，其实还在其次，因为其几乎只涉及一问一答，不用考虑什么意图识别，所以是比较简单的，如果将数据整理算作AI模块的话，AI含量是比较大的，可以算50%左右；

最后，就是多轮知识问答了，这个复杂度突然就被拉得很高，如果工作流难度是5，知识库难度是4，那么多轮知识问答的难度就是10！

前两类项目之前我们做了足够的介绍：

今天重点说下多轮知识问答系统，这东西有点难，其难点有三：

  1. 第一，如何将认知（KnowHow）整理成知识，或者已经有知识的情况下，如何组织数据；

  2. 第二，数据应该如何与AI交互，保证每次AI都能拿到相关数据；

  3. 第三，也是最后一个关卡，意图识别；

关于第二点，如果发现由于数据不足导致的AI问题，应该如何用生产数据反馈系统优化知识库，这就是我们常说的数据飞轮系统，他是数据工程的一个分支，而AI项目的核心一直就是数据工程！

从整理数据到与AI交互再到后面的数据反馈，组成了我们常规的数据工程。

并且，很多知识是依赖于专业人员，如医生、律师、教师，这种非互联网工种根本无力整理自己的认知，于是需要互联网人组织他们，这里又涉及到了管理学，大家要相信，管理医生和律师去工作是很简单的，但要让他们做输出是很难的。

最后，数据工程是个漫长的周期，会导致AI项目的时间周期很长，并且系统一会表现得好、一会表现得差的，这会很消耗团队的士气，这里又涉及到了项目管理。

综上，复杂知识库项目其实是个偏工程的项目，特别是其中KnowHow、数据与技术架构、模型特性几者的纠缠会很复杂，如果不是本身水平很高的人，要么把这个事情理不清楚，要么没有管理能力去调动各个专业口的人员，但如果已经是高管的人，很难沉下心来一点点梳理KnowHow与数据，这可能是导致复杂AI应用很少的主要原因。

接下来是做这种复杂AI项目的一些心得：

一些心得

在做多轮知识问答项目时，有一些心得也同步分享给大家：

第一，知识库设计尤为关键，其中最难的是确定边界与结构，所谓边界是你的AI系统到底要完成什么任务，必须穷举定死；所谓结构，就是知识要能匹配这套系统；

第二，知识梳理的时候要考虑逻辑关系链、要设计实体结构，要找到切入知识库的核心，比如用一个不重样的关键词将知识实体搜索出来，再根据实体结构的逻辑链找到各种关系，只要逻辑链清晰，提示词就好设计，AI就会聪明很多；

第三，在做知识库实体结构时，类型不要太多，如果产生层级，层级也不能太多，因为关系越多工程实现越复杂、层级越多知识库处理越复杂。做AI应用要平衡真实世界的模拟与数据工程实现的ROI，也就是如果工程实现复杂度过高，就要在数据复杂度层面做取舍；

第四，在前三点的基础下需要考虑的是架构实现问题，这里必须由一号位自己写文档做产品甚至是架构设计，不用你写代码，但你文档写完需要相当于伪代码写完了，不然下面产品和技术没那个能力做出来的。这里的架构设计核心是你的知识，如何让AI每次都能拿到、拿对、拿全、不拿多；

第五，在知识齐全的情况下，如何让AI聊得像个人是个封闭性问题，他的前提是知识是对的，如何像人一样表达这段知识，需要考虑什么，需要建模，或者说需要设计策略；

这里心法就这么多，实际做起来就算是我也会有不停去解决各种麻烦事，所以大家可以结合信息再思考思考。

而这里遗留了一个问题：那么复杂AI项目的团队应该如何设置呢？

AI团队设置

从项目难度来说，多轮知识问答 ＞＞ 简单AI知识库 ＞ AI工作流，而且从上述的分层模型来说，他们会呈现向下兼容的特点，意思是能做好多轮知识问答系统就一定能轻松拿捏简单AI知识库。

所以，我们在做团队架构设计的时候就直接以最复杂的项目做安排，后续大家按情况做缩减即可，首先是核心三角关系：

首先技术Leader是一定要存在的，甚至在某些情况下他会兼任产品Leader；然后在复杂AI项目过程中一定会有行业专家，比如做AI医生团队里面一定会有医生、做AI律师团队里面也一定会有律师。

至于原因很简单，他们需要衡量AI产品的质量，这方面产研Leader几乎是毫无办法的。但一定要特别注意的是：

行业专家一定要汇报给产研Leader，因为这批人真的太难交流了，没有汇报关系他们会特别固执，不会按照我们的想法做推进

有了稳定的三角关系，就可以分配他们彼此的工作了，首先是最为重要的技术路径（技术架构、产品目的）。

每个AI产品一定会有其核心目标，以行业级AI应用如AI医生为例，我们在做设计的时候也不会期待有个大而全的东西解决所有，一定会对其进行分拆，比如做诊断的Agent、做慢病管理的Agent、做医保咨询的Agent...

再比如，我们在做教育类AI的时候，不会期待有个AI教师博古通今，在数学领域很屌，在英语这块也不错。所以在设计时候一定要进行分拆，甚至在具体品类还要一再分拆...

大AI产品的目标是一个，其次每个小Agent的目标也要很清晰，如果非要强制的将他们合并起来，就属于人为的增加技术难度了，难度过高的话，系统往往也就难以实现，这个时候最容易发生的事情就摆烂，全部交给LLM随意聊。

在这个基础之下，才能进入真正的核心工作，也是必须由三个角色共创的部分，输出核心技术路径，也就是设计出工程架构和数据结构

虽然现在很多AI项目出demo的周期很短（一般一周），但基本技术路径的设立不是一朝一夕的事，因为他需要很多轮的试错，如之前所述的多轮知识问答AI系统的难点：

  1. 数据结构是要找出当前业务在真实世界的映射，这个东西做出来会持续很长时间；

  2. 技术架构是要匹配这套数据结构工作，目标是在AI能够做到想我所想，言之有物，简单来说就是CoT和结果可溯源；

而在基本技术路径验证通过后，才是真正AI项目开始的时候，因为确认技术路径可能只需要50条数据，但要看到真实效果至少需要500条甚至更多，所以各条线工作就开始运转了：

首先最忙的是技术团队，他们要做AI项目工程实现的同时还要做各种效率工具，比如：

  1. 复杂的AI项目提示词很多（几十万行轻轻松松），所以需要一个提示词管理平台，后续需要做到多模型、多版本测试、切换、发布撒的；

  2. 知识库生产平台，用于协助行业专家录入知识库；

  3. 可观测性平台，如果是生产级应用，需要一个产品调试工具，他主要是给技术和业务专家看的，技术目标是调试，业务目标是看看各个环节有没有出错，这里粒度很细，会查看每个提示词、每个数据是不是有问题；

  4. ...

其次就是专家团队了，他们的工作相对单纯就是造数据和各种评价：

  1. 数据工程主力，配合技术团队不断挑战数据结构、不断采集数据；

  2. 产品测评主力，评价每次发布AI产品的实际效果，这里需要构建大量的测试数据集；

  3. 飞轮系统执行者，这里其实很简单，也就是配合技术团队不团补边界数据即可；

  4. 论文编写，如果需要知识产权撒的，需要产品技术辅助专家出论文；

  5. ...

最后是产品团队，他们的工作除了最本质的原型输出外，还包括：

  1. 竞品调研，他们要去调研各个竞品团队，并且需要专家团队优化测试数据集，让团队知道自己的产品和竞品真实的差距；

  2. 销售团队，所有的AI产品最终都会指向盈利，销售方案的输出一般是由产品团队着手；

  3. PR策略，PR和投放策略；

  4. ...

最后大概效果如图所示：

其实从这个图也可以看出Agent架构（类Manus产品）本身的问题所在，他们可能真的就没想真正的解决问题，比如行业Leader那条线他们是完全没有，或者说直接委托给了大模型自己处理，如果这样都能产出好的结果，那真的是奇了...

结语

到这里大家也应该看出来了，其实我们今天文章的核心目标是与大家讨论：一个复杂AI项目的团队应该是怎么样的，以及每个角色在其中的工作大概是什么。

其中的三角关系其实是很清晰的，产品更多对外、技术更多对内、专家团队更多做配合，整个团队运转的核心多在技术团队，所以技术Leader还要承担部分PMO的工作。

如果是简单知识库项目或者工作流AI，产品Leader可以不需要，行业专家可以兼职，但如果是复杂项目的话，三角关系缺一不可！

但这里也有一个问题：是不是工程技术团队需要全部是精英呢？那真的是未必！

就个人经验，这种复杂AI项目除了初期的架构确认，到后面更多是提示词编写和项目管理，只不过其中核心提示词几乎全部由几个关键人编写。

所以AI项目的核心其实是文档或者说是文字编写，从这个角度来说压根不需要那么多高端的工程师，从落地角度的话三角关系的三个Leader都要很强，其他产品或者专家能做好配合工作即可。

比较特殊的是技术团队，一般是一个1超 + 1专 + N，也就是Leader是“超人”无论视野、行业KnowHow和专业都要很强，这里尤其看重的是交流能力和交流后的文档组织能力，这里的文档会要求很细致，因为文档一个不对劲工程实现就要出问题，所以反而代码什么的不太重要；

除了Leader之外团队还要有个架构师，他代码能力要很强，要能跟Leader互补，因为还是会有很多模型训练、工程调优的工作要做，Leader因为工作很杂，具体代码层面根本没办法做得太细。

综上，就是今天的分享，希望对大家有用。