最近工作上需要创建一个比较复杂的skill，对一个自定义语言编写的游戏工程进行全面的静态分析，指出问题、给出建议和优先级，帮助开发者按照最佳实践优化本地项目。记录一下过程中的思考。

最佳实践我已写好，是人工编写和审查的文档，剩余要注意的问题在于：

  1. 最佳实践文档很长，项目代码也不少，如何在有限的注意力下，不漏掉错误或需要优化之处。
  2. 为了优化成本和运行时间，需要测试不同模型的效果，有的模型善于细节求证，有的大局观和灵性更强，即使同一个模型，每次运行的结果也不完全相同；而且在不同思考级别下结果会变化——如何客观评估哪个模型配置最合适。
  3. 随着模型的迭代、上游文档和工程格式的迭代、Skill自身迭代，可能出现regression——例如之前能识别的问题不再能识别，优化建议不再有效。如何识别和解决迭代带来的这类问题。

总的来看，就是定量的评估一个skill的成效。基本思路有：

  1. 将文档转化为结构化、原子化的条目并编号，并确保每个条目都被审查到；
  2. 将代码梳理出脉络或片段，在后续细节审查阶段再去查源码，否则很快吃满上下文窗口；效果待求证
  3. 大模型必须将关键运行过程以log文件方式记录保存；同理，结论和产物也必须保存文件而不是呈现在对话窗口；
  4. 用更强的模型对审查结果文档进行打分或评估，主要维度有：总耗时、总花费、误报率（准确性）、覆盖面（召回率）、幻觉率（必须源自给定的文档），和 RAG 的优化/治理相似。

迭代skill还有些许小技巧，我也还在摸索中：利用大模型改进skill本身也可以做成skill（可以叫他meta skill）。例如评估skill还有哪些问题、自动切换模型进行效果验收或回归测试（调用agent CLI时可以指定模型）、解读测试结果并对skill进行优化。

另外从人类使用的角度，还要避坑：AI容易对不存在的情况进行假设，给出看似有用的长篇大论。一旦有误，会严重影响人类对其整体信任度。因此，对这类任务，宁可少说也不要乱说，优先保证每一条建议都证据确凿且有明确的行动建议。

最近公司给了我一个用于短期测试的api key，评估 kimi k3.1 pro 的表现。从这个模型的官方介绍可以看出，现在顶级模型的高价值应用点在于：

  • 代码生成
  • 3D资产生成
  • 金融分析和相关办公

个人体感如下：

  • 从任务实现效果来看，同样是开到极致思考，kimi k3.1 pro 相比 deepseek v4.1 flash 在技术深度、细节丰富度、严谨性上有优势。后者在指令遵循上稍微更优。但 k3.1 pro 完成任务耗时显著更长，另外TTFT比较大不知道是模型还是后台服务的问题。
  • 从主观感受上，目前使用下来，我对 k3.1pro max 的信任程度约等于 gpt 6.1 sol medium~high 之间，如果完成任务的耗时变低、成本更低，愿意在工作中使用其解决较难的问题。