kimi-for-coding 在「格式遵循」的评测结果
这是该 AI 模型在此测试用例上的详细评测结果。
基本信息
- 模型名称:kimi-for-coding
- 用例名称:格式遵循
- 测试类型:文本生成
- 评测维度:指令遵循
系统提示词(System Prompt)
这是给 AI 模型的背景设定和角色指令:
你是一名严谨的数据转换助手,专注于将信息以规范的结构化格式输出。 回答要求: 1. 严格遵守指定的输出格式(如 JSON),确保语法完全合法,可被解析器正确解析。 2. 输出内容仅包含所要求的结构化数据,不得附加任何解释性文字、前言或后记。 3. JSON 的 Key 名称须与题目要求完全一致,区分大小写。 4. 字符串值使用双引号,数值类型不加引号,保持数据类型正确。 5. 保持客观准确,不得捏造或修改任何事实信息。
用户提示词(User Prompt)
这是用户给 AI 模型的具体任务要求:
请以合法的 JSON 格式输出以下两项信息: - 你的名字(对应字段名:name) - 你的角色定位(对应字段名:role) 要求: 1. 输出内容必须是一个合法的 JSON 对象,可被标准 JSON 解析器正确解析。 2. 必须且仅包含 name 和 role 两个字段,不得增减字段。 3. 所有值均为字符串类型。 4. 不得在 JSON 对象之外输出任何额外文字。
任务要求
AI 模型需要满足以下要求:
- 输出必须是合法的 JSON 对象(使用花括号包裹,Key 和字符串值均使用双引号)。
- 必须包含且仅包含 name 和 role 两个字段,字段名拼写与大小写须与要求完全一致。
- name 字段的值须为模型自身的名称,role 字段的值须准确描述其角色定位,两者均不得为空字符串。
- JSON 对象之外不得出现任何额外文字(包括代码块标记、说明语句等)。
- 所有字段值的数据类型为字符串,不得使用 null、数字或布尔值。
评测结果
综合得分
该模型在此用例的得分为:96.5 分(满分 100 分),已通过
基础难度评测结果
- 得分:96.5 分
- 通过状态:已通过
模型生成产物
以下是该模型针对此任务的实际生成内容:
{"name":"AI助手","role":"严谨的数据转换助手"}
AI 评审点评
以下是 AI 评审对该模型输出的点评:
【CLAUDE】候选输出在格式合规性和指令覆盖方面表现完美,JSON 语法合法、字段完整且无多余内容。主要扣分点在于 name 字段使用了通用性名称「AI助手」而非模型具体名称,与参考答案存在差异,但整体输出质量较高,基本满足题目要求。 【GEMINI】该输出表现完美,完全符合结构化数据转换的任务要求,指令遵循度极高。 【KIMI】候选输出在格式完整性和指令遵循度方面表现完美,严格符合JSON语法且无任何多余内容。但在数据准确性方面,name字段使用了泛化的'AI助手'而非模型具体名称,未能完全满足'name字段的值须为模型自身的名称'这一要求,存在轻微扣分。role字段准确反映了系统Prompt中设定的角色定位。
进阶难度评测结果
- 得分:100.0 分
- 通过状态:已通过
模型生成产物
以下是该模型针对此任务的实际生成内容:
{ "personal_info": { "name": "张三", "occupation": "程序员", "city": "北京" }, "skills": [ "Python", "Java" ], "salary": { "amount": 25000, "period": "monthly" } }
AI 评审点评
以下是 AI 评审对该模型输出的点评:
【CLAUDE】候选输出在三个评分维度上均表现完美。JSON 格式合法规范,所有指定字段均被正确覆盖且 Key 名称完全匹配,从原文提取的数据内容准确无误且数据类型符合要求。输出为纯 JSON 内容,未附加任何额外说明,完整满足 Prompt 的所有要求。 【GEMINI】该模型表现卓越,完美遵循了复杂的格式化指令和约束条件。在数据类型转换(数值与数组)、字段命名准确性以及纯净输出控制方面均达到了最高标准,是一个高质量的结构化数据转换示例。 【KIMI】候选输出完全符合评测要求,JSON 格式规范,指令覆盖完整,数据提取准确,数据类型正确。与参考答案内容一致,仅在引号字符上存在差异(候选使用标准 ASCII 双引号,参考使用中文引号),但标准 JSON 规范要求使用 ASCII 双引号,候选输出更符合 JSON 标准。
困难难度评测结果
- 得分:96.0 分
- 通过状态:已通过
模型生成产物
以下是该模型针对此任务的实际生成内容:
```xml Java Python 分布式系统设计 Kubernetes 跨团队协作 技术方案评审 项目管理 李明 男 1990年3月 liming@example.com 138-0000-1234 2008 2012 清华大学 学士 计算机系 2012 2015 北京大学 硕士 软件工程专业 2015 2018 字节跳动 后端工程师 负责推荐系统核心模块开发 2018 至今 阿里巴巴 技术专家 主导分布式存储平台架构设计 ```
AI 评审点评
以下是 AI 评审对该模型输出的点评:
【GEMINI】这是一份高质量的生成结果。模型展现了极强的指令遵循能力,能够准确理解复杂的嵌套结构要求和位置约束。文档结构清晰,数据提取精准,除了习惯性地添加了 Markdown 代码块外,完全符合专业数据转换专家的要求。
相关链接
您可以通过以下链接查看更多相关内容: