人工智能 (AI) 以其速度、相关性和准确性持续改变着各行各业。然而，尽管 AI 系统拥有令人瞩目的能力，却常常面临一个关键挑战，即“AI 可靠性差距”，即 AI 的理论潜力与实际性能之间的差距。这种差距体现在不可预测的行为、带有偏见的决策以及可能造成严重后果的错误，例如客户服务中的错误信息和错误的医疗诊断。
为了应对这些挑战，人机在环 (HITL) 系统应运而生，成为一种至关重要的方法。HITL 将人类的直觉、监督和专业知识融入到 AI 评估和训练中，确保 AI 模型可靠、公平，并与现实世界的复杂性相符。本文探讨了有效的 HITL 系统的设计、其在弥合 AI 可靠性差距方面的重要性，以及基于当前趋势和成功案例的最佳实践。
了解人工智能可靠性差距和人类的作用
尽管人工智能系统拥有先进的算法，但并非万无一失。现实世界中的例子如下：
| 事件 | 错误类型 | 潜在的 HITL 干预 |
|---|---|---|
| 加拿大航空公司的人工智能聊天机器人提供了代价高昂的错误信息 | 错误信息/错误回复 | 在关键查询期间人工审查聊天机器人的响应可以在错误影响客户之前发现并纠正错误。 |
| 人工智能招聘工具存在年龄歧视 | 偏见/歧视 | 定期审计和筛选决策中的人工监督可以识别和解决人工智能建议中的偏见模式。 |
| ChatGPT 幻化出虚构的法庭案件 | 虚构/幻觉 | 人类专家验证人工智能生成的法律内容可以防止在关键文件中使用虚假信息。 |
| COVID-19预测模型未能准确检测病毒 | 预测误差/不准确性 | 持续的人工监控和模型输出验证可以帮助重新校准预测并及早标记异常。 |
这些事件凸显了人工智能本身无法保证万无一失的结果。可靠性方面的差距源于人工智能模型通常缺乏透明度、情境理解能力，以及在无人干预的情况下处理极端情况或道德困境的能力。
人类拥有批判性判断、领域知识和道德推理能力，而这些是机器目前无法完全复制的。在 AI 的整个生命周期（从训练数据注释到实时评估）中融入人类反馈，有助于减少错误、降低偏见，并提升 AI 的可信度。
人工智能中的人机在环 (HITL) 是什么？
人机在环 (HITL) 是指将人类输入主动集成到 AI 流程中，以引导、纠正和增强模型行为的系统。HITL 可以涉及：
- 验证和完善人工智能生成的预测。
- 审查模型决策的公平性和偏见性。
- 处理模糊或复杂的场景。
- 提供定性的用户反馈以提高可用性。
这会形成一个持续的反馈循环，人工智能可以从人类的专业知识中学习，从而产生更好地反映现实世界需求和道德标准的模型。
设计有效 HITL 系统的关键策略
设计一个强大的 HITL 系统需要在自动化和人工监督之间取得平衡，以在不牺牲质量的情况下最大限度地提高效率。
定义明确的评估目标
设定与业务需求、道德考量和 AI 用例相符的具体目标。目标可以侧重于准确性、公平性、稳健性或合规性。
使用多样化且具有代表性的数据集
确保训练和评估数据集反映现实世界的多样性，包括人口多样性和边缘情况，以防止偏见并提高概括性。
结合多种评估指标
通过结合公平性指标、稳健性测试和可解释性评估来超越准确性，从而全面了解模型性能。
实施分层人类参与
自动执行日常任务，同时将复杂或关键的决策上报给人工评估员。这可以减少疲劳并优化资源配置。
为人工评估人员提供明确的指导和培训
为人工审核人员配备标准化协议，以确保一致、高质量的反馈。
利用技术支持人类反馈
使用注释平台、主动学习和预测模型等工具来确定人类输入何时最有价值。
HITL系统设计中的挑战与解决方案
- 可扩展性： 人工审核可能耗费大量资源。解决方案：使用置信度阈值确定人工审核任务的优先级，并自动化处理较为简单的案例。
- 评估员疲劳： 持续的人工审核可能会降低质量。解决方案：轮换任务，并使用人工智能仅标记不确定的情况。
- 保持反馈质量： 不一致的人工输入可能会损害模型训练。解决方案：标准化评估标准并提供持续的训练。
- 人类反馈中的偏见： 人类可能会引入自身的偏见。解决方案：使用多样化的评估者池和交叉验证。
展现 HITL 影响的成功案例
利用语言学家的反馈来提高语言翻译水平
一家科技公司通过整合母语人士的反馈，捕捉人工智能单独忽略的细微差别和文化背景，提高了人工智能对不常见语言的翻译准确性。
通过用户输入改进电子商务推荐
电子商务平台将直接客户反馈纳入产品推荐中，使数据分析师能够改进算法并提高销售额和参与度。
利用皮肤科医生-患者循环推进医学诊断
一家医疗保健初创公司利用来自不同皮肤科医生和患者的反馈来改进所有肤色的 AI 皮肤状况诊断，从而提高包容性和准确性。
通过专家评审简化法律文件分析
法律专家在文档分析中标记了人工智能的误解，帮助完善模型对复杂法律语言的理解并提高研究的准确性。
HITL 和 AI 评估的最新趋势
- 多模式 AI 模型： 现代人工智能系统现在可以处理文本、图像和音频，需要 HITL 系统适应不同的数据类型。
- 透明度和可解释性： 对人工智能系统解释决策的需求不断增加，促进了信任和责任感，这是 HITL 设计的一个重点。
- 实时人工反馈集成： 新兴平台支持人工智能运行过程中的无缝人工输入，实现动态校正和学习。
- AI超级机构： 未来的工作场所设想人工智能增强人类的决策能力而不是取代它，强调协作的 HITL 框架。
- 持续监测和模型漂移检测： HITL 系统对于持续评估以检测和纠正模型随时间的退化至关重要。
结语
人工智能可靠性差距凸显了人类在人工智能开发和部署中不可或缺的作用。有效的“人机回路”系统能够构建一种共生伙伴关系，使人类智能与人工智能相辅相成，从而产生更可靠、更公平、更符合伦理道德的人工智能解决方案。
