适当的边界。
我们重视有限权限和明确角色。系统只应获得完成任务所必需的权限。
安全 / 基础的一部分
AI 带来新的可能,也对系统的构建、测试和使用提出要求。安全、数据处理和人工监督是我们的开发重点。
我们的方法
关键是在整个开发过程中做出审慎选择。
方案应做什么?需要哪些信息?谁能访问?何时需要人工核对结果?我们希望这些问题成为工作中自然的一部分。
不同产品和任务的需求各异,因此必须结合具体用途、数据和风险评估安全措施。
我们重视有限权限和明确角色。系统只应获得完成任务所必需的权限。
我们评估真正需要哪些信息、如何处理,以及涉及哪些系统,并在开发过程中明确这些问题。
AI 可能犯错。我们优先设置明确的审核环节,让结果能够被理解和评估,尤其在错误可能产生影响时。
我们通过测试、范围明确的改动和可追溯性,了解方案的行为并发现需要改进的地方。
独立开发方向
我们也探索如何检测和研究 AI 系统中的异常与不期望行为,提高可见性,为后续处理提供更明确的依据。
该工作尚处早期,目前仅分享目的和总体方向。
开发中一起找出办法