上下文工程依赖于现代化、统一的数据基础以及检索和记忆系统，例如检索增强生成（RAG）和矢量数据库。它还需要仔细确定优先级，以确定哪些信息最重要、哪些信息应排除以及何时应使用不同类型的信息。为模型提供过多的上下文可能会淡化相关细节、增加成本并减慢响应时间。
“最少的上下文、正确的最新数据以及机器可读的信息对于有效的上下文工程至关重要，”阿迪尔说。
3. 从一开始就建立人工智能治理和法学硕士可观察性
强大的治理和法学硕士可观察性可帮助组织保持对人工智能系统如何使用数据的控制、监控系统性能并在问题影响运营之前识别问题。
由于缺乏对检索、工作流程和模型使用的明确控制，人工智能系统通常会处理远远超出必要的信息。这种低效率还因为需要额外的计算资源而推高了运营成本，这通常反映在更高的代币消耗和 API 费用上。
治理还与强大的安全性协同工作。人工智能扩大了攻击面，带来了基于提示的数据泄露、模型漏洞和对抗性输入等风险。保护敏感信息需要强有力的访问控制、监控和监督。
阿迪尔指出，基本控制——包括与安全、精细成本管理、项目控制、数据安全和架构相关的控制——常常是不够的。
对于支持透明、合规、值得信赖和具有成本效益的人工智能的治理系统，组织不能将它们作为一个层来添加。治理结构需要从一开始就嵌入到架构、工作流程和决策过程中。
从一开始就建立治理，就可以实现强大的可观察性。可观察性帮助组织了解人工智能应用程序在实践中的表现。 LLM 可观察性和基准测试机制使团队能够随着时间的推移评估准确性和实用性，监控采用模式，并根据情况变化调整系统。可观察性还可以通过提高模型性能、行为和故障点的可见性来帮助组织赢得信任。
#领导者需要扩展的 #架构的基本元素