亚马逊网络服务本周发布了一系列人工智能和机器学习基础设施重大更新，涵盖运营可见性、安全控制、多模态搜索和领域特定语音识别。周四在AWS机器学习博客上发布的公告，表明AWS继续推进其全栈企业级人工智能能力的建设。
推理可见性重大升级
AWS宣布为Amazon Bedrock推出两个新的Amazon CloudWatch指标，解决了推理监控中长期存在的空白。TimeToFirstToken（TTFT）指标通过测量请求后第一个令牌到达的时间来捕获流式延迟，而EstimatedTPMQuotaUsage则跟踪令牌消耗倍数后的有效配额消耗。
这些指标对每个成功的推理请求自动免费发射。与现有CloudWatch指标不同，新指标专门解决了开发者需要知道模型何时开始生成输出的流式使用场景。这对对话式人工智能和感知延迟比整体完成时间更重要的实时应用特别有价值。
代理安全新增策略层
作为一项重大安全增强，Amazon Bedrock AgentCore现在引入了策略框架，用于保护受监管行业中的人工智能代理。该功能提供了独立于代理推理的确定性执行层，通过网关拦截所有流量，并应用规则来控制数据访问、工具调用和潜在影响。
该系统使用从自然语言业务规则转换的Cedar策略，使组织能够在不修改代理逻辑的情况下实施细粒度、身份感知的控制。这种方法解决了数据泄露、未授权访问和提示注入攻击等关键威胁。医疗预约调度代理示例展示了组织如何在保持运营灵活性的同时实施这些控制。
大规模视频搜索
AWS使用Amazon OpenSearch Service展示了Amazon Nova多模态模型的可扩展性，构建了全面的视频搜索系统。该系统在41小时内处理了792,270个视频，总计8,480小时内容，使用Nova的AUDIO_VIDEO_COMBINED模式生成音视频嵌入。
该架构支持文本到视频、视频到视频和混合搜索功能。摄取管道使用四个c7i.48xlarge实例，每小时处理约19,400个视频。按需OpenSearch首年基础设施成本约为27,328美元，Reserved Instances约为23,632美元，使媒体和娱乐工作负载的大规模视频分析成为可能。
医疗领域语音识别微调
AWS、NVIDIA和Heidi Health之间的合作展示了NVIDIA Parakeet TDT 0.6B V2语音识别模型在医疗领域应用的端到端微调。该解决方案利用配备NVIDIA A100 GPU的p4d.24xlarge实例、NVIDIA NeMo框架进行微调，以及DeepSpeed进行分布式训练。
Heidi Health的人工智能护理合作伙伴平台现在每周处理超过240万次咨询，覆盖110种语言，展示了领域自适应自动语音识别的实际影响。该架构结合了MLflow、TensorBoard、亚马逊EKS、FSx for Lustre和Docker容器，用于生产就绪的部署管道。
未来展望
这些公告共同说明了AWS构建全面人工智能基础设施的战略，以满足企业在运营监控、安全、规模和领域专业化方面的需求。免费的TTFT和配额指标降低了优化推理工作负载的门槛，而策略框架为企业提供了受监管部署所需的安全保障。Nova视频搜索和医疗ASR示例展示了这些功能在大规模实际应用中的效果。