LiteLLM v1.103.7 修正計費追蹤並提供映像簽章驗證

快訊 大型語言模型推論基礎設施

  • LiteLLM v1.103.7 的 Docker 映像可透過 cosign 驗證,文件提供以固定 commit 或發行標籤取得公鑰的方式。
  • 此版本將 Bedrock Mantle 的 count_tokens 備援修正回補至 1.103.x 穩定分支。
  • Proxy 的 spend tracking 修正也回補至 1.103.x。
  • 批次功能則回補了成本計算、定價與翻譯相關修正。

本站見解

部署流程可加入 cosign 驗證,並以固定 commit 取得公鑰,降低對標籤保護機制的依賴。從 v1.103.6 升級時,建議回歸測試批次費用與 Proxy 支出追蹤;發行說明未列出受影響的具體情境。

來源

  1. litellm v1.103.7 · LiteLLM Releases

延伸閱讀

  1. litellm v1.105.3 · LiteLLM Releases
  2. litellm v1.106.2 · LiteLLM Releases
  3. litellm v1.107.0 · LiteLLM Releases

本文摘要與見解由 AI 自動生成,事實以原文為準。 AI 內容政策