Részletesebben követhetővé válik a Claude működése
A Claude Platform natív OpenTelemetry-exportja nyilvános bétában érhető el a Databricks MLflow számára. A fejlesztők ennek segítségével nemcsak azt láthatják, milyen választ adott egy mesterséges intelligencia ügynök, hanem azt is, milyen lépések vezettek az eredményhez. Követhetik az Anthropic SDK-k, a Messages API és a Claude Managed Agents futásait, megvizsgálhatják a hibákat, valamint összevethetik a korábbi és az új változat teljesítményét.
Az újdonság hátterében az OpenTelemetry nyílt szabvány áll, amely a szolgáltatások működésének mérésére és a kapcsolódó adatok továbbítására használható. A Claude és MLflow OpenTelemetry integrációja a nyomkövetési adatokat a Databricks környezetébe viszi, így a fejlesztés és az ellenőrzés egyetlen munkafolyamatban történhet.
Az adatokból összeáll a teljes futási kép
A nyomkövetés az ügynök működését különálló lépésekre, úgynevezett spanekre bontja. Ezek között megjelenhetnek a modellkérések és az eszközhívások is. A Claude natív műszerezése létrehozza ezeket a bejegyzéseket, majd az OpenTelemetry Protocolon keresztül továbbítja őket a Databricks felé.
A Databricks a Zerobus Ingest segítségével fogadja az adatokat, amelyek Unity Catalog-táblákban, egy MLflow-kísérlethez kapcsolva tárolhatók. A fejlesztők így a Claude nyomait más, szintén műszerezett szolgáltatások adataival együtt vizsgálhatják. A hozzáférési jogosultságokat a Unity Catalog kezeli, az információk pedig SQL-lel is lekérdezhetők.
A rendszer a futás több fontos részletét is megmutatja. Ellenőrizhető a modellhívás, az eszközök tevékenysége, az időzítés, valamint a rögzített bemenet és kimenet. Ez utóbbi tartalmak csak akkor kerülnek be a nyomok közé, ha a fejlesztő a tartalmi módot „full” értékre állítja.
Három lépésben beállítható az integráció
A Databricks útmutatója szerint elsőként egy kísérletet kell létrehozni az Experiments nézetben. A nyomok tárolási helyeként a Unity Catalogot kell meghagyni, majd ki kell választani a használni kívánt katalógust és sémát. Ezzel létrejön az MLflow-kísérlet és a nyomokat tároló Unity Catalog-tábla kapcsolata.
A következő lépésben a fejlesztő a Databricks-célt konfigurálhatja a munkaterület azonosítójával, régiójával és a spans táblával. A Zerobus-kapcsolathoz tábla szintű OAuth-token szükséges. A natív integráció az Anthropic SDK-kat, a Messages API-t és a Managed Agents rendszert fedi le. A Claude Code és a Claude Agent SDK szintén támogatja az OpenTelemetry használatát.
A futtatás után a Traces nézetben ellenőrizhetők a modell- és eszközlépések. Ez a fejlesztőknek különösen akkor lehet hasznos, amikor egy látszólag hibás válasz mögött nem maga a modellkimenet, hanem egy sikertelen eszközhívás, hiányos bemenet vagy nem megfelelő időzítés áll.
Hibakeresés és összehasonlítható értékelés
Az MLflow Analyze trace funkciója a Databricks Genie Code segítségével vizsgálhatja a kiválasztott Claude-futtatást. A rendszer rámutathat például a hiányzó kontextusra, a sikertelen eszközhívásokra vagy az indokolatlanul költséges lépésekre. A fejlesztő további kérdéseket is feltehet a feltárt probléma hátteréről.
Az MLflow Issues bétafunkciója a nyomok és munkamenetek között keres visszatérő minőségi és működési gondokat. A válaszokat, az eszközhívásokat, az időzítést, a hibákat és az értékeléseket vizsgálja, majd egymáshoz kapcsolódó megállapításokba rendezi őket. Ilyen lehet a felesleges ismételt keresés, az eszközhibát okozó hiányzó argumentum vagy az előírt formátumtól eltérő válasz.
A csapatok MLflow Review Queues segítségével domain szakértőket is bevonhatnak. A szakértők kijelölt nyomokat értékelhetnek, megjelölhetik a hiányosságokat, és elvárt választ adhatnak. Az MLflow Agent Evaluation pedig ugyanazokon a teszteseteken hasonlíthatja össze az ügynök régi és módosított változatát, például azt vizsgálva, történt-e ismételt eszközhívás. Így a módosítások hatása nemcsak a végső válasz, hanem a teljes végrehajtás alapján is mérhető.
