Cache semantyczny (semantic cache)
Ponowne użycie zapisanej odpowiedzi modelu, gdy nowe pytanie znaczy to samo co wcześniejsze, dopasowane podobieństwem embeddingów, a nie dokładnym tekstem.
„Jaka jest polityka zwrotów” i „jak działają zwroty” mogą dostać jedną odpowiedź, co oszczędza wywołanie modelu i czas. Ryzykiem jest zbyt luźny próg: „anuluj zamówienie” i „anuluj subskrypcję” wyglądają podobnie, a wymagają innych odpowiedzi. To coś innego niż cache promptu, w którym dostawca ponownie używa przetworzonego początku promptu, a odpowiedź i tak generuje się od nowa.
Powiązane hasła
- Cache promptu (prompt caching): Ponowne użycie identycznego początku promptu między zapytaniami, żeby był tańszy i szybszy.
- AI gateway: Pośrednik między aplikacją a dostawcami modeli, który dodaje logi, cache, limity, rozliczenia i fallbacki.
- Embeddingi: Wektory liczb, w których teksty o podobnym znaczeniu leżą blisko siebie.
