Embedding-Modelle

Das Embedding-Modell für den DataVault kann wie folgt konfiguriert werden.

Allgemeine Parameter

Alle Embedding-Provider unterstützen folgende Parameter zur Ratenbegrenzung:

Parameter	Beschreibung	Verpflichtend	Standard
rpm	Maximale Anzahl API-Anfragen pro Minute	✗	3000
tpm	Maximale Anzahl verarbeiteter Tokens pro Minute	✗	1000000

OpenAI

API-Keys für OpenAI können unter https://platform.openai.com/settings/organization/api-keys erstellt werden.

Parameter	Beschreibung	Verpflichtend	Standard
provider	Muss auf “openai” gesetzt werden	✓	-
api_key	API-Schlüssel von OpenAI	✓	-
model	Name des Embedding-Modells	✗	text-embedding-ada-002
base_url	Alternative API-URL (z.B. für Proxy)	✗	https://api.openai.com/v1
rpm	Maximale API-Anfragen pro Minute	✗	3000
tpm	Maximale Tokens pro Minute	✗	1000000

embedding_model:
  provider: openai
  api_key: $OPENAI_API_KEY
  model: text-embedding-ada-002
  base_url: https://api.openai.com/v1

Azure

Modell-Deployments können über das Azure OpenAI Studio verwaltet werden.

Parameter	Beschreibung	Verpflichtend	Standard
provider	Muss auf “azure” gesetzt werden	✓	-
api_key	API-Schlüssel von Azure	✓	-
api_version	Version der Azure OpenAI API	✗	2023-05-15
model	Name des deployten Modells	✗	text-embedding-3-small
endpoint	Azure OpenAI Endpoint URL	✗	https://meingpt-canada.openai.azure.com/
embedding_dimensions	Dimensionen des Embedding-Vektors	✗	512
rpm	Maximale API-Anfragen pro Minute	✗	3000
tpm	Maximale Tokens pro Minute	✗	1000000

embedding_model:
  provider: azure
  api_key: $AZURE_API_KEY
  api_version: "2023-05-15"
  model: text-embedding-3-small
  endpoint: https://meingpt-canada.openai.azure.com/
  embedding_dimensions: 512

Nebius

API-Keys für Nebius können unter studio.nebius.ai/ erstellt werden

Parameter	Beschreibung	Verpflichtend	Standard
provider	Muss auf “nebius” gesetzt werden	✓	-
tokenizer	Name des HuggingFace-Tokenizers	✗	BAAI/bge-multilingual-gemma2
model	Name des Embedding-Modells	✗	bge-multilingual-gemma2
base_url	API-Endpunkt von Nebius	✗	https://api.studio.nebius.ai/v1/
api_key	API-Schlüssel von Nebius	✓	-
rpm	Maximale API-Anfragen pro Minute	✗	3000
tpm	Maximale Tokens pro Minute	✗	1000000

embedding_model:
  provider: nebius
  tokenizer: BAAI/bge-multilingual-gemma2
  model: bge-multilingual-gemma2
  base_url: https://api.studio.nebius.ai/v1/
  api_key: $NEBIUS_API_KEY

HuggingFace

Da HuggingFace-Modelle lokal betrieben werden, ist kein API key notwendig.

Parameter	Beschreibung	Verpflichtend	Standard
provider	Muss auf “huggingface” gesetzt werden	✓	-
model	Name oder Pfad des Modells	✗	sentence-transformers/all-mpnet-base-v2
model_kwargs	Zusätzliche Parameter für die Modell-Initialisierung (z.B. revision, cache_dir)	✗	{}
encode_kwargs	Zusätzliche Parameter für die Encoding-Methode (z.B. normalize_embeddings, max_length)	✗	{}
device	Gerät für die Ausführung (cpu, cuda, mps)	✗	cpu
batch_size	Anzahl parallel verarbeiteter Texte	✗	32
rpm	Maximale API-Anfragen pro Minute	✗	3000
tpm	Maximale Tokens pro Minute	✗	1000000

embedding_model:
  provider: huggingface
  model: BAAI/bge-small-en-v1.5
  device: cuda
  batch_size: 32
  model_kwargs:
    trust_remote_code: true
    cache_dir: /path/to/cache
  encode_kwargs:
    normalize_embeddings: true
    max_length: 512

Das Wechseln des Embedding-Modells erfordert ein erneutes Verarbeiten sämtlicher Daten, da die Embeddings untereinander nicht kompatibel sind. Dies kann mit erheblichen Kosten verbunden sein.