Datenquellen

Der DataVault unterstützt verschiedene Arten von Datenquellen, die als Datenpools konfiguriert werden können. Jeder Datenpool wird durch einen eigenen Abschnitt in der data_pools-Liste der Vault-Konfiguration definiert.

Allgemeine Parameter

Alle Datenpool-Typen unterstützen folgende Parameter:

Parameter	Beschreibung	Verpflichtend	Standard
id	Eindeutige ID des Datenpools (wird in meinGPT generiert)	✓	-
type	Art der Datenquelle (s3, drive, local)	✓	-
base_path	Pfad innerhalb der Datenquelle	✗	""

Google Drive

Google Drive kann als Datenquelle verwendet werden, um Dokumente aus einem Google Drive-Account zu synchronisieren.

Parameter	Beschreibung	Verpflichtend	Standard
refresh_token	OAuth2 Refresh-Token für Google Drive	✓	-
scope	OAuth2-Scope für den Zugriff (drive, drive.readonly, drive.file, drive.appfolder, drive.metadata.readonly)	✗	drive.readonly
root_folder_id	ID eines spezifischen Ordners als Root	✗	-
team_drive	ID eines Shared Drives	✗	-
client_id	Client-ID für eigenen Google Drive API-Client	✗	-
client_secret	Client-Secret für eigenen Google Drive API-Client	✗	-

data_pools:
  - id: pool_123
    type: drive
    refresh_token: $GOOGLE_REFRESH_TOKEN
    base_path: "Dokumente/Wiki"
    root_folder_id: "1234567890abcdef"

S3-kompatible Speicher

Der DataVault kann Dokumente aus S3-kompatiblen Objektspeichern (AWS S3, MinIO, DigitalOcean Spaces, etc.) synchronisieren.

Parameter	Beschreibung	Verpflichtend	Standard
endpoint	URL des S3-Endpunkts	✓	-
access_key_id	Access Key ID für S3-Authentifizierung	✓	-
secret_access_key	Secret Access Key für S3-Authentifizierung	✓	-
provider	Name des S3-Providers	✗	Other
bucket_name	Name des S3-Buckets	✓	-

data_pools:
  - id: pool_456
    type: s3
    endpoint: s3.eu-central-1.amazonaws.com
    access_key_id: $S3_ACCESS_KEY
    secret_access_key: $S3_SECRET_KEY
    bucket_name: my-bucket
    base_path: data/documents

Lokales Dateisystem

Für Tests oder kleine Deployments können auch Dateien aus dem lokalen Dateisystem synchronisiert werden.

Parameter	Beschreibung	Verpflichtend	Standard
base_path	Pfad zum Ordner im lokalen Dateisystem	✓	-

data_pools:
  - id: pool_789
    type: local
    base_path: /path/to/documents

Sensitive Daten wie Zugriffsschlüssel sollten nicht im Klartext in der Konfigurationsdatei gespeichert werden. Nutzen Sie stattdessen Umgebungsvariablen mit der $VARIABLE_NAME Syntax.