OpenAI’s text-embedding-3-small ist eines der am häufigsten verwendeten Einbettungsmodelle für KI-Anwendungen. Es ist die erste Wahl für Entwickler, die Such-, RAG (Retrieval-Augmented Generation) und Klassifizierungssysteme erstellen. Hier ist alles, was Sie wissen müssen.
Was es ist
text-embedding-3-small ist ein Einbettungsmodell von OpenAI, das Text in numerische Vektoren (Embeddings) umwandelt. Diese Vektoren erfassen die semantische Bedeutung des Textes und ermöglichen Ähnlichkeitssuche, Clustering und Klassifizierung.
Wenn Sie Text an das Modell senden, gibt es standardmäßig einen Vektor mit 1.536 Dimensionen zurück. Texte mit ähnlicher Bedeutung erzeugen Vektoren, die in diesem hochdimensionalen Raum nahe beieinander liegen.
Wichtige Spezifikationen
Dimensionen: 1.536 (standardmäßig), kann mit Matroschka-Darstellungslernen auf bis zu 256 reduziert werden. Dimensionen zu reduzieren spart Speicher und beschleunigt die Suche bei minimalem Qualitätsverlust.
Maximaler Input: 8.191 Tokens (~6.000 Wörter). Lange genug für die meisten Dokumente und Absätze.
Leistung: Starke Leistung bei Standardbenchmarks (MTEB). Nicht das absolute Beste, aber ausgezeichnet für seine Größe und Kosten.
Kosten: $0,02 pro Million Tokens. Extrem günstig – das Einbetten von einer Million Wörtern kostet etwa 3 Cent.
text-embedding-3-small vs. text-embedding-3-large
OpenAI bietet zwei Einbettungsmodelle in der v3-Familie an:
text-embedding-3-small: 1.536 Dimensionen, $0,02/M Tokens. Gute Leistung, sehr günstig.
text-embedding-3-large: 3.072 Dimensionen, $0,13/M Tokens. Bessere Leistung, 6,5-mal teurer.
Für die meisten Anwendungen ist text-embedding-3-small die bessere Wahl. Der Qualitätsunterschied ist gering, und die Kosteneinsparungen sind erheblich. Verwenden Sie text-embedding-3-large nur, wenn Sie maximale Abrufgenauigkeit benötigen und die Kosten keine Rolle spielen.
Häufige Anwendungsfälle
Semantische Suche. Konvertieren Sie Dokumente und Anfragen in Embeddings und finden Sie dann die ähnlichsten Dokumente für jede Anfrage. Dies treibt Suchfunktionen in KI-Anwendungen, Wissensdatenbanken und Dokumentationsseiten an.
RAG (Retrieval-Augmented Generation). Der häufigste Anwendungsfall. Betten Sie Ihre Dokumente ein, speichern Sie sie in einer Vektordatenbank und rufen Sie relevanten Kontext ab, wenn Benutzer Fragen stellen. Der abgerufene Kontext wird dann an ein LLM weitergegeben, um genaue Antworten zu generieren.
Klassifizierung. Verwenden Sie Embeddings als Merkmale für die Textklassifizierung. Die Embeddings erfassen die semantische Bedeutung, was die Klassifizierung genauer macht als ansatzbasierte Methoden.
Clustering. Gruppieren Sie ähnliche Dokumente basierend auf ihren Embeddings. Nützlich für die Organisation großer Dokumentensammlungen, Identifizierung von Themen und Erkennung von Duplikaten.
Empfehlung. Finden Sie ähnliche Elemente (Produkte, Artikel, Inhalte) basierend auf der Ähnlichkeit von Embeddings. Unterschiedlicher als das Übereinstimmen von Schlüsselwörtern, da es semantische Beziehungen versteht.
So verwenden Sie es
Verwendung der OpenAI-API:
Rufen Sie den Endpunkt für Embeddings mit Ihrem Text und dem Modellnamen “text-embedding-3-small” auf. Die API gibt einen Vektor zurück, den Sie in einer Vektordatenbank (Pinecone, Weaviate, ChromaDB, pgvector) speichern oder direkt für Ähnlichkeitsberechnungen verwenden können.
Für die Dimensionsreduzierung übergeben Sie den Parameter “dimensions” mit Ihrer gewünschten Größe (z. B. 256, 512, 1024). Das Modell verwendet Matroschka-Darstellungslernen, um kürzere Vektoren zu produzieren, die die meisten semantischen Informationen behalten.
Tipps für die besten Ergebnisse
Teilen Sie Ihre Dokumente auf. Embedern Sie keine gesamten Dokumente als einzelne Vektoren. Teilen Sie sie in Abschnitte von 200-500 Tokens, um die Abrufgenauigkeit zu verbessern.
Verwenden Sie sinnvolle Abschnitte. Teilen Sie an Absatz- oder Abschnittsgrenzen und nicht an willkürlichen Token-Zahlen. Semantische Kohärenz innerhalb von Abschnitten verbessert die Abrufqualität.
Berücksichtigen Sie die Dimensionsreduzierung. Für großflächige Anwendungen kann die Reduzierung der Dimensionen von 1.536 auf 512 oder 256 die Speicherkosten erheblich senken und die Suche bei minimalem Qualitätsverlust beschleunigen.
Normieren Sie Vektoren. Für die Kosinusähnlichkeitssuche normieren Sie Ihre Vektoren. Die meisten Vektordatenbanken erledigen dies automatisch.
Alternativen
Cohere Embed v3: Wettbewerbsfähige Qualität, unterstützt mehrere Sprachen gut.
Voyage AI: Starke Leistung, insbesondere für Code und technische Inhalte.
BGE (BAAI): Open Source, kann lokal ausgeführt werden. Gute Qualität für eine kostenlose Option.
Nomic Embed: Open Source mit wettbewerbsfähiger Leistung.
Meine Meinung
text-embedding-3-small ist die Standardwahl für die meisten KI-Anwendungen. Es ist günstig, schnell, einfach zu verwenden und für die überwiegende Mehrheit der Anwendungsfälle ausreichend. Beginnen Sie hier und ziehen Sie Alternativen nur in Betracht, wenn Sie spezifische Anforderungen haben (bessere Unterstützung für mehrere Sprachen, lokale Bereitstellung oder maximale Genauigkeit), die den Wechsel rechtfertigen.
🕒 Published: