Das Modell text-embedding-3-small von OpenAI gehört zu den am häufigsten verwendeten Embedding-Modellen für KI-Anwendungen. Es ist die bevorzugte Wahl von Entwicklern, die Suchsysteme, RAG (Retrieval Augmented Generation) und Klassifizierungssysteme entwickeln. Hier ist alles, was Sie wissen müssen.
Was es ist
text-embedding-3-small ist ein Embedding-Modell von OpenAI, das Text in numerische Vektoren (Embeddings) umwandelt. Diese Vektoren erfassen die semantische Bedeutung des Textes und ermöglichen die Ähnlichkeitssuche, Gruppierung und Klassifizierung.
Wenn Sie Text an das Modell senden, gibt es einen Vektor mit 1.536 Dimensionen (Standard) zurück. Texte mit ähnlichen Bedeutungen erzeugen Vektoren, die in diesem hochdimensionalen Raum nahe beieinander liegen.
Schlüsselspezifikationen
Dimensionen: 1.536 (Standard), kann auf bis zu 256 reduziert werden, indem das Matryoshka-Representation-Learning verwendet wird. Die Dimensionsreduktion spart Speicherplatz und beschleunigt die Suche bei minimalem Qualitätsverlust.
Max. Eingabe: 8.191 Tokens (~6.000 Wörter). Ausreichend lang für die meisten Dokumente und Auszüge.
Leistung: Gute Leistung bei standardisierten Benchmarks (MTEB). Es ist nicht das absolut beste Modell, aber hervorragend für seine Größe und Kosten.
Kosten: 0,02 $ pro Million Tokens. Extrem kostengünstig – das Embedding von einer Million Wörtern kostet etwa 3 Cent.
text-embedding-3-small vs. text-embedding-3-large
OpenAI bietet zwei Embedding-Modelle in der v3-Familie an:
text-embedding-3-small: 1.536 Dimensionen, 0,02 $/M Tokens. Gute Leistung, sehr wirtschaftlich.
text-embedding-3-large: 3.072 Dimensionen, 0,13 $/M Tokens. Bessere Leistung, 6,5 Mal teurer.
Für die meisten Anwendungen ist text-embedding-3-small die beste Wahl. Der Qualitätsunterschied ist gering, und die Kosteneinsparungen sind erheblich. Verwenden Sie text-embedding-3-large nur, wenn Sie maximale Abrufgenauigkeit benötigen und die Kosten keine Rolle spielen.
Häufige Anwendungsfälle
Semantische Suche. Wandeln Sie Dokumente und Abfragen in Embeddings um und finden Sie die ähnlichsten Dokumente zu jeder Anfrage. Dies unterstützt die Suchfunktionen in KI-Anwendungen, Wissensdatenbanken und Dokumentationsseiten.
RAG (Retrieval Augmented Generation). Der gängigste Anwendungsfall. Integrieren Sie Ihre Dokumente, speichern Sie sie in einer vektorbasierten Datenbank und rufen Sie den relevanten Kontext ab, wenn Benutzer Fragen stellen. Der abgerufene Kontext wird dann an ein LLM weitergegeben, um präzise Antworten zu generieren.
Klassifizierung. Verwenden Sie die Embeddings als Merkmale für die Textklassifizierung. Die Embeddings erfassen die semantische Bedeutung, was die Klassifizierung präziser macht als keywordbasierte Ansätze.
Gruppierung. Gruppieren Sie ähnliche Dokumente basierend auf ihren Embeddings. Nützlich, um große Dokumentensammlungen zu organisieren, Themen zu identifizieren und Duplikate zu erkennen.
Empfehlung. Finden Sie ähnliche Artikel (Produkte, Artikel, Inhalte) basierend auf der Ähnlichkeit der Embeddings. Feinfühliger als die keywordbasierte Zuordnung, da es semantische Beziehungen berücksichtigt.
Wie man es verwendet
Verwendung der OpenAI-API:
Rufen Sie den Embedding-Endpunkt mit Ihrem Text und dem Modellnamen „text-embedding-3-small“ auf. Die API gibt einen Vektor zurück, den Sie in einer vektorbasierten Datenbank (Pinecone, Weaviate, ChromaDB, pgvector) speichern oder direkt für Ähnlichkeitsberechnungen verwenden können.
Für die Dimensionsreduktion übergeben Sie den Parameter „dimensions“ mit der gewünschten Größe (z. B. 256, 512, 1024). Das Modell verwendet das Matryoshka-Representation-Learning, um kürzere Vektoren zu erzeugen, die die meisten semantischen Informationen beibehalten.
Tipps für bessere Ergebnisse
Teilen Sie Ihre Dokumente auf. Verwenden Sie keine ganzen Dokumente als einzelne Vektoren. Teilen Sie sie in Teile von 200 bis 500 Tokens für eine bessere Abrufgenauigkeit.
Verwenden Sie sinnvolle Stücke. Teilen Sie an Absatz- oder Abschnittsgrenzen statt an willkürlichen Token-Anzahlen. Die semantische Kohärenz innerhalb der Stücke verbessert die Abrufqualität.
Erwägen Sie die Dimensionsreduktion. Für großangelegte Anwendungen kann eine Reduzierung der Dimensionen von 1.536 auf 512 oder 256 die Speicherkosten erheblich senken und die Suche beschleunigen, bei minimalem Qualitätsverlust.
Normalisieren Sie die Vektoren. Für die Berechnung der Kosinusähnlichkeit normalisieren Sie Ihre Vektoren. Die meisten vektorbasierten Datenbanken erledigen dies automatisch.
Alternativen
Cohere Embed v3: Wettbewerbsfähige Qualität, unterstützt mehrere Sprachen gut.
Voyage AI: Starke Leistung, insbesondere bei Code und technischem Inhalt.
BGE (BAAI): Open-Source, kann lokal ausgeführt werden. Gute Qualität für eine kostenlose Option.
Nomic Embed: Open-Source mit wettbewerbsfähiger Leistung.
Mein Fazit
text-embedding-3-small ist die Standardwahl für die meisten KI-Anwendungen. Es ist kostengünstig, schnell, einfach zu bedienen und ausreichend gut für die große Mehrheit der Anwendungsfälle. Beginnen Sie hier und ziehen Sie andere Optionen nur in Betracht, wenn Sie spezifische Anforderungen haben (bessere Unterstützung für mehrere Sprachen, lokale Bereitstellung oder maximale Genauigkeit), die einen Wechsel rechtfertigen.
🕒 Published: