nebula@atheron:/de/batch$
// Batch-Inferenz
Stapel, für Sie erledigt.
Embeddings, Labels, Transkripte, Bildbeschreibungen.
Laden Sie Ihre Elemente hoch, wählen Sie ein Modell aus unserem Katalog und erhalten Sie eine Ergebnisdatei zurück. Wir verteilen die Arbeit auf GPUs im Constellation-Netzwerk, prüfen jeden Teil und setzen alles in der richtigen Reihenfolge wieder zusammen.
// Was Sie ausführen können
Vier Aufgaben zum Start
Jede läuft auf offenen Modellen, die wir geprüft, signiert und festgelegt haben, sodass dieselbe Eingabe immer dieselbe Art von Antwort liefert.
Embeddings
Verwandeln Sie Text in Vektoren für Suche, Clustering und Empfehlungen. Kleine, Basis- und große Modelle, normalisiert und bereit für Ihre Vektordatenbank.
Klassifizierung
Ordnen Sie Text Ihren Labels zu: Themen, Stimmung, Absicht oder Spam. Sie erhalten für jedes Element ein Label und einen Wert.
Transkription
Verwandeln Sie aufgenommenes Audio in Text mit Zeitmarken, in den Sprachen, die das Modell unterstützt.
Bildbeschreibungen
Beschreiben Sie Bilder in einem Satz, für Alternativtexte, Suche und Katalogisierung.
// Geprüfte Arbeit
Jeder Teil wird geprüft
Ein Stapel ist nur so gut wie sein schwächster Teil, darum wird kein Teil auf das Wort eines einzigen Rechners hin akzeptiert.
Zweimal ausgeführt
Jeder Teil auf Geräten von Mitgliedern läuft auf mindestens 2 Rechnern verschiedener Personen. Ihre Antworten müssen übereinstimmen.
Von uns entschieden
Wenn Antworten abweichen, führt ein eigener Knoten von Atheron den Teil selbst aus und entscheidet. Ein Rechner, der falsch lag, erhält einen Verstoß und bekommt keine Arbeit mehr.
Stichproben
Ein Teil der übereinstimmenden Antworten wird zufällig auf unserer eigenen Hardware wiederholt, sodass niemand weiß, wann er geprüft wird.
Passend zur Hardware
Ein Teil geht nur an eine GPU mit dem Speicher und den Treibern, die das Modell braucht. Zur Laufzeit wird nichts geraten.
// So läuft ein Stapel
Vom Hochladen zum Ergebnis
Sie machen einen Aufruf. Alles Weitere geschieht bei uns.
- 1
Senden
Senden Sie Ihre Elemente und das gewünschte Modell mit einem API-Aufruf, oder laden Sie eine Datei im Entwicklerportal hoch.
- 2
Aufteilen
Wir teilen den Stapel in Teile, die zu den GPUs passen, die dieses Modell ausführen können.
- 3
Ausführen und prüfen
Die Teile laufen auf GPUs von Constellation, jeder geprüft von einem zweiten Rechner oder einem eigenen Knoten von Atheron.
- 4
Zusammenführen
Wir bringen die Antworten in Ihre Reihenfolge, speichern eine Ergebnisdatei für Sie und rufen Ihren Webhook auf, wenn sie bereit ist.
Fragen
- Werden meine Daten an fremde Computer geschickt?
- Nur wenn Sie es erlauben. Ein Stapel ist standardmäßig privat und läuft nur auf eigenen Knoten von Atheron oder auf GPUs von AWS. Markieren Sie einen Stapel als teilbar, damit er Geräte von Mitgliedern nutzen kann, was günstiger ist. Markieren Sie nie persönliche oder vertrauliche Daten als teilbar.
- Wie lange dauert ein Stapel?
- Das hängt von seiner Größe und dem Modell ab. Sie können den Fortschritt jedes Stapels im Portal oder über die API verfolgen, und ein Webhook meldet, wenn er fertig ist.
- Welche Modelle kann ich nutzen?
- Die Modelle aus unserem Katalog, in der Dokumentation mit Lizenz und Stärken aufgeführt. Wir fügen Modelle hinzu, nachdem wir sie geprüft haben.
- Wie lange werden Ergebnisse aufbewahrt?
- Standardmäßig 30 Tage, danach werden sie gelöscht. Sie können einen kürzeren Zeitraum wählen, höchstens bis zu 90 Tage.
Ihr erster Stapel
Wenn Nebula startet, legen Sie Ihr Team im Entwicklerportal an, bestehen eine kurze Unternehmensprüfung, hinterlegen eine Karte und senden einen Stapel mit Ihrem Schlüssel.