Verteilungeine KI-Testplattform, die von Scott Clark, dem ehemaligen GM für KI-Software bei Intel, gegründet wurde, hat eine 19-Millionen-Dollar-Finanzierungsrunde der Serie A unter der Leitung von Two Sigma Ventures abgeschlossen.
Clark sagt, dass Distributional von den KI-Testproblemen inspiriert wurde, auf die er bei der Anwendung von KI bei Intel stieß, und – davor – von seiner Arbeit bei Yelp als Softwareleiter in der Ad-Targeting-Abteilung des Unternehmens.
„Da der Wert von KI-Anwendungen weiter wächst, steigen auch die betrieblichen Risiken“, sagte er gegenüber TechCrunch. „KI-Produktteams nutzen unsere Plattform, um KI-Risiken proaktiv und kontinuierlich zu erkennen, zu verstehen und anzugehen, bevor sie zu Risiken in der Produktion führen.“
Clark kam durch eine Akquisition zu Intel.
Im Jahr 2020 erwarb Intel SigOpt, eine Modellexperimentier- und Managementplattform, die Clark mitbegründet hat. Clark blieb im Amt und wurde 2022 zum VP und GM der KI- und Supercomputing-Softwaregruppe von Intel ernannt.
Bei Intel sagt Clark, dass er und sein Team häufig durch KI-Überwachungs- und Beobachtbarkeitsprobleme gelähmt waren.
KI sei nicht deterministisch, betonte Clark – das bedeutet, dass sie bei gleichen Daten unterschiedliche Ergebnisse generiert. Hinzu kommt, dass KI-Modelle viele Abhängigkeiten haben (z. B. Software-Infrastruktur und Trainingsdaten), und das Aufspüren von Fehlern in einem KI-System kann sich wie die Suche nach der Nadel im Heuhaufen anfühlen.
Laut einer 2024 Rand Corporation Umfrageüber 80 % der KI-Projekte scheitern. Für Unternehmen stellt die generative KI eine besondere Herausforderung dar Gartner-Studie prognostiziert dass bis 2026 ein Drittel der Einsätze aufgegeben wird.
„Es erfordert das Schreiben statistischer Tests zu Verteilungen vieler Dateneigenschaften“, sagte Clark. „KI muss während des gesamten Lebenszyklus kontinuierlich und adaptiv testen, um Verhaltensänderungen zu erkennen.“
Clark hat Distributional ins Leben gerufen, um zu versuchen, diese KI-Prüfungsarbeit etwas zu abstrahieren, indem er sich auf Techniken stützt, die er und das SigOpt-Team bei der Arbeit mit Unternehmenskunden entwickelt haben. Distributional kann automatisch statistische Tests für KI-Modelle und Apps gemäß den Spezifikationen eines Entwicklers erstellen und die Ergebnisse dieser Tests in einem Dashboard organisieren.
Von diesem Dashboard aus können Distributional-Benutzer gemeinsam an Test-„Repositories“ arbeiten, fehlgeschlagene Tests selektieren und Tests bei Bedarf neu kalibrieren. Die gesamte Umgebung kann vor Ort bereitgestellt werden (obwohl Distributional auch einen verwalteten Plan anbietet) und in gängige Alarmierungs- und Datenbanktools integriert werden.
„Wir sorgen im gesamten Unternehmen für Transparenz darüber, was, wann und wie KI-Anwendungen getestet wurden und wie sich dies im Laufe der Zeit verändert hat“, sagte Clark, „und wir bieten einen wiederholbaren Prozess für KI-Tests für ähnliche Anwendungen, indem wir gemeinsam nutzbare Vorlagen, Konfigurationen usw. verwenden. Filter und Tags.“
KI ist in der Tat ein unhandliches Biest. Sogar die besten KI-Labore haben das schwaches Risikomanagement. Eine Plattform wie die von Distributional könnte den Testaufwand verringern und Unternehmen vielleicht sogar dabei helfen, einen ROI zu erzielen.
Zumindest ist das Clarks Meinung.
„Ob Instabilität, Ungenauigkeit oder Dutzende anderer potenzieller Herausforderungen, es kann schwierig sein, KI-Risiken zu identifizieren“, sagte er. „Wenn Teams die KI-Tests nicht richtig durchführen, riskieren sie, dass KI-Anwendungen nie in die Produktion gelangen. Oder sie riskieren bei einer Produktion, dass sich diese Anwendungen auf unerwartete und potenziell schädliche Weise verhalten, ohne dass diese Probleme sichtbar sind.“
Distributional ist nicht der Erste, der Technologien zur Untersuchung und Analyse der Zuverlässigkeit einer KI auf den Markt bringt. Kolena, Prolific, Giskard und Patronus gehören zu den vielen KI-Experimentierlösungen auf dem Markt. Technologiegiganten wie Google Cloud, AWS und Azure bieten ebenfalls Tools zur Modellbewertung an.
Warum sollte sich ein Kunde für Distributional entscheiden?
Nun, Clark behauptet, dass Distributional – das kurz vor der Kommerzialisierung seiner Produktpalette steht – ein „weißeres“ Erlebnis bietet als viele andere. Distributional kümmert sich um die Installation, Implementierung und Integration für Kunden und bietet Fehlerbehebung bei KI-Tests (gegen Gebühr).
„Überwachungstools konzentrieren sich oft auf übergeordnete Metriken und bestimmte Ausreißer, was ein begrenztes Gefühl der Konsistenz vermittelt, aber keine Einblicke in das breitere Anwendungsverhalten“, sagte Clark. „Das Ziel der Tests von Distributional besteht darin, Teams in die Lage zu versetzen, das gewünschte Verhalten für jede KI-Anwendung zu definieren, zu bestätigen, dass sie sich in der Produktion und während der Entwicklung immer noch wie erwartet verhält, zu erkennen, wann sich dieses Verhalten ändert, und herauszufinden, was weiterentwickelt werden muss oder.“ behoben werden, um wieder einen stabilen Zustand zu erreichen.“
Distributional ist mit neuen Mitteln aus der Serie A versorgt und plant, sein technisches Team zu erweitern, wobei der Schwerpunkt auf den Bereichen UI- und KI-Forschungstechnik liegt. Clark sagte, er gehe davon aus, dass die Belegschaft des Unternehmens bis Ende des Jahres auf 35 Personen anwachsen werde, da Distributional mit der ersten Welle von Unternehmenseinsätzen beginnt.
„Wir haben uns im Laufe von nur einem Jahr seit unserer Gründung erhebliche Mittel gesichert und sind trotz unseres wachsenden Teams in der Lage, diese enorme Chance in den nächsten Jahren zu nutzen“, fügte Clark hinzu.
Andreessen Horowitz, Operator Collective, Oregon Venture Fund, Essence VC und Alumni Ventures nahmen ebenfalls an der Serie A von Distributional teil. Bis heute hat das in San Francisco ansässige Startup 30 Millionen US-Dollar eingesammelt.
