Chiphersteller Nvidia erzielte einen Umsatz von 30 Milliarden US-Dollar letzten Geschäftsquartal, was zu einem großen Teil auf die unstillbare Nachfrage der KI-Branche nach GPUs zurückzuführen ist. GPUs sind für das Training und die Ausführung von KI-Modellen unerlässlich. Sie enthalten Tausende von Kernen, die parallel arbeiten, um die linearen Algebragleichungen, auf denen die Modelle basieren, schnell auszuführen.
Der Appetit auf KI ist nach wie vor groß und die GPUs von Nvidia sind bei KI-Spielern jeder Größe zum Chip der Wahl geworden. Aber TensorWaveein Ende letzten Jahres gegründetes Unternehmen, geht gegen den Strich und führt eine Cloud ein, die für KI-Workloads nur Zugriff auf Hardware des Nvidia-Konkurrenten AMD bietet.
„Wir haben erkannt, dass ein ungesundes Monopol am Werk ist – eines, das Endbenutzern den Zugang zu Computern verweigert und Innovationen im KI-Bereich erstickt“, sagte Darrick Horton, CEO von TensorWave und einer seiner Mitbegründer, gegenüber TechCrunch. „Angetrieben von unserem Wunsch, die KI zu demokratisieren, haben wir uns zum Ziel gesetzt, eine praktikable Alternative anzubieten und Wettbewerb und Wahlmöglichkeiten wiederherzustellen.“
Verschlungene Wege
Pickleball brachte Horton zunächst mit den beiden anderen Mitbegründern von TensorWave, Jeff Tatarchuk und Piotr Tomasik, zusammen – oder zumindest brachte es den Stein ins Rollen (entschuldigen Sie das Wortspiel).
Eines Tages nach einem Match luden Tomasik und Tatarchuk – enge Freunde und langjährige Pickleball-Doppelpartner – Horton, einen ehemaligen Kollegen von Tatarchuk, zu sich in ihre Lieblingskneipe in Las Vegas ein.
„Im weiteren Verlauf des Gesprächs diskutierten wir über den monopolistischen Einfluss auf die GPU-Rechenkapazität, der zu Lieferengpässen führte“, sagte Horton. „Diese Erkenntnis führte zur Gründung von TensorWave.“
Die drei Partner kannten sich nicht nur vom Pickleball.
Tatarchuk gründete zusammen mit Horton den Cloud-Anbieter VMAccel, bevor er ein weiteres Startup, den CRM-Entwickler Lets Rolo, an das digitale Identitätsunternehmen LifeKey verkaufte. Horton, der über einen Bachelor-Abschluss in Maschinenbau und Physik verfügt, arbeitete einst in der Forschungs- und Entwicklungsabteilung Skunk Works von Lockheed Martin und war dann Mitbegründer von VaultMiner Technologies, einem Krypto-Mining-Unternehmen und Mutterunternehmen von VMAccel.
Was Tomasik betrifft, war er zusammen mit Tatarchuk Co-Initiator von Lets Rolo. (Tomasik ist außerdem Mitbegründer der Influencer-Marketer-Website Influential, die das französische PR-Unternehmen Publicis im Juli für 500 Millionen US-Dollar übernommen hat.)
Was brachte drei Unternehmer mit wenig Wissen über die Hyperscaler-Landschaft zu der Annahme, sie könnten mit den Giganten der KI-Branche konkurrieren? Im Grunde genommen Hartnäckigkeit.
„Wir glaubten, wir könnten das GPU-Versorgungsproblem lösen“, sagte Horton.
Vegas, Inc.
TensorWave hat seinen Hauptsitz in Las Vegas, einer ungewöhnlichen Stadtwahl für ein Cloud-Infrastruktur-Startup. Aber Horton sagte, dass dem Team die Chancen gefielen.
„Wir dachten, dass Vegas das Potenzial hat, ein florierendes Technologie- und Startup-Ökosystem zu werden“, sagte er.
Diese Vorhersage ist nicht ganz falsch. Nach Nach Angaben von Dealroom.co gibt es in Las Vegas etwas mehr als 600 Startups mit mehr als 11.000 Mitarbeitern, die im Jahr 2022 Investitionen in Höhe von über 4 Milliarden US-Dollar anzogen.
Energiekosten und Gemeinkosten Sind untere in Vegas auch als in vielen großen US-Städten. Und sowohl Tomasik als auch Tatarchuk haben enge Verbindungen zur VC-Community der Stadt.
Tomasik war zuvor Allgemeinmediziner beim in Vegas ansässigen Seed-Fonds 1864 Fund und arbeitet jetzt mit den gemeinnützigen Acceleratoren StartUp Vegas und Vegas Tech Ventures zusammen. (Seltsamerweise ist Vegas Tech Ventures’ Website warf einen 404-Fehler für die Seiten, auf denen seine Partner und Portfoliounternehmen aufgeführt sind; Ein Sprecher sagte, es handele sich um einen technischen Fehler, der behoben werde Christliche religiöse Organisation.
Diese Verbindungen – zusammen mit denen von Horton – haben dazu beigetragen, dass TensorWave zu einer der ersten Clouds wurde, die AMD Instinct MI300X-Instanzen für KI-Workloads auf den Markt brachten. TensorWave liefert auf Anfrage Setups mit dediziertem Speicher und Hochgeschwindigkeitsverbindungen. TensorWave mietet GPU-Kapazität stundenweise und erfordert einen Vertrag mit einer Mindestlaufzeit von sechs Monaten.
„Im gesamten Cloud-Bereich befinden wir uns in guter Gesellschaft“, sagte Horton. „Wir verstehen uns als Ergänzung und bieten zusätzliche KI-spezifische Rechenleistung zu einem wettbewerbsfähigen Preis-Leistungs-Verhältnis.“
AMD-vorwärts
Es gibt einen boomenden Markt für Startups, die kostengünstige, bedarfsgesteuerte und GPU-gestützte Clouds für KI entwickeln.
CoreWeave, der GPU-Infrastrukturanbieter, der als Krypto-Mining-Unternehmen begann, hat kürzlich 1,1 Milliarden US-Dollar an neuen Mitteln (und 7,5 Milliarden US-Dollar an Schulden) eingesammelt und einen Vertrag über mehrere Milliarden US-Dollar unterzeichnet handeln mit Microsoft. Lambda Labs hat sich Anfang April ein Zweckfinanzierungsvehikel in Höhe von bis zu 500 Millionen US-Dollar gesichert, und das ist auch der Fall angeblich Ich strebe weitere 800 Millionen US-Dollar an. Die gemeinnützige Organisation „Voltage Park“, die vom Krypto-Milliardär Jed McCaleb unterstützt wird, gab im vergangenen Oktober bekannt, dass sie 500 Millionen US-Dollar in GPU-gestützte Rechenzentren investiert. Und Together AI, ein Cloud-GPU-Host, der auch generative KI-Forschung betreibt, hat im März 106 Millionen US-Dollar in einer von Salesforce geleiteten Finanzierungsrunde eingesammelt.
Wie will TensorWave also konkurrieren?
Erstens zum Preis. Horton stellt fest, dass der MI300X dies ist deutlich günstiger als Nvidias derzeit beliebteste GPU für KI-Workloads, die H100, und dass TensorWave dadurch Einsparungen an Kunden weitergeben kann. Er würde die genauen Instanzpreise von TensorWave nicht preisgeben. Aber um die wettbewerbsfähigeren H100-Pläne zu schlagen, müsste es unter etwa 2,50 US-Dollar pro Stunde liegen – eine herausfordernde, aber nicht unvorstellbare Leistung.
„Die Preise liegen zwischen etwa 1 US-Dollar pro Stunde und 10 US-Dollar pro Stunde, abhängig von den individuellen Anforderungen der Arbeitslast und den gewählten GPU-Konfigurationen“, sagte Horton. „Was die Kosten pro Instanz betrifft, die TensorWave entstehen, können wir diese Details aufgrund von Vertraulichkeitsvereinbarungen nicht weitergeben.“
Zweitens zur Leistung. Horton verweist auf Benchmarks, die den MI300X zeigen überlegen der H100, wenn es darum geht, KI-Modelle auszuführen (aber nicht zu trainieren), insbesondere textgenerierende Modelle wie Metas Llama 2. (Sonstiges Auswertungen deuten darauf hin, dass der Vorteil arbeitsbelastungsabhängig sein könnte.)
Es scheint, dass Hortons Behauptungen einigermaßen glaubwürdig sind, wenn man bedenkt, dass sich die Macher der Technologiebranche für den MI300X interessieren. Meta gab im Dezember bekannt, dass es MI300X-Chips für Anwendungsfälle wie die Ausführung seines Meta-KI-Assistenten verwenden wird, während OpenAI, der Hersteller von ChatGPT, plant, den MI300X in seinen Entwicklertools zu unterstützen.
Der Wettbewerb
Andere, die auf AMDs KI-Chips setzen, reichen von Startups wie Lamini und Nscale bis hin zu größeren, etablierteren Cloud-Anbietern wie Azure und Oracle. (Google Cloud und AWS bleiben nicht überzeugt der Wettbewerbsfähigkeit von AMD.)
Derzeit ist es wichtig, zum Wohle aller dieser Anbieter zu arbeiten anhaltender Nvidia-GPU-Mangel und die Verzögerung von Nvidias kommendem Blackwell-Chip. Doch der Mangel könnte sich lindern bald mit einem Hochlauf der Herstellung kritischer Chipkomponenten, insbesondere von Speicher. Und das könnte es Nvidia ermöglichen, die Auslieferungen des H200, des Nachfolgers des H100, der sich durch eine deutlich verbesserte Leistung auszeichnet, zu steigern.
Ein weiteres existenzielles Dilemma für Cloud-Neulinge, die auf AMD-Hardware setzen, ist die Überbrückung der Wettbewerbsvorteile, die Nvidia rund um KI-Chips aufgebaut hat. Die Entwicklungssoftware von Nvidia gilt als ausgereifter und benutzerfreundlicher als die von AMD – und ist weit verbreitet. AMD-CEO Lisa Su selbst hat es getan zugelassen dass es „Arbeit erfordert“, AMD einzuführen.
Auf lange Sicht könnte der Preiswettbewerb zu einer Herausforderung werden, da Hyperscaler ihre Investitionen in kundenspezifische Hardware für den Betrieb und das Training von Modellen erhöhen. Google bietet seine TPUs an; Microsoft hat kürzlich zwei benutzerdefinierte Chips vorgestellt, Azure Maia und Azure Cobalt; und AWS hat Trainium, Inferentia und Graviton.
„Da Entwickler nach Alternativen suchen, die ihre KI-Arbeitslasten effektiv bewältigen können, insbesondere angesichts erhöhter Speicher- und Leistungsanforderungen sowie anhaltender Produktionsprobleme, die zu Verzögerungen führen, wird AMD noch länger seine Überlegenheit behalten und eine Schlüsselrolle bei der Demokratisierung der Datenverarbeitung im KI-Zeitalter spielen.“ “, sagte Horton.
Frühe Nachfrage
TensorWave begann Ende dieses Frühjahrs in der Vorschau mit dem Onboarding von Kunden. Laut Horton generiert das Unternehmen jedoch bereits einen wiederkehrenden Jahresumsatz von 3 Millionen US-Dollar. Er geht davon aus, dass diese Zahl bis Ende des Jahres 25 Millionen US-Dollar erreichen wird – ein 8-facher Sprung –, sobald TensorWave die Kapazität auf 20.000 MI300X erhöht.
Vorausgesetzt 15.000 US-Dollar pro GPU20.000 MI300X würden einer Investition von 300 Millionen US-Dollar entsprechen – dennoch behauptet Horton, dass die Brennrate von TensorWave „weit im nachhaltigen Bereich“ liegt. TensorWave zuvor erzählt The Register gab an, dass es seine GPUs als Sicherheit für eine große Schuldenfinanzierungsrunde verwenden würde, ein Ansatz, den auch andere Rechenzentrumsbetreiber, darunter CoreWeave, verfolgen; Horton sagt, das sei immer noch der Plan.
„Dies spiegelt unsere starke finanzielle Gesundheit wider“, fuhr er fort. „Wir sind strategisch positioniert, um potenziellen Gegenwind zu überstehen, indem wir dort Mehrwert liefern, wo er am meisten benötigt wird.“
Ich habe Horton gefragt, wie viele Kunden TensorWave heute hat. Er lehnte eine Antwort aus „Vertraulichkeitsgründen“ ab, betonte jedoch die öffentlich angekündigten Partnerschaften von TensorWave mit einem Netzwerk-Backbone-Anbieter Edgecore-Netzwerke Und MK1ein KI-Inferenz-Startup, das von ehemaligen Neuralink-Ingenieuren gegründet wurde.
„Wir erweitern unsere Kapazität schnell, da mehrere Knoten verfügbar sind, und wir erhöhen kontinuierlich die Kapazität, um den wachsenden Anforderungen unserer Pipeline gerecht zu werden“, sagte Horton und fügte hinzu, dass TensorWave plant, AMDs MI325X-GPUs der nächsten Generation auf den Markt zu bringen erscheint im 4. Quartal 2024, online bereits im November/Dezember.
Die Anleger scheinen mit dem bisherigen Wachstumskurs von TensorWave zufrieden zu sein. Nexus VP gab am Mittwoch bekannt, dass es eine 43-Millionen-Dollar-Runde des Unternehmens geleitet hat, an der auch Maverick Capital, StartupNV, Translink Capital und AMD Ventures beteiligt waren.
Die Tranche – die erste von TensorWave – bewertet das Startup nach der Finanzierung mit 100 Millionen US-Dollar.
„AMD Ventures teilt die Vision von TensorWave, die KI-Recheninfrastruktur zu transformieren“, sagte Matthew Hein, SVP von AMD Ventures, in einer Erklärung. „Ihr Einsatz des AMD Instinct MI300X und die Fähigkeit, KI-Kunden und -Entwicklern öffentliche Instanzen anzubieten, positionieren sie als einen frühen Konkurrenten im KI-Bereich, und wir freuen uns, ihr Wachstum durch diese neueste Finanzierungsrunde zu unterstützen.“
