YoToo

Am 17. April fand wie geplant das 12. Old Friends Reunion von IOSG Ventures statt. Das Thema dieser Veranstaltung lautete „Singularity: AI x Crypto Convergence“. Daher haben wir auch herausragende Vertreter der Branche eingeladen. Der Zweck dieser Zusammenkunft besteht darin, dass die Teilnehmer diskutieren, wo die Bereiche künstliche Intelligenz und Kryptowährung zusammenwachsen und welche Auswirkungen diese Konvergenz auf die Zukunft haben wird. Bei Veranstaltungen wie dieser haben die Teilnehmer die Möglichkeit, ihre Erkenntnisse, Erfahrungen und Ideen auszutauschen und so die Zusammenarbeit und Innovation innerhalb der Branche zu fördern.

Als nächstes folgt einer der Keynotes dieser Veranstaltung: „Warum KI offen sein muss – Warum KI Web3 braucht“.

Warum KI offen sein muss

Lassen Sie uns untersuchen, „Warum KI offen sein muss“. Mein Hintergrund liegt im maschinellen Lernen und ich habe in meiner etwa zehnjährigen Karriere verschiedene Aufgaben im Bereich maschinelles Lernen ausgeübt. Doch bevor ich mich mit Krypto, dem Verstehen natürlicher Sprache und der Gründung von NEAR beschäftigte, arbeitete ich bei Google. Wir entwickeln jetzt das Framework namens Transformer, das einen Großteil der modernen künstlichen Intelligenz antreibt. Nachdem ich Google verlassen hatte, gründete ich ein Unternehmen für maschinelles Lernen, damit wir Maschinen das Programmieren beibringen und so die Art und Weise verändern konnten, wie wir mit Computern interagieren. Aber das haben wir weder 2017 noch 2018 gemacht. Es war zu früh und es fehlten die Rechenleistung und die Daten dafür.

Wir haben Menschen aus der ganzen Welt dazu gebracht, die Datenkennzeichnung für uns zu übernehmen, hauptsächlich Studenten. Sie befinden sich in China, Asien und Osteuropa. Viele von ihnen haben in diesen Ländern kein Bankkonto. Die Vereinigten Staaten sind nicht sehr bereit, problemlos Geld zu senden, daher begannen wir, Blockchain als Lösung für unser Problem zu nutzen. Wir möchten es einfacher machen, Menschen auf der ganzen Welt programmatisch zu bezahlen, egal wo sie sich befinden. Übrigens besteht die aktuelle Herausforderung bei Crypto darin, dass NEAR zwar viele Probleme löst, man aber normalerweise etwas Crypto kaufen muss, bevor man auf der Blockchain handeln kann, um es zu verdienen, was das Gegenteil des Prozesses ist.

Wie bei Unternehmen sagen sie: „Hey, zuallererst müssen Sie etwas Eigenkapital am Unternehmen kaufen, um es nutzen zu können.“ Dies ist eines der vielen Probleme, die wir bei NEAR lösen. Lassen Sie uns nun den KI-Aspekt etwas tiefer besprechen. Sprachmodelle sind nichts Neues, sie gibt es schon seit den 1950er Jahren. Es handelt sich um ein statistisches Tool, das häufig in Tools für natürliche Sprache verwendet wird. Mit der Wiederbelebung des Deep Learning im Jahr 2013 begann lange Zeit eine neue Innovation. Die Innovation besteht darin, dass Sie Wörter zuordnen, zu mehrdimensionalen Vektoren hinzufügen und in mathematische Formen umwandeln können. Dies funktioniert gut mit Deep-Learning-Modellen, bei denen es sich lediglich um viele Matrixmultiplikationen und Aktivierungsfunktionen handelt.

Dies ermöglicht es uns, mit fortgeschrittenem Deep Learning zu beginnen und Modelle für viele interessante Dinge zu trainieren. Wenn wir jetzt zurückblicken, handelte es sich bei dem, was wir taten, um neuronale Netze, die stark dem Menschen nachempfunden waren, und wir konnten ein Wort nach dem anderen lesen. Das ist also sehr langsam, richtig. Wenn Sie versuchen, Nutzern auf Google.com etwas zu zeigen, wird niemand beispielsweise fünf Minuten warten, um Wikipedia zu lesen, bevor er eine Antwort gibt, aber Sie möchten die Antwort sofort haben. Das Transformers-Modell, das ChatGPT, Midjourney und alle aktuellen Fortschritte vorantreibt, basiert also auf der gleichen Idee, ein System zu haben, das Daten parallel verarbeiten, schlussfolgern und sofort Antworten geben kann.

Eine der wichtigsten Neuerungen dieser Idee besteht also darin, dass jedes Wort, jedes Token, jeder Bild-Patch parallel verarbeitet wird und dabei die Vorteile unserer GPUs und anderer Beschleuniger nutzt, die über hochparallele Rechenfähigkeiten verfügen. Auf diese Weise können wir auf skalierbare Weise darüber nachdenken. Diese Skalierung ermöglicht die Skalierung des Trainings für die Verarbeitung automatisierter Trainingsdaten. Danach haben wir Dopamin, das in kurzer Zeit erstaunliche Arbeit leistet und ein explosives Training ermöglicht. Es verfügt über eine riesige Textmenge und beginnt, erstaunliche Ergebnisse beim Denken und Verstehen der Sprachen der Welt zu erzielen.

Die aktuelle Richtung besteht darin, Innovationen in der künstlichen Intelligenz zu beschleunigen. Früher war es ein Werkzeug, das Datenwissenschaftler und Ingenieure für maschinelles Lernen verwendeten und dann auf irgendeine Weise den Inhalt der Daten in ihren Produkten erklären oder mit dem sie die Daten diskutieren konnten Entscheidungsträger. Jetzt haben wir dieses Modell der KI, die direkt mit Menschen kommuniziert. Möglicherweise wissen Sie nicht einmal, dass Sie mit dem Modell kommunizieren, da es sich tatsächlich hinter dem Produkt verbirgt. Wir haben also diesen Übergang von denen, die verstanden haben, wie KI funktioniert, zu denen gemacht, die sie verstehen und nutzen können.

Ich gebe Ihnen hier also etwas Kontext: Wenn wir sagen, dass wir eine GPU zum Trainieren des Modells verwenden, ist dies nicht die Art von Gaming-GPU, die wir auf unseren Desktops zum Spielen von Videospielen verwenden.

Jede Maschine verfügt normalerweise über acht GPUs, die alle über ein Motherboard miteinander verbunden und dann in Racks mit jeweils etwa 16 Maschinen gestapelt sind. Alle diese Racks sind nun auch über dedizierte Netzwerkkabel miteinander verbunden, um sicherzustellen, dass Informationen mit extrem hohen Geschwindigkeiten direkt zwischen GPUs übertragen werden können. Daher passen die Informationen nicht in die CPU. Tatsächlich wird es überhaupt nicht auf der CPU verarbeitet. Alle Berechnungen erfolgen auf der GPU. Das ist also ein Supercomputer-Setup. Auch hier handelt es sich nicht um das traditionelle „Hey, das ist eine GPU-Sache“. Ein maßstabsgetreues Modell wie GPU4 benötigte also in etwa drei Monaten 10.000 H100 für das Training, was 64 Millionen US-Dollar kostete. Sie wissen, wie hoch die aktuellen Kosten sind und wie viel es kostet, einige moderne Modelle zu trainieren.

Wenn ich sage, dass Systeme miteinander verbunden sind, beträgt die aktuelle Verbindungsgeschwindigkeit des H100, des Produkts der vorherigen Generation, 900 GB pro Sekunde und die Verbindungsgeschwindigkeit zwischen der internen CPU und dem RAM des Computers beträgt 200 GB pro Sekunde, beide lokal auf dem Computer. Dadurch können Daten schneller von einer GPU an eine andere gesendet werden als Ihr Computer innerhalb desselben Rechenzentrums. Ihr Computer kann grundsätzlich selbstständig innerhalb der Box kommunizieren. Die Verbindungsgeschwindigkeit der neuen Produktgeneration beträgt grundsätzlich 1,8 TB pro Sekunde. Aus Entwicklersicht handelt es sich hierbei nicht um eine einzelne Recheneinheit. Hierbei handelt es sich um Supercomputer, die über enorm viel Speicher und Rechenleistung verfügen und Ihnen extrem umfangreiche Berechnungen ermöglichen.

Das führt nun zu dem Problem, das wir haben, nämlich dass diese großen Unternehmen, die über die Ressourcen und Fähigkeiten verfügen, diese Modelle zu bauen, uns jetzt praktisch diesen Service anbieten. Ich weiß nicht, wie viel Arbeit darin tatsächlich steckt. Rechts? Das ist also ein Beispiel, oder? Sie gehen zu einem vollständig zentralisierten Unternehmensanbieter und geben eine Abfrage ein. Es stellt sich heraus, dass es mehrere Teams gibt, die keine Software-Engineering-Teams sind, sondern die Teams, die entscheiden, wie die Ergebnisse angezeigt werden, oder? Sie haben ein Team, das entscheidet, welche Daten in den Datensatz aufgenommen werden.

Wenn man zum Beispiel nur die Daten aus dem Internet kratzt, ist die Häufigkeit, mit der Barack Obama in Kenia und auf Hawaii geboren wurde, genau gleich oft, weil die Leute gerne über Kontroversen spekulieren. Sie müssen also entscheiden, worauf Sie trainieren möchten. Sie beschließen, einige Informationen herauszufiltern, weil Sie nicht glauben, dass sie wahr sind. Wenn also eine solche Person entschieden hat, welche Daten verwendet werden und welche Daten vorhanden sind, werden diese Entscheidungen weitgehend von der Person beeinflusst, die sie getroffen hat. Sie lassen ein Rechtsteam entscheiden, welche Inhalte, die wir nicht sehen können, urheberrechtlich geschützt und welche illegal sind. Wir haben ein „Ethik-Team“, das entscheidet, was unethisch ist und welche Inhalte wir nicht zeigen sollten.

In gewisser Weise wird also viel gefiltert und manipuliert. Bei diesen Modellen handelt es sich um statistische Modelle. Sie werden aus den Daten ausgewählt. Wenn etwas nicht in den Daten enthalten ist, kennen sie die Antwort nicht. Wenn etwas in den Daten steckt, werden sie es wahrscheinlich als Tatsache betrachten. Wenn Sie nun eine Antwort von einer KI erhalten, kann das besorgniserregend sein. Rechts. Nun sollen Sie Antworten vom Modell erhalten, aber es gibt keine Garantien. Sie wissen nicht, wie die Ergebnisse generiert wurden. Ein Unternehmen könnte das Ergebnis tatsächlich ändern, indem es Ihre spezifische Sitzung an den Meistbietenden verkauft. Stellen Sie sich vor, Sie fragen, welches Auto Sie kaufen sollen, und Toyota entscheidet, dass Toyota dem Unternehmen dafür 10 Cent zahlen sollte.

Selbst wenn Sie diese Modelle als Wissensdatenbanken verwenden, die neutral und repräsentativ für die Daten sein sollen, passieren tatsächlich viele Dinge, die die Ergebnisse auf ganz bestimmte Weise verzerren, bevor Sie die Ergebnisse erhalten. Das wirft schon viele Fragen auf, oder? Es war im Grunde eine Woche voller unterschiedlicher Rechtsstreitigkeiten zwischen großen Unternehmen und den Medien. Bei der SEC versucht derzeit so ziemlich jeder, sich gegenseitig zu verklagen, weil diese Modelle so viel Unsicherheit und Macht erzeugen. Und wenn Sie nach vorne schauen, besteht das Problem darin, dass große Technologieunternehmen immer einen Anreiz haben werden, ihren Umsatz weiter zu steigern, oder? Wenn Sie beispielsweise ein börsennotiertes Unternehmen sind, müssen Sie Einnahmen melden und weiter wachsen.

Um dieses Ziel zu erreichen, nehmen wir an, dass Sie bereits 2 Milliarden Nutzer haben, wenn Sie den Zielmarkt bereits besetzen. Es gibt nicht mehr so viele neue Nutzer im Internet. Sie haben keine andere Wahl, als den durchschnittlichen Umsatz zu maximieren. Das bedeutet, dass Sie mehr Wert aus Benutzern ziehen müssen, die möglicherweise überhaupt keinen Wert haben, oder dass Sie ihr Verhalten ändern müssen. Generative KI ist sehr gut darin, das Nutzerverhalten zu manipulieren und zu verändern, insbesondere wenn man sie in Form allwissender Intelligenz betrachtet. Wir befinden uns also in einer sehr gefährlichen Situation, in der es großen regulatorischen Druck gibt und die Regulierungsbehörden nicht vollständig verstehen, wie diese Technologie funktioniert. Wir unternehmen kaum etwas, um Nutzer vor Manipulationen zu schützen.

Manipulative Inhalte, irreführende Inhalte, auch ohne Werbung. Sie können einfach einen Screenshot von etwas machen, den Titel ändern, es auf Twitter posten und die Leute werden verrückt. Sie haben finanzielle Anreize, die Sie dazu veranlassen, Ihr Einkommen kontinuierlich zu maximieren. Und es ist nicht wirklich so, dass man bei Google Böses tut, oder? Wenn Sie sich für ein Modell entscheiden, führen Sie einen A- oder B-Test durch, um zu sehen, welches Modell mehr Umsatz bringt. Daher maximieren Sie kontinuierlich Ihren Umsatz, indem Sie mehr Wert aus Ihren Benutzern ziehen. Darüber hinaus hatten Benutzer und die Community keinen Einfluss auf den Inhalt des Modells, die verwendeten Daten oder darauf, was es tatsächlich erreichen wollte. Dies ist bei Anwendungsbenutzern der Fall. Dies ist eine Anpassung.

Aus diesem Grund fördern wir weiterhin die Integration von WEB 3 und KI. Web 3 kann ein wichtiges Instrument sein, das uns neue Anreize bietet, und es ist auch eine dezentrale Form, die uns dazu ermutigt, bessere Software und Produkte zu produzieren. Dies ist die allgemeine Richtung der gesamten Web-3-KI-Entwicklung. Um die Details zu verstehen, werde ich zunächst kurz auf die spezifischen Teile eingehen.

Auch hier handelt es sich nicht um ein reines KI-Problem, obwohl Sprachmodelle der Art und Weise, wie Menschen Informationen manipulieren und nutzen, enorme Macht und Umfang verleihen. Was Sie wollen, ist eine verfolgbare, nachvollziehbare Krypto-Reputation, die angezeigt wird, wenn Sie sich verschiedene Inhalte ansehen. Stellen Sie sich also vor, dass Sie einige Community-Knoten haben, die tatsächlich verschlüsselt und auf jeder Seite jeder Website verfügbar sind. Wenn Sie darüber hinausgehen, werden alle diese Vertriebsplattformen gestört, da diese Modelle jetzt fast den gesamten Inhalt lesen und Ihnen personalisierte Zusammenfassungen und personalisierte Ausgaben liefern.

Wir haben also tatsächlich die Möglichkeit, neue kreative Inhalte zu erstellen, und anstatt zu versuchen, sie neu zu erfinden, fügen wir Blockchain und NFTs zu bestehenden Inhalten hinzu. Eine neue Schöpferökonomie rund um Modelltraining und Inferenzzeit, in der die von Menschen erstellten Daten, sei es eine neue Veröffentlichung, ein Foto, YouTube oder von Ihnen erstellte Musik, in ein Netzwerk gelangen, basierend darauf, wie viel sie zum Modelltraining beitragen. Auf dieser Grundlage gibt es weltweit eine gewisse Vergütung, die auf dem Inhalt basiert. Wir wandeln uns also von einer aufsehenerregenden Wirtschaft, die jetzt von Werbenetzwerken angetrieben wird, zu einer Wirtschaft, die tatsächlich innovative und interessante Informationen liefert.

Eine wichtige Sache, die ich erwähnen möchte, ist, dass ein großer Teil der Unsicherheit von Gleitkommaoperationen herrührt. Alle diese Modelle beinhalten viele Gleitkommaoperationen und Multiplikationen. Es handelt sich um unsichere Operationen.

Wenn Sie sie nun auf einer anderen GPU-Architektur multiplizieren. Wenn Sie also einen A100 und einen H100 nehmen, werden die Ergebnisse unterschiedlich sein. Daher werden viele Ansätze, die auf Determinismus basieren, wie etwa Kryptoökonomie und Optimismus, tatsächlich auf viele Schwierigkeiten stoßen und eine Menge Innovation erfordern, um dies zu erreichen. Schließlich gibt es noch eine interessante Idee: Wir haben programmierbare Währungen und programmierbare Assets entwickelt, aber wenn Sie sich vorstellen könnten, dass Sie ihnen diese Intelligenz hinzufügen, könnten Sie intelligente Assets haben, die jetzt nicht durch Code definiert werden, sondern durch die Fähigkeit natürlicher Sprache, um mit der Welt zu interagieren, oder? Hier können wir viele interessante Ertragsoptimierungen durchführen, DeFi, wir können weltweit Handelsstrategien entwickeln.

Die Herausforderung besteht nun darin, dass keines der aktuellen Ereignisse ein robustes Verhalten aufweist. Sie sind nicht darauf trainiert, gegnerisch stark zu sein, da der Zweck des Trainings darin besteht, den nächsten Spielstein vorherzusagen. Daher ist es einfacher, ein Model davon zu überzeugen, Ihnen Ihr ganzes Geld zu geben. Bevor Sie fortfahren, ist es wichtig, dieses Problem tatsächlich anzugehen. Ich überlasse es Ihnen also mit dieser Idee: Wir stehen an einem Scheideweg, oder? Es gibt ein geschlossenes KI-Ökosystem mit extremen Anreizen und Schwungrädern, denn wenn sie ein Produkt auf den Markt bringen, generieren sie viel Umsatz und investieren diesen Umsatz dann in die Entwicklung des Produkts. Das Produkt ist jedoch von Natur aus darauf ausgelegt, den Umsatz des Unternehmens und damit den Mehrwert seiner Nutzer zu maximieren. Oder wir haben diesen offenen, benutzereigenen Ansatz, bei dem der Benutzer die Kontrolle hat.

Diese Modelle arbeiten tatsächlich zu Ihren Gunsten und versuchen, Ihre Gewinne zu maximieren. Sie bieten Ihnen eine Möglichkeit, sich wirklich vor den vielen Gefahren im Internet zu schützen. Deshalb brauchen wir AI x Crypt