Die SIGGRAPH zieht ein vielfältiges, weltweites Publikum von Fachleuten und Akademikern an und bietet einen hautnahen Einblick in die neuesten Technologien und Produktionstechniken für Computergrafik-Bildgestalter. Mit dem Ziel, Experten für CG und VFX zu bleiben und dieses Wissen an unsere Kunden weiterzugeben, und mit einem Auge auf ein T-Shirt zum 50. Geburtstag, machten wir uns auf den Weg nach Downtown LA und zum Los Angeles Convention Center, um uns zu informieren, zu engagieren und zu inspirieren. Was haben wir entdeckt? Generative KI, Super-Computing, USD, USD und noch....mehr USD.
Highlights der DigiPro - JW Marriott Hotel, Innenstadt LA
Zuerst die DigiPro. Die DigiPro geht der SIGGRAPH voraus und ist eine eintägige Veranstaltung, die nur für Fachleute bestimmt ist. Während sich die SIGGRAPH an ein breiteres Publikum aus Forschung, Produktion, Lehrern und Enthusiasten wendet, bringt die DigiPro - nach eigenen Worten - die weltweit führenden Entwickler von digitalen visuellen Effekten, Animationen und interaktiven Erlebnissen zusammen. Das ist kein falsches Versprechen, denn es sind leitende Mitarbeiter aus allen großen Produktionshäusern der Welt anwesend. Die DigiPro 2023 bot eine reichhaltige Mischung aus technischen und kreativen Aktualisierungen im Bereich der virtuellen Produktion und der technologischen Infrastruktur, mit einer Keynote von Marlon West von den Disney Animation Studios, die eine Reise durch die Vergangenheit bot und die technologischen Innovationen im Haus der Maus hervorhob.
Industrial Light & Magic hielt den ersten Vortrag des Vormittags und gab einen detaillierten Einblick in StageCraft, ihre virtuelle Produktionsplattform, wie sie bei The Mandalorian Series 2 und Obi-Wan Kenobi eingesetzt wird. Für jeden, der sich für die Möglichkeiten der VFX zur Gestaltung von Welten interessiert, war dieser Vortrag ein absolutes Vergnügen und machte wirklich Lust darauf, die Filme zu sehen. StageCraft ermöglicht es ILM, virtuelle Kameras, LED-Volumeninhalte, Motion-Capture-Leistung und Farbpipelines in echte Echtzeit-VFX zu integrieren, und die Ergebnisse sind bahnbrechend, sowohl im Hinblick auf die Qualität der Ergebnisse als auch auf die Produktionskosten und die Effizienz. Der Einsatz von Games-Engine-Technologie durch VFX-Studios zur Erzielung von Echtzeit-Ergebnissen ist ein Thema, das unser Interesse weckt, und wir waren gespannt auf ILMs Helios, ihre Rendering-Engine für Echtzeit-Umgebungen, und insbesondere darauf, wie ILM damit außergewöhnliche Beleuchtungs- und Farbarbeiten für Obi-Wan Kenobi realisieren konnte. Die Umgebungen, die uns gezeigt wurden, waren malerisch, üppig und absolut immersiv. Wunderschöne Arbeit und ein faszinierender Vortrag von einem der besten VFX-Unternehmen in der Geschichte des Mediums.
Die Arbeit von Weta FX an Avatar: The Way of Water hat sowohl auf der DigiPro als auch auf der SIGGRAPH große Aufmerksamkeit erregt - was vielleicht keine Überraschung ist. Dies ist eine Gemeinschaft, die in erster Linie an herausragenden technischen Errungenschaften interessiert ist, und nicht an den allgemeinen Vorzügen eines Unterhaltungsstücks. Was auch immer man von den blauen Kreaturen des Planeten Pandora halten mag (und meine Gefühle sind eher lauwarm), die Arbeit von Weta an diesem Film ist ganz einfach außergewöhnlich. Kurz vor der Morgenpause auf der DigiPro am Samstag sprach Weta's Senior VFX Supervisor, Joe Letteri betrat die Bühne, um die Höhepunkte der technischen Errungenschaften des Studios bei Jim Camerons Avatar-Fortsetzung zu erläutern. Weta hat mit seiner Arbeit an dieser Produktion eine Reihe von Quantensprüngen erreicht, insbesondere die Entwicklung eines neuen Gesichtsanimationssystems und die Fähigkeit, die unendlich komplexen Eigenschaften von Wasser in einem nie zuvor erreichten Ausmaß zu simulieren. Besonders faszinierend war die Rolle des maschinellen Lernens bei diesen Effekten; das Weta-Team für Fluideffekte fütterte ein neuronales Netzwerk, das die einzigartigen visuellen Eigenschaften von Wasser erlernt hatte, mit den anfänglichen Lösungen aus den volumetrischen Daten am Set und konnte so - mit weiteren Anpassungen für Beleuchtung und Textur - äußerst realistische Ergebnisse erzielen, und das bei einer Show, in der fast jede Szene im Wasser spielt. Insgesamt konnte man über den Erfindungsgeist und den Einfallsreichtum von Weta nur staunen. Als Letteri das Projekt in Angriff nahm, schien es sein Manifest zu sein, neue Werkzeuge und Praktiken zu entwickeln, wenn die bestehenden in irgendeiner Weise fehlerhaft waren, und die Ergebnisse sprechen für sich.
Marlon West ist Leiter der Effekte und VFX-Supervisor bei den Walt Disney Animation Studios. Er war der Hauptredner des Tages und nahm das hundertjährige Bestehen des Studios in diesem Jahr zum Anlass, um über den Beitrag nachzudenken, den die Technologie im Laufe der Geschichte des Studios zur Animation geleistet hat. Die manchmal vertretene Ansicht, dass digitale Werkzeuge einfach die traditionellen Techniken verdrängen, ist irreführend, wie West betonte, der den innovativen Einsatz digitaler Werkzeuge bei Tarzan, Pocahontas und Die Schöne und das Biest aufzeigte. Wests Karriere ist relativ ungewöhnlich, da er erfolgreich von handgezeichneten Animationen zu CG übergegangen ist. Er kam 1993 zum Studio und arbeitete an Der König der Löwen, wo er an der berühmten Stampede-Sequenz mitwirkte, einem frühen Beispiel dafür, wie CG-Techniken die traditionelle Animation bereichern. Er sprach wortgewandt und einfühlsam über den manchmal schmerzhaften Übergang zwischen klassischer und 3D-Animation, mit dem das Studio und einzelne Animatoren in den späten 90er Jahren konfrontiert waren, als die CG-Animation die klassische Animation überholte und zur dominierenden Kunstform wurde. Wests Vortrag bildete einen nützlichen Kontrapunkt zu den anderen, eher technischen Vorträgen des Tages und bewies vielleicht ungewollt, dass je besser und ausgefeilter die Werkzeuge sind, desto mehr begünstigen sie den Künstler und nicht den Techniker.
Weta - 'Wie viel Cloud ist zu viel Cloud?
Dieser Vortrag ist eher etwas für Systemadministratoren als für Künstler, denn er gibt einen tiefen Einblick in das Ausmaß der Rendering-Herausforderungen bei Avatar: Der Weg des Wassers. Das Systemteam von Weta gab einen Einblick in den Einsatz einer hybriden Renderfarm, bei der die vor Ort installierten Dienstprogramme notwendigerweise durch den Einsatz einer AWS-Spot-Flotte in drei verschiedenen geografischen AWS-Regionen erweitert wurden. Die gigantischen Datensätze und die globale Verteilung erforderten eine kontinuierliche, leistungsstarke Speicherung und die Entwicklung eines kundenspezifischen NFS-Reexport-Caches, um zusätzlichen Latenzzeiten zwischen den Regionen entgegenzuwirken. Die einzelnen Rendering-Knoten - etwa achttausend an der Zahl - verfügten über 128 Kerne und 1 TB RAM mit einem internen 100-Gb-Netzwerk! Man kann sich nur wundern, wie hoch die Rendering-Rechnung bei dieser Show war!
SIGGRAPH Highlights
Montag Keynote - Dr. Dario Gil, Senior Vice President und Direktor von IBM Research 'What's Next in Quantum Computing'
Für die Uneingeweihten (zu denen auch ich gehörte, bevor ich an dieser Sitzung teilnahm) sind Quantencomputer....well, sie sind anders, und sie haben das Potenzial, komplexe Probleme anders und vielleicht erfolgreicher anzugehen als herkömmliche Computer - oder sogar „klassische Computer“. Mit diesem Begriff unterschied Dr. Dario Gill zwischen den heutigen Computern, die Informationen mit Hilfe von Bits und Bytes - oder Nullen und Einsen, wenn Sie so wollen - verarbeiten, und den neuen Supercomputern, deren rechnerische Intelligenz durch die Verwendung von Qubits erreicht wird. Qubits basieren auf der Quantenmechanik, d. h. im Gegensatz zum Bit eines klassischen Computers, das nur in zwei Zuständen existieren kann, kann ein Qubit in einer Überlagerung seiner beiden Grundzustände existieren. Quantencomputer bestehen auch nicht aus der gleichen Hardware wie klassische Computer, sondern aus großen Quantenprozessoren, die in unterkühlten „Kronleuchtern“ untergebracht sind, die sich in einer Mainframe-Struktur (um einen antediluvianischen Begriff zu verwenden) befinden.
Was hat das nun mit der SIGGRAPH zu tun und warum ist es wichtig? Obwohl sich die SIGGRAPH speziell mit der Nutzung von Computern zur Bilderzeugung befasst - um es einfach auszudrücken - hat die Konferenz im Kern einen Pioniergeist, der aus den Tagen von Jim Blinn und den frühen Grafikabenteurern stammt. Es wird davon ausgegangen, dass paradigmatische Sprünge in der Computertechnik letztlich den CG-Praktikern zugute kommen, und so finden Themen wie diese und generative KI auf der SIGGRAPH eine natürliche Heimat. Die aufregenden Möglichkeiten von Quantencomputern bestehen darin, dass sie - wenn sie mit großen Sprachmodellen (LLMs), im Grunde mit maschinellem Lernen, verbunden werden - potenziell in der Lage sind, unglaublich komplexe Probleme viel schneller zu lösen als klassische Computer - wenn klassische Computer sie überhaupt beantworten können. Die Fähigkeit von Quantencomputern zur multivariaten Verarbeitung macht sie geschickter bei der Interpretation der enormen Datensätze, die dem maschinellen Lernen und der KI innewohnen, und ermöglicht es ihnen, komplexe Optimierungs- und Logistikaufgaben in großem Maßstab zu lösen - zum Beispiel Routing und Verkehrssteuerung. Am aufregenderen Ende des Spektrums steht jedoch ihr Potenzial zur Lösung der großen menschlichen Krisen in der Arzneimittel- und Medizinforschung und letztlich des Klimawandels. Fesselnder Stoff, und es sollte gesagt werden, dass Dr. Dario Gil eine der seltenen Rassen war, ein begnadeter Technologe und Redner, der ein potenziell verwirrendes Thema fesselnd und (relativ) einfach zu verfolgen machte.
Produktionssitzung: Spiel mit dem Feuer - Pixar Ember & Wade - Pixars Elemental
Elemental war ein weiteres Unterhaltungsprogramm, das auf der SIGGRAPH immer wieder an verschiedenen Stellen auftauchte. In dieser speziellen Sitzung wurde die kreative Entwicklung der beiden Hauptfiguren Ember und Wade vorgestellt, wobei erstere vollständig aus Feuer und letztere aus Wasser besteht. Elemental ist allegorisch und wurde von den Kindheitserfahrungen des Regisseurs Peter Sohn inspiriert, der als Teil einer koreanischen Einwandererfamilie in der Bronx, New York City, aufwuchs. Die technischen Errungenschaften bei der Verwirklichung von Charakteren, die vollständig aus der Dynamik der Elemente bestehen, waren beeindruckend und erforderten von Pixar Innovationen, um neue Effekte zu erzielen - was jedoch wirklich beeindruckte und bei Pixar oft der Fall ist, ist die Ausdehnung und Strenge des kreativen Prozesses, die Erforschung verschiedener Ideen und Konzepte. Das Charakter- und VFX-Team arbeitete an endlosen Iterationen von Embers Aussehen und Gefühl, wobei es ständig mit den Herausforderungen einer Figur spielte, die Sohn als „aus Feuer gemacht, aber nicht aus Feuer“ beschrieb, und landete schließlich bei einer cleveren Kombination aus illustrativen und volumetrischen Simulationen, um einen realistischen, aber emotional ansprechenden Charakter zu schaffen.Auch bei Wade konnten wir einige frühe Arbeiten zur Entwicklung des Aussehens sehen, wobei verschiedene flüssige Simulationen mit stilisierten Charakterelementen kombiniert wurden, um die richtige Balance zu finden. Es ist immer wieder faszinierend, den Prozess mitzuerleben, in dem Ideen geschoben und gezogen werden, wobei gelegentlich starke visuelle Ideen zugunsten von Ideen, die dem Charakter und der Erzählung besser dienen, beiseite geschoben werden. An anderer Stelle auf der SIGGRAPH zeigte Pixar, wie eine OpenUSD-Pipeline die Produktion von Elemental ermöglichte und das Studio in die Lage versetzte, komplexere Aufnahmen als je zuvor zu bewältigen und das Rendering-Aufkommen zu bewältigen - eines von vielen Beispielen für die allgegenwärtige Präsenz von USD während der Woche.
SIGGRAPH Dienstag Keynote - Nvidia Jensen Huang
Natürlich war dies die wichtigste Keynote der SIGGRAPH. Als einer von einer Handvoll globaler Tech-CEO-Rockstars konnte Jensen Huangs Anwesenheit auf der SIGGRAPH nicht übersehen werden, und Nvidia war ernsthaft bemüht, dies zu verhindern, indem ein großes Team von schwarz gekleideten weiblichen Vertretern in den Tagen vor seinem Auftritt mit Plakaten mit dem Zeitstempel seiner bevorstehenden Rede durch die Hallen lief. Huang zog wahrscheinlich das größte Publikum der Messe an, und so strömten wir alle - mit Kaffee versorgt - in den größten der Hauptsäle im LA Convention Center, wo die Konferenz um 8 Uhr morgens begann (es scheint, dass man, wenn man zu den 100 einflussreichsten Menschen des Time Magazine gehört, die Konferenzbeginnzeiten um eine Stunde vorverlegen kann).
Nvidia-Präsentationen auf großen Tech-Messen sind natürlich mit einer gewissen Vorfreude verbunden: Welche neuen Produkte werden angekündigt und welche neuen Technologien werden vorgestellt? Obwohl es zweifellos spannend war, eine der Keynotes von Jensen persönlich zu besuchen, handelte es sich bei den vorgestellten Technologien eher um Umgestaltungen und Erweiterungen bestehender Produkte als um etwas definitiv Neues. Allerdings gab Nvidia, noch während Huang auf der Bühne stand, ein für unsere Branche äußerst relevantes Update bekannt: die Veröffentlichung der RTX4000, RTX4500 und RTX5000 auf der Ada Lovelace-Architektur, die alle in den kommenden Monaten zu Workstation-Standards für Escape und unsere Kunden werden sollen. Die Präsentation war klar in zwei Teile gegliedert - die erste Hälfte betraf die Veröffentlichung des Grace Hopper GH200 Superchips für GPU-Supercomputing, die zweite Hälfte konzentrierte sich ausschließlich auf OpenUSD, Omniverse und generative KI.
Der GH200-Superchip kombiniert Nvidias Grace-CPU - einen ARM-Rechenzentrumschip mit 72 Kernen, der zu den besten seiner Klasse gehört - und den Hopper H100 Tensor-Core-GPU in einer Doppelkonfiguration, um ein kohärentes CPU- und GPU-Speichermodell für beschleunigte KI- und HPC-Anwendungen (High Performance Computing) bereitzustellen. Die GH200-Superchips können mit Nvidias NVLink aggregiert und in einer Reihe von modularen Konfigurationen eingesetzt werden, um den riesigen Rechenbedarf für große Sprachmodelle und generative KI im Rechenzentrum zu decken. Die Botschaft lautete: Leistungsfähigkeit und Kosteneffizienz, wobei die modularen, konfigurierbaren GH200-Systeme so skaliert werden, dass sie die Anforderungen der aggressivsten HPC-Workloads der Welt in einem konsolidierteren, stromsparenderen Rahmen erfüllen.
Spannend und wirklich befähigend für die äußeren Bereiche von HPC, aber nicht wirklich direkt relevant für die täglichen Aufgaben der normalen CG-Künstler - nicht so Omniverse, dem Huang seine Aufmerksamkeit während der zweiten Phase seiner Rede widmete.
Omniverse ist Nvidias proprietäre Version des OpenUSD-Formats - oder, um den vollen Namen zu verwenden, Open Universal Scene Description. OpenUSD, das in den PIxar Animations Studios entwickelt wurde, ist ein robustes Dateiformat, das eine gemeinsame Sprache für den Austausch von 3D-Szenendaten zwischen verschiedenen Anwendungen bereitstellt und es den Künstlern ermöglicht, gleichzeitig mit denselben Assets und Szenen zusammenzuarbeiten. Kurz gesagt, geht es bei OpenUSD um die Optimierung von Arbeitsabläufen, und die potenziellen Auswirkungen auf die CG-Kreativität sind enorm. Um Huang direkt zu zitieren: „OpenUSD ist ein sehr....großes....Geschäft“. Das ist es in der Tat, und in Verbindung mit maschinellem Lernen oder „generativer KI“, wie Huang es nannte, möglicherweise sogar noch größer. Die Kombination dieser Tools ermöglicht die Erstellung digitaler Zwillinge, wie z. B. Fabriken, Lagerhäuser und sogar Eisenbahnnetze. Diese haben das Potenzial, den Betrieb ihrer realen Gegenstücke digital zu ermöglichen, wofür Omniverse in Echtzeit arbeiten muss. Nvidia versucht, die Leistung von OpenUSD (in Form von Omniverse) und generativer KI zu nutzen und hat seine DGX Cloud über die Hugging Face-Plattform und seine eigene KI-Workbench-Plattform für Entwickler und Kreative verfügbar gemacht. Das Ziel ist die Feinabstimmung von LLMs und die Beschleunigung der Einführung von generativer KI - und der Nutzung von Nvidia L40 GPUs - in einer schwindelerregenden Anzahl von geschäftsspezifischen Anwendungsworkloads.
An anderer Stelle der SIGGRAPH veranstaltete Nvidia verschiedene Breakout-Sessions, in denen die Vorteile von Omniverse und USD für Visualisierungs- und Architektur-Workflows demonstriert wurden. Ob in einem Nvidia-Wrapper oder als Open Source, USD war auf der SIGGRAPH allgegenwärtig und hat eindeutig die Fähigkeit, die Art und Weise, wie komplexe Computergrafiken erstellt werden, neu zu schreiben. Was jedoch nicht mit dem gleichen Enthusiasmus besprochen wird, sind die Auswirkungen, die USD auf die zugrunde liegende IT-Infrastruktur haben wird; Speicher- und Netzwerklösungen werden sich weiterentwickeln müssen, um den Belastungen, die USD mit sich bringen wird, gerecht zu werden.
Insgesamt war es ein Münzwurf, ob OpenUSD oder maschinelles Lernen (generative KI, LLMs - die Terminologie entwickelt sich immer noch weiter) in der Fülle der Präsentationen und Diskussionen, die wir auf der DigiPro und SIGGRAPH besucht haben, vorherrschend war. Beide tauchten immer wieder auf, und es besteht kein Zweifel, dass sie in den nächsten Jahren einen transformativen Einfluss auf die Erstellung von Computergrafiken in allen Branchen haben werden.
Produktionssitzung: Sony Imageworks - Spiderman: Across the Spider-Verse
Across the Spider-Verse ist ein visuell aufregender und einfallsreicher Film, in dem interessante Stile aufeinanderprallen. Er lässt sich nicht ohne Weiteres als 2D- oder 3D-Film einordnen, denn er enthält Elemente aus beiden Bereichen sowie handgezeichnete, malerische, futuristische und punkige visuelle Referenzen, um die verschiedenen Welten innerhalb des Spider-Verse zum Leben zu erwecken. Die Teams für Produktionsdesign und Charaktere stellten auf der SIGGRAPH die Werkzeuge und Techniken vor, die sie eingesetzt haben, um einen Film zu produzieren, der visuell wirklich fesselnd ist. Die Charaktere im Film sind in verschiedenen Welten angesiedelt, von denen jede ihren eigenen, einzigartigen Look hat - Mumbattan„ zum Beispiel orientiert sich visuell an den indischen Indrajal“-Comics der 60er und 70er Jahre, von denen viele einen sehr zweidimensionalen oder gedruckten“ Look erfordern, um in einer 3D-Umgebung zu funktionieren. Die leitenden Künstler demonstrierten, wie man die eher illustrativen Elemente des Films elegant mit den Anforderungen von 3D verbindet. Ein Teil des Films spielt in der „Erde 65“, die einen ausdrucksstarken, malerischen Look erforderte. Das Team von Sony Imageworks integrierte die Malsoftware Rebelle in seine Pipeline und nutzte maschinelles Lernen, um ein Tool zu entwickeln, das einen animierten Aquarelleffekt erzeugt. Was die Nutzung von Kreativität und Technologie angeht, um etwas Einzigartiges zu schaffen, war dies eine meiner Lieblingssitzungen und macht die SIGGRAPH zu einem einzigartigen Erlebnis.
SIGGRAPH - Birds of a Feather Sessions
VFX-Referenzplattform - Die VFX-Referenzplattform ist eine Reihe von Tool- und Bibliotheksversionen, die als gemeinsame Zielplattform für die Entwicklung von Software für die VFX-Industrie gedacht sind. Die Referenzplattform wird jährlich von einer Gruppe von Softwareanbietern in Zusammenarbeit mit dem Technologieausschuss der Visual Effects Society aktualisiert. Ihre Hauptziele sind;
- Abstimmung der Softwareanbieter zur Minimierung von Inkompatibilitäten zwischen Industriestandard-Tools zur Erstellung digitaler Inhalte
- Verringerung der Komplexität und Erleichterung des Supports für Linux-basierte integrierte Pipelines
- Transparenz; Schaffung einer Plattform und eines Prozesses, der im gemeinsamen Interesse von Anbietern und Studios liegt
Die VFX-Plattform-Sitzung wurde von Escape-Freund Nick Cannon, CTO der Walt Disney Animation Studios, und ILM-CTO Francois Chardavoine geleitet. Die diesjährige SIGGRAPH-Sitzung war ein großartiger Überblick über die Errungenschaften des letzten Jahres und die Pläne für 2024. Mit dem kürzlichen Rückzug von Centos durch Redhat war die Auswahl an Linux-Distributionen ein zentrales Thema der Diskussion. Sowohl Rocky als auch Alma wurden als Ersatz vorgestellt, und es war interessant, dass, obwohl Rocky als der führende Kandidat gilt, Alma bei den Teilnehmern der Sitzung eine Akzeptanzrate von 40 % erreicht hatte. Weitere Diskussionen darüber, ob OpenUSD oder ML (maschinelles Lernen) als versionskontrolliert festgelegt werden könnten, wurden mit der Begründung abgelehnt, dass diese speziellen Tools derzeit sehr schnelllebig sind.
Rendering at Scale - Was bei der SIGGRAPH und insbesondere bei den BoF-Sitzungen oft interessant ist, ist die Tatsache, dass einige der technischen Herausforderungen unabhängig vom Standort gleich sind. Bei dieser Sitzung war es großartig zu sehen, wie alle teilnehmenden Studios die Vor- und Nachteile der verschiedenen Ansätze für das Rendering in großem Maßstab diskutierten. Die Diskussion umfasste eine Vielzahl von Themen, darunter die Unterschiede zwischen Workstation-GPUs und Cloud-GPUs, die Auswirkungen von USD-Workflows auf das Rendering und die Anwendung von maschinellem Lernen.
Escape Technology hatte eine großartige Erfahrung auf der SIGGRAPH 2023 und wir möchten uns bei allen Organisatoren, Teilnehmern und Freiwilligen bedanken, die die Messe zu dem machen, was sie ist. Sie bleibt an der Spitze des Lernens und der Erforschung von Computergrafiktechniken in den Bereichen Unterhaltung und Visualisierung, und wir hoffen, dass wir an der SIGGRAPH 2024 in Denver teilnehmen können!
