2 Stunden mit Google Tango Alaun Christian von Kleist

Es ist wieder ein heißer Tag in Gainesville, Florida, als PJ und ich Volta Coffee and Tea betreten. In der Ecke steht ein freundliches, bescheidenes Genie namens Christian von Kleist.


Ich hatte zuvor die Gelegenheit, Christian zu treffen, hatte aber nie die Gelegenheit, mich in der Tiefe zu unterhalten, die sich in den zwei Stunden nach unserem Händedruck in Volta abspielte. Ich war nicht auf den Ansturm technischer Fähigkeiten, Organisation und allgemeiner Beherrschung der Technologie vorbereitet, den Christian bald enthüllen sollte. Kein Wunder, dass Unternehmen wie Google (Project Tango), die NASA und Autodesk sich für eine Partnerschaft mit Paracosm entschieden haben, nachdem sie ihre frühe Entwicklung und ihr Versprechen gesehen haben.

Christian ist CTO-Parakosmonaut und Mitbegründer von Paracosm.io (Definition des Wortes Parakosmos). Im folgenden Beitrag werde ich versuchen, Christen und Parakosmos etwas Gerechtigkeit zu verschaffen und alles zu paraphrasieren, was wir besprochen haben.

Das Leitbild von Paracosm.io

Im Mittelpunkt von Paracosm steht der Aufbau einer billigen, zuverlässigen Plattform für die 3D-Modellierung der Welt mit einem Kinect-Sensor oder einem Telefon.

„Mit Paracosm können Sie Ihr Telefon (oder eine spezielle 2,5-D-Kamera) aus der Tasche ziehen, es auf einen Raum oder Raum richten, in dem Sie sich befinden, und dann ein genaues 3D-Modell erstellen, in dem Sie wie in einem Videospiel herumlaufen können oder verwenden Sie, um genaue Messungen vorzunehmen “, sagte Christian.

Dank ihrer Kerntechnologie kann jeder praktisch jeden Ort selbst scannen, die Daten hochladen und im Gegenzug ein genaues, maßstabsgetreues 3D-Modell des Raums erhalten.

Paracosms Zusammenarbeit mit Google: Project Tango

Anwendungen der Paracosm-Technologie

Die Liste möglicher Anwendungen für diese Technologie scheint nahezu endlos zu sein, und Branchen (nicht nur Unternehmen) wie die Film-, Spiele-, Bau- und Forensikbranche klopfen an die Tür von Paracosm, um sie in die Hände zu bekommen.

„Die Anwendungen sind so zahlreich, dass wir unmöglich alle Anwendungsfälle entwickeln können. Unser Hauptaugenmerk liegt derzeit darauf, eine Branche zu erfassen, einige Anwendungsfälle herauszubringen und schließlich auch andere Branchen anzugehen.“ Sagte Christian.

„Eine weitere großartige Idee ist für die Filmindustrie. Anscheinend ist es wirklich attraktiv, ein Set schnell mit relativ geringer Qualität scannen zu können, aber dennoch repräsentativ für den Raum, und eine grobe Vorschau darauf zu erhalten, wie sich die Schauspieler im Raum bewegen und gute Kamerawinkel einstellen ,” er sagte uns. “Dies sind die seltsamen Nischenideen, an die wir niemals denken würden, aber die Leute sind wirklich begeistert davon.”

Die Kosteneinsparungen gegenüber der Verwendung traditioneller 3D-Künstler sind beträchtlich. Die genaue Modellierung eines realen Raums ist für jeden 3D-Künstler eine sehr schwierige und zeitaufwändige Aufgabe. Was Paracosm in zehn Minuten tun kann, ist Wochenarbeit für einen Menschen.

Darüber hinaus möchte Paracosm keine 3D-Künstler ersetzen. Sie sind nur in der Lage, diesen Arbeitern eine Basis zu geben, von der aus sie mit echten Maßen, Texturen und Farben beginnen können, die sie mit den Details ausfüllen können.

Die Herausforderungen bei der Herstellung von 3D-Modellen: Billige Kameras & Große Räume

Christian beschrieb weiter, wie schwierig es ist, mit Handheld-Geräten 3D-Modelle zu erstellen.

“Diese Kameras sind unglaublich laut”, erklärte er. “Sie können den rauen Abstand zur Oberfläche erkennen, aber es gibt eine Menge Magie und Schwierigkeiten, die wir ausarbeiten mussten, um diese Daten beim Scannen eines sehr großen Raums zu verwenden.”

“Wir sind auf der Ebene der Kleinigkeiten und des Spielens mit den Fahrern, bis hin zum Erkennen, was eine Wand ist, was ein Boden ist, und zum Aufnehmen aller 2D-Fotos und Zusammenfügen.”

Herausforderungen bei der Verwendung einer billigen Kamera zur Erstellung von 3D-Modellen großer Räume

“Wir versuchen, die Abstraktionsschichten so sauber wie möglich zu unterteilen, damit wir auf jeder Ebene wirklich genau definierte Ein- und Ausgänge haben”, sagte Christian.

Dadurch kann Paracosm Softwarekomponenten austauschen und die Ergebnisse wissenschaftlich auswerten. Sie liefern neue Versionen ihrer Software aus – nicht nur basierend auf der Entscheidung des Menschen, ob eine kleine Anzahl von Beobachtungen besser aussieht, sondern auf automatisierten Tests anhand mehrerer realer Szenen -, um zu entscheiden, ob sich die Software verbessert hat.

Dieser wissenschaftliche Ansatz hat es Paracosm ermöglicht, den Rest der Branche stetig zu übertreffen.

Der Technologie-Stack

Der Technologie-Stack von Paracosm ist in drei Hauptteile unterteilt.

  1. Die Hardware: Dies umfasst die Kamera und das Microsoft Surface-Tablet.
  2. Linode-Instanzen: Dies umfasst die Hauptwebsite, die Kundenlobby und die Redis-Jobwarteschlange.
  3. AWS: Die Hardcore-Verarbeitungseinheiten befinden sich in AWS und verwenden unter anderem S3, EC2, IAM.

Paracosm Technology Stack - Übersicht

Die Hardware

Die HardwareDas Starter-Kit von Paracosm enthält seit kurzem eine 2,5-D-Kamera (RGB + D), ein Microsoft Surface-Tablet, eine Hartschalenhülle und zwei Monate Zugriff auf die Cloud-Computing-Plattform für 2.999 US-Dollar.

Das Haupt-Engineering auf der Hardwareseite des Projekts schien eine Menge Treiberarbeit zu sein, um die Leistung zu erzielen, die sie für die Verarbeitung der Dinge benötigten.

Während unseres Besuchs bei Christian haben wir uns nicht zu sehr auf die Hardwareaspekte des Projekts konzentriert, da ich viel zu neugierig auf deren Backend- und Verarbeitungsimplementierung war.

Die Kundenlobby & Job Queue (Linode)

Sobald ein 2.5D-Video aufgenommen wurde, haben Benutzer eine Kundenlobby, die auf einer Linode-Instanz ausgeführt wird, um eine Schnittstelle zu ihrer Arbeit herzustellen und diese hochzuladen. Diese Linode-Instanz überträgt die Dateien an Amazon S3 und erstellt die erforderlichen Jobs, die ausgeführt werden müssen, um das Video in ein echtes 3D-Modell umzuwandeln.

Der Jobstapel wird in Redis gespeichert, das auch unter Linux ausgeführt wird. Eine der schönen Designentscheidungen, die Paracosm getroffen hat, war die Parallelisierung des gesamten Prozesses. Mit ihrem Algorithmus muss das Video nicht von Anfang bis Ende verarbeitet werden. Stattdessen wird es ähnlich wie Bit-Torrent in Blöcken verarbeitet, die auf separaten Prozessen ausgeführt werden können.

Dadurch kann Paracosm Videos viel schneller als die Konkurrenz verarbeiten und einfach skalieren. Für eine höhere Arbeitsbelastung und / oder schnellere Ergebnisse müssen sie lediglich zusätzliche Mitarbeiter in ihrer AWS Worker Cloud hochfahren.

Die EC2-Arbeiter & S3 Speicher

Ah, jetzt sind wir da, wo die Hardcore-Magie passiert.

Laichen von EC2-Arbeitern

Paracosm nutzt die AWS-API in großem Umfang, um das Hochfahren neuer EC2-Instanzen (mit GPU-Unterstützung) bei Bedarf zu koordinieren, um die Nachfrage zu befriedigen. Sie nennen jede neue EC2-Instanz einen “Worker”.

Wenn diese Mitarbeiter in die Welt kommen, versuchen sie sofort, eine Verbindung zur Redis-Jobwarteschlange herzustellen und zu prüfen, ob noch Arbeit zu erledigen ist. Wenn dies der Fall ist, markieren sie die Arbeit als gestartet und verarbeiten sie bis zum Abschluss der Arbeit. Speichern Sie sie gegebenenfalls in S3 und markieren Sie sie dann als erledigt.

Da Redis-Transaktionen atomar sind, wird garantiert, dass kein Job versehentlich zweimal gestartet wird.

“Wir haben als Unternehmen viele intelligente Komponenten genutzt”, sagte Christian am Beispiel von Redis. “Wir mussten nicht so viel schreiben, weil Redis existiert.”

Die Algorithmen, die erforderlich sind, um die Kinect-Ausgabe in ein vollständiges 3D-Modell umzuwandeln, sind erwartungsgemäß rechenintensiv und selbst auf dem neuesten Stand der Forschung der größten Unternehmen.

“Unsere Algorithmen sind CUDA und C ++, die mit Ruby zusammengeklebt sind, und jeder Mitarbeiter hat die Möglichkeit, Daten von den frühen Komponenten bis zur endgültigen Ausgabe zu verarbeiten”, sagte Christian.

Lager & Sicherheit

Das Team von Paracosm ist begeistert davon, alle erfassten Daten zu speichern. Auf diese Weise können sie ihre Testdatensätze kontinuierlich verbessern und ihren Kunden die Möglichkeit bieten, ihre 3D-Modelle mit jeder verbesserten Version ihrer Software neu zu erstellen.

Wie zu erwarten ist, werden diese Videodaten und ihre Zwischenschritte sehr schnell zu sehr großen Speicherbelastungen. Derzeit verwendet das Team S3, um alle diese Langzeitdaten zusammen mit den endgültigen 3D-Modellen selbst zu speichern.

In Zukunft planen Christian und sein Team, Glacier zum Speichern der Langzeitdaten zu verwenden, wobei die kurzfristigen 3D-Modellergebnisse auf S3 gespeichert werden.

“Eines der großartigen Dinge an S3 ist, dass es von Natur aus sowohl zeitkritische Zugriffskontrolle als auch CDN-Dateien für unsere Benutzer unterstützt”, sagte Christian.

Paracosm führt alles in seiner eigenen VPC mit strenger Zugriffskontrolle über IAM aus. Die Mitarbeiter erhalten nur den Zugriff, den sie benötigen, und ihr AWS-System ist nicht über das Internet zugänglich.

Wir haben mehr über ihre Sicherheitsimplementierungen gesprochen und darüber, wie unglaublich vorsichtig sie mit den Daten ihrer Benutzer umgehen, aber es ist wahrscheinlich am besten, wenn ich diesen Teil weglasse.

Verpacken

Ich habe mein Bestes versucht, um das Produkt von Paracosm, seinen durchdachten Hardware- und Software-Stack und seine brillanten Ingenieure zu beschreiben, aber ich habe das Gefühl, kaum an der Oberfläche gekratzt zu haben.

Laut Christian sehen Sie, sobald Sie ihr Büro betreten, nichts als lächelnde Gesichter und Menschen, die leidenschaftlich sind und an das glauben, was sie tun. Für mich könnte ich nicht erfreuter sein, einen Blick auf etwas anderes zu erhaschen.

In Christians Fall können Sie seine Leidenschaft spüren, neue Herausforderungen zu suchen, neue Dinge zu lernen und das Risiko einzugehen, an der Spitze einer Technologie zu stehen. Es ist inspirierend, eine solche Fahrt zu machen, wenn auch nur für ein paar Stunden.

“Es ist egal, wohin du gehst oder was du tust, solange du es liebst.” – Christian von Kleist

Christian präsentiert auf der UF TEDxUF – Ein Überblick über die Technologie von Paracosm:

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me