Sie haben schon mal davon gelesen oder ausprobiert, wie aus Fotos automatisch 3D-Modelle erzeugt werden können? Fotos sind durch Smartphones zur Massenware geworden, die in allen möglichen Lebenslagen entstehen. Könnten Sie auf diese Art und Weise dann nicht sehr einfach auch Ausrüstung in einer Fabrik in 3D erfassen? Und was ist überhaupt der Unterschied zwischen Photogrammetrie und Fotomodellierung?
Was ist Photogrammetrie?
Photogrammetrie bedeutet berührungsloses Messen und Auswerten zur Bestimmung von Form und Lage eines Objektes. Einfacher ausgedrückt, ich fotografiere und erzeuge aus meinen Bildern ein digitales 3D-Modell meines gewählten Motivs. Der Ablauf für eine automatische Rückführung sieht dann in der Regel so aus:
1. Aufnahme von nahtlosen Fotoserien um ein Zielobjekt
2. Übergabe und Einrichtung der Fotoserie in einer Photogrammetrie-Software
3. Automatische Rückführung eines 3D-Modells (Punkte, Flächen)
4. Beschneidung auf relevanten Objektbereich
5. Optimierung bzw. Neumodellierung auf Basis der erzeugten 3D-Referenz
Was muss ich bei der Photogrammetrie beachten?
Es scheint auf den ersten Blick recht überschaubar und einfach, entpuppt sich aber schon bei Schritt 1 als praktisch schwierig in der Fabrikplanung. Denn bei einer automatischen Rückführung über Bildanalyse, sind die Fotos der alles bestimmende Faktor für das Ergebnis. Folgend mögliche Fehlerquellen:
- Zu starke Perspektivänderungen bei Vorgänger/Nachfolger in einer Fotoserie
- Variable Belichtung einer Kamera
- Unschärfe durch schlechten Fokus oder Verwackeln der Kamera
- Lichtschwaches Objektiv führt zu Bildrauschen
- Unterbrochene Bildserie durch schlechte Einzelaufnahmen
- Teilweise Verdeckung des Motivs durch bewegliche Objekte oder Hindernisse
- Zu stark reflektierende Oberflächen, nicht blickwinkelstabil
- Zu hohe Packungsdichte in der Fabrik, keine Freistellungsmöglichkeit Zielobjekt
LiDAR (light detection and ranging) im Vergleich dazu, welches auch terrestrische Laser Scanner nutzen ermöglicht genaue Punktmessungen mit Abständen zwischen Sensor und Zielobjekt. Fotos oder Pixelbilder liefern diese Information nicht.
Praxis meets Photogrammetrie
Gerade in einer Fabrik ist es nicht so einfach eine gute Datengrundlage für die Photogrammetrie zu schaffen. Kennen Sie die Beispiele wo eine kleine Porzellanfigur auf einem elektrisch angetriebenen Drehteller steht? Dazu wird unter Studiobedingungen eine Profikamera mit automatischer Serienaufnahme perfekt auf das Motiv ausgerichtet. Diese Datengrundlage liebt die Software. Kaum Verschattungen, eine nahtlose Fotoserie in sehr kleinen Winkelschritten um das Motiv, konstante Belichtung und hohe Bildschärfe, siehe folgendes Bild:
Das entspricht aber leider nicht der Praxis in der Fabrikplanung. Dort kann es schon schwierig sein eine größere Anlage von drei oder mehr Metern Höhe immer im Sichtfeld der Kamera zu halten. Eventuell versperren Säulen und andere Objekte die Sicht oder die Packungsdichte ist einfach zu hoch, um den Mindestabstand zum Zielobjekt zu halten. Läuft Ihnen sogar ein Mitarbeiter vor die Kamera oder parkt einen Stapler vor Ihrem Motiv, können Sie mit der aktuellen Fotoserie von vorn beginnen.
Photogrammetrie erfordert präzise, nach definierten Regeln aufgenommene Fotoserien. Je genauer und fehlerfreier die Messung erfolgt, desto besser wird später die Auswertung gelingen. Haben Sie diesen Schritt doch irgendwie gemeistert, übergeben Sie die Bildserien an die Software. Verkürzt gesagt, richten Sie meist mehrere Fotoserien für ein und dasselbe Objekt ein. Je nach Softwarehersteller unterstützen Sie hier spezielle Softwarefunktionen, um das optimale Ergebnis zu erzielen. Rechnen Sie mit hohen Zeitaufwänden. Je komplexer Ihr Objekt ist und je mehr Einzelserien von Fotos verknüpft werden müssen, desto aufwändiger wird dieser Arbeitsschritt. Danach kann die eigentliche Berechnung des 3D-Modells erfolgen. Dieser Job kann je nach Anbieter auch in die Cloud ausgelagert werden.
Welche Software zur Auswertung von Fotos gibt es?
Folgend eine Auswahl an Software für Photogrammetrie:
Außer Meshroom sind alle Produkte kostenpflichtig und erfordern Expertenkenntnisse, um diese effektiv nutzen zu können. Einige Produkte unterstützen auch die Verarbeitung von LiDAR-Daten.
Berechnung des 3D-Modells in der Photogrammetrie
Erst nach diesem Schritt erfahren Sie dann endgültig ob Ihre Eingangsdaten gut genug für eine Rückführung in ein 3D-Modell waren. Es kann an diesem Punkt zum Abbruch der Berechnung kommen oder die erzeugten 3D-Modelle erfüllen einfach nicht Ihre Erwartungen. Das ist besonders dann ärgerlich, wenn Sie keine Möglichkeit mehr haben die Aufnahmen zu wiederholen. Wir gehen aber mal davon aus, dass Ihnen auch dieser Schritt gelungen ist. Folgend sehen Sie ein Beispiel, welches aus 140 Fotos mit der Software Meshroom in ein 3D-Modell überführt wurde.
Das Ergebnis ist dann entweder eine komplexe Punktwolke oder ein bereits vernetztes und farbiges Flächenmodell. Erwarten Sie jedoch nicht, dass nun Ihre Ausrüstung sauber separiert als Planungsmodell vorliegt. Das Beispiel im Bild oben zeigt das sehr gut. Ähnlich wie beim Laser Scanning werden auch Objekte digitalisiert, die Sie eigentlich gar nicht haben wollten. Das kann alles sein was die Software auf den Fotos erkannt hat. Dazu zählen dann häufig Bodenflächen in unmittelbarer Umgebung, Behälter, abgehende Rohrleitungen oder Objekte im Hintergrund. Ebenso kommt es natürlich zu Verschattungen, weil Bereiche auf den Fotos einfach nicht sichtbar waren. Die idealisierte Vase auf dem Drehteller kennt diese Probleme nicht.
3D-Modell ja, aber praktisch nutzbar?
Sie erhalten also kein Planungsobjekt, sondern eher einen löchrigen, unscharfen Ausschnitt aus Ihrer Fabrik. Dieser muss in einem folgenden Schritt erst in nutzbare Daten überführt werden muss. Was das praktisch bedeutet, können Sie auch im Blogartikel zum Thema Laser Scanning nachlesen. Trotz geringerer Genauigkeit, kann die Datenmenge übrigens ähnlich hoch sein wie bei einem 3D Scan mit einem terrestrischen Laser Scanner. Das Rasenmäher-Beispiel oben beinhaltet eine halbe Millionen Flächen und bildet nur eine Seite der Maschine ab. Die Datenmenge ist ungefähr 100 mal höher, als gewünscht. Ein direkter Einsatz der erzeugten 3D-Modelle in der Layoutplanung ist allein schon aus diesem Grund nicht zu empfehlen.
Macht Photogrammetrie dann überhaupt Sinn?
Reine Photogrammetrie ist eher ungeeignet für den Objektbereich Fabrik, weil bereits die Messung mit zahlreichen Unsicherheiten behaftet ist. Leider sind die Anforderungen an die Eingangsdaten, sprich Fotos zu hoch, um in der Praxis zu funktionieren. Für Photogrammetrie haben sich zwei große Einsatzfelder herausgebildet. Einmal die Messung im Luftraum durch den Einsatz von Drohnen, auch UAV (unmanned aerial vehicle) genannt und anderen Fluggeräten und andererseits im Nahbereich auf Drehteller und unter Studiobedingungen. Der Objektbereich Fabrik liegt quasi dazwischen.
Laser Scanning ist hier im Vergleich deutlich überlegen, da die Lage eines Punktes im Raum schon bei der eigentlichen Messung erfolgt. Deshalb werden Photogrammetrie und LiDAR in der Praxis auch kombiniert, um die Vorteile beider Methoden zu nutzen. Einige Beispiele dazu, die sogar bereits den Konsumentenbereich erreichen, folgen weiter unten. Der Erfassungsprozess ist dadurch wesentlich sicherer und genauer und damit auch die Datenqualität besser. Aber bei beiden Methoden bleibt der hohe Aufwand der Rekonstruktion oder die Überführung in wirklich nutzbare Planungsmodelle. Könnte hier die Fotomodellierung eine sinnvolle Alternative sein?
Kein Problem, einfach für unsere Blog-News anmelden!
Was steckt hinter Fotomodellierung?
Fotomodellierung ist eher als eine grobe Referenzmodellierung zu sehen, denn algorithmisch gesteuerter Rekonstruktionsprozess. Die Datengrundlage sind auch Fotos wie bei der Photogrammetrie, wie der Name schon vermuten lässt. Es werden aber a) viel weniger Aufnahmen benötigt und b) sind diese durch Maßangaben angereichert. Die Fotos müssen auch nicht exakt als umlaufende Fotoserie aufgenommen werden, sondern dienen hier eher als lose Referenz für einen manuellen Rekonstruktionsprozess. Grundsätzlich gilt aber auch hier, je besser die Fotos, desto besser das Ergebnis. Der Ablauf gestaltet sich wie folgt:
1. Aufnahme einiger relevanter Fotos rund um das Zielobjekt
2. Messung und Eintragung relevanter Haupt- und Nebenmaße in Fotos
3. 3D-Modellierung auf Basis von Fotoreferenzen
Weniger Arbeitsschritte als bei Photogrammetrie
Im Gegensatz zur Photogrammetrie gibt es nur drei Arbeitsschritte. Entscheidender Unterschied hier ist aber, dass ein CAD- oder Modellierungsexperte mit Hilfe der Fotoreferenzen das Objekt modelliert. Es gibt keine automatische Rückführung des 3D-Modells. Damit entfallen im Prinzip auch die strengen Anforderungen an die Eingangsdaten im Vergleich zur Photogrammetrie. Ist beispielsweise die Tür des Arbeitsraums einer Maschine in einer Aufnahme verdeckt, kann Sie über ein zweites, besseres Foto rekonstruiert werden. Genauso stört es den Modellierer wenig, wenn mal ein unscharfes Foto reingerutscht ist oder die Belichtung unterschiedlich war.
Das was bei der Photogrammetrie zum Abbruch führen kann, kompensiert ein Mensch durch seine Erfahrung und Intelligenz. Im Prinzip kann für die Modellierung nahezu jede 3D-Software eingesetzt werden. Wenn Sie jedoch auch Fotos zur realistischen Texturierung Ihrer Modelle verwenden möchten, dann verwenden Sie am besten sogenannte DCC-Systeme (digital content creation). Typische Software aus dieser Kategorie sind unter anderem Blender, Cinema 4D oder 3ds Max. Diese ermöglichen auch den 1:1 Export dieser Informationen in 3D-Viewer, VR-Systeme oder auch Planungssoftware wie visTABLE®touch.
Wie gelangen die Maßangaben in die Fotos?
Diese entstehen häufig durch Handvermessung einer Ausrüstung im Bestand. Das kann mit Maßband oder Handlasermessgerät geschehen. Es werden meist nur einige Haupt- und Nebenmaße benötigt wie im folgenden Bild zu sehen.
Wichtig ist eine möglichst genaue Abbildung der Aufstellfläche für die Fabrikplanung. Sie merken schon dass hier der Modellierer sich auf die Maßangaben verlassen muss. Wurde falsch gemessen oder ein Maß falsch eingetragen, kann das zu Planungsfehlern führen. Häufig fällt ein Fehler aber schon im Rekonstruktionsprozess auf und kann so noch korrigiert werden.
Was sind die Vorteile der Fotomodellierung?
Das Prinzip orientiert sich viel näher an der eher chaotischen Situation in der Praxis einer Fabrik. Die Methode hat wesentlich geringere Anforderungen an die Eingangsdaten, sprich Fotos als es bei der Photogrammetrie der Fall ist. Es ist somit auch möglich ein 3D-Modell zu rekonstruieren, wenn keine perfekte Datengrundlage besteht. Fotoaufnahmen können praktisch von jedem gemacht werden, da weit weniger Regeln zu beachten sind. Das ermöglicht es einem Dienstleister Arbeitsschritt 1 und 2 nach Abstimmung auch auf den Kunden selbst auszulagern.
Ein weiterer Vorteil ist die gezielte Modellierung mit Regelgeometrien in einem CAD-System. Es werden exakt nur die Bereiche modelliert, die zum Planungsobjekt gehören und das in der gewünschten, beziehungsweise möglichen Auflösung. Im Ergebnis erhalten Sie so ein hochoptimiertes Planungsobjekt. Vorausgesetzt die Bemaßungen in den Fotos waren korrekt und der Modellierer hat keinen Fehler bei der Rückführung gemacht, erhalten Sie ein Planungsobjekt mit der korrekten Aufstellfläche und Höhe.
Insofern gewünscht, können die Fotoreferenzen auch für die Texturierung der Rohmodelle herangezogen werden. Das führt dann zu sehr realistisch anmutenden 3D-Modellen, trotz sehr geringer Datenmenge. Zusammengefasst noch mal folgende Vorteile:
- Nur gezielte Rekonstruktion von gewünschten Objektbereichen
- Sehr schlanke, vereinfachte Planungsmodelle mit geringer Datenmenge
- Realistisch anmutende Visualisierung möglich
- Für Datenbereitstellung keine Experten erforderlich
Das klingt erst mal vielversprechend, aber was gibt es für Nachteile dieser bei dieser Methode?
Wo liegen die Grenzen der Fotomodellierung?
Wie schon angedeutet, können Fehler bei der manuellen Vermessung, dem Eintragen der Bemaßung in Fotos oder auch bei der Rückführung passieren die dann zu ungenauen Planungsobjekten führen. Ebenso sind Planungsobjekte auch nur so genau wie Bemaßungen vorhanden sind. Nicht bemaßte Bereiche oder Objekte werden dann näherungsweise modelliert auf Basis der Fotos. Das ist in Ordnung so lange diese nicht planungsrelevant die Aufstellfläche beeinflussen.
Weiterhin ist der Detailgrad der rückgeführten 3D-Modelle aufgrund der beschränkten Datenmenge an Maßangaben in der Regel geringer als beim Laser Scanning oder der Reduktion von CAD-Produktdaten. Das kann auch als Vorteil gewertet werden, da so auch ein größeres 3D-Layout verzögerungsfrei darstellbar bleibt. Fotomodellierung ist nicht oder nur schwer bei komplexen und offenen Strukturen anwendbar. In diesem Fall benötigen Sie entweder sehr viele Maßangaben oder es entstehen viele Unsicherheiten, die eine Modellierung stark verzögern oder fehleranfällig machen würden. Diese Methode setzt auch meistens immer die örtliche Erreichbarkeit zur manuellen Vermessung voraus. TGA ist damit also nicht abbildbar, sondern in der Regel nur Ausrüstung direkt auf dem Shopfloor. Die Nachteile nochmal zusammengefasst:
- mögliche Fehler durch manuelle Vermessung, Maßeintragung in Fotos und manuelle Rekonstruktion
- nur für Planungsmodelle geringer Komplexität sinnvoll
- nur vermessbare Objekte möglich
Kann ich mit Fotomodellierung das Laser Scanning ersetzen?
Ganz klar nein, es kann aber eine sinnvolle Alternative oder Ergänzung zur Digitalisierung von einfach strukturierter Ausrüstung sein. Gerade Schränke, Behälter, Tische oder einfache gestaltete Maschinen sind häufig kostengünstiger mit dieser Methode zu rekonstruieren. Bei hoher Komplexität, sehr großen Objektabmessungen und schwer erreichbaren Objekten, speziell Gebäude und komplexen Produktionsanlagen bleibt Laser Scanning das Mittel der Wahl oder alternativ die Verarbeitung von CAD-Daten von Architekt und Ausrüster.
Hybrid-Lösungen aus Photogrammetrie, Fotomodellierung und LiDAR
Neben der weitgehend automatischen oder manuellen Rückführung allein auf Basis von Fotos, gibt es noch Mischformen. Beispielsweise können Sie in der Software PhotoModeler mit der Verknüpfung von manuell gesetzten Markern in mehreren Fotos auch 3D-Objekte rekonstruieren. Damit werden halbautomatisch direkt verwendbare Planungsmodelle erzeugt. So kann die Software die Zuordnung von 3D-Flächen durch die gemachten Nutzereingaben erkennen. Das funktioniert aber nur solange Sie das Objekt von allen Seiten störungsfrei erfasst und die Marker auch korrekt gesetzt haben. Der Idealfall sind einfache quaderförmige Objekte mit ausschließlich planen Flächen mit genau definierten Objektabgrenzungen, sprich Ecken. Mindestens ein Referenzmaß ist zudem notwendig, damit die Software das Modell korrekt skalieren kann.
Ebenfalls interessant ist ein hardwarebasierter Ansatz der Firma Clauss mit dem Scanner RODEONmetric Basic wo Foto und gezielte Punktmessungen direkt in einfache 3D-Flächenmodelle überführt werden können.
Sobald Objekte jedoch komplexer werden, erhöht sich der Aufwand zur Rückführung in 3D-Modelle mit diesen Methoden ebenfalls dramatisch oder wird schlichtweg unwirtschaftlich. Zudem ist auch hier Expertenwissen für die Referenzierung der Marker oder die Modellierung von Flächen notwendig. Die resultierende Genauigkeit ist abhängig vom Nutzer und kann teilweise sogar geringer als bei manueller Fotomodellierung sein.
Flächendeckender Einsatz von LiDAR
Fotos und LiDAR werden Im Prinzip auch beim terrestrischen Laser Scanning kombiniert und bereits in der Fabrikplanung angewendet. Im Außenbereich werden zum Beispiel Drohnen in Höhen von ca. 10-50m eingesetzt, die neben Fotoaufnahmen auch Entfernungsmessungen via LiDAR machen. Durch die Kombination beider Informationen entstehen sofort genaue 3D Punktwolken, die Ihre Farbwerte aus hochauflösenden Fotos beziehen. Drohnen werden teilweise auch schon im Indoor-Bereich eingesetzt. Das funktioniert aber in der Regel nur bei ruhender Produktion, schon allein aus Sicherheitsgründen. Verschattungsfreie Aufnahmen sind auch nur bei geringer Packungsdichte, und möglichst einfach strukturierten Objekten möglich.
Interessant zu erwähnen ist noch der ab iPhone 12 Pro und iPad Pro verbaute LiDAR Scanner, der bis auf ca. 5 Meter Entfernung 3D-Punkte erfasst. Mit der kostenlosen 3d Scanner App™ lässt sich das sehr leicht testen. Dazu bewegt man sich einfach mit dem Smartphone um das Zielobjekt herum, bis alle Seiten erfasst wurden. Das erzeugte 3D-Modell lässt sich so dann zum Beispiel als Wavefront OBJ, Collada DAE oder Stereolithographie STL exportieren und weiterverarbeiten. Apple plant bereits ab dem iPhone 13 LiDAR Sensoren standardmäßig zu verbauen.
Kein Problem, einfach für unsere Blog-News anmelden!