dl018: 3d-modelle aus fotos

Intro (00:00:00)

Thema des Podcasts (00:00:18)

Willkommen zu unserer siebzehnten Folge beim dalenleben-Podcast, dem Podcast über Data Science.
Wir sind Helena und Janine und möchten mit euch die Welt der Daten erkunden.
Oft sind Daten in Form von Text und Zahlen sehr abstrakt, aber wie werden Daten praktisch nutzbar?
Und wie können Daten für uns im wahrsten Sinne des Wortes auch greifbar werden?
Wir sehen uns die Daten an und holen sie in unseren Alltag!

Thema der Folge (00:00:45)

Wie können aus Fotos von bestimmten Objekten diese per 3D-Druck greifbar gemacht werden?
Die kurze Antwort: Ein Algorithmus macht aus Fotos 3d-Modelle, die dann druckbar sind.
Für die lange Antwort haben wir uns eine Gästin eingeladen: Lisa ist heute mit dabei
Sie hat mit einem Team am Hackathon Coding da Vinci teilgenommen und dabei das Projekt FabSeal mitentwickelt

Warum ist das Thema spannend? (00:01:21)

Fotos sind Daten, die sich die meisten Menschen angucken können, aber sie verraten noch viel mehr!
Gerade für Data Science sehr spannend, was man mit Fotos noch machen kann – etwa ein 3D-Modell

Wer ist Lisa? (00:02:17)

Software-Entwicklerin im Studium IT-Systems Engineering und schreibt ihre Masterarbeit am Lehrstuhl für Computergrafische Systeme
Sie gründet das erste Mal mit einer Smartphone-App und hat auch Design Thinking studiert
Gleichstellungsbeauftragte der Fakultät, Mentorin für Programmierworkshops an Schulen in Deutschland, Onlinekurs-Dozentin und Buchautorin für Kinder und Jugendliche Informatikbereich
Design Thinking: Methoden der nutzerorientierten Entwicklung

Wie ist Lisa zu FabSeal gekommen? (00:03:50)

Entstand im Rahmen von einem Hackathon
War immer von Hackathons beeindruckt: wie kann man in so kurzer Zeit so coole Dinge umsetzen
Realität ist: Sehr viel Präsentations/Pitching-Skills (fake it until you make it)
Ihr Lichtblick: Kulturhackathon "Coding da Vinci" mit anderem Konzept
Anstatt nur ein Wochenende, gibt es 1 Wochenende als Kick-Off-Event und dann 3 Monate, um das Projekt umzusetzen, was viel nachhaltiger ist
Engere Zusammenarbeit mit den beteiligten Kulturinstitutionen
Hat insgesamt schon bei 4 dieser Events teilgenommen und drei Mal einen Preis gewonnen
Hat dabei an insgesamt 8 Projekten mitgearbeitet, schätzt die Teamarbeit daran sehr
Hackathon als Hobby für gemeinsames Arbeiten und Entwickeln mit viel Fun und Scherzen

Was ist ein Hackathon und worum geht es bei Coding da Vinci? (00:06:46)

Hackathon setzt sich aus Hacking und Marathon zusammen
Meist konzentriert an einem Wochenende, wo man etwas von der Idee bis zum Prototypen entwickelt
Arbeit in Teams und mit wenig schlaf, sehr intensive Erfahrung
Was ist, abgesehen von den 3 Monaten Laufzeit, noch anders bei Coding da Vinci?
In erster Linie soll für Kulturinstitutionen etwas entwickelt werden
Lisa war schon immer begeistert von Museen und konnte mit Institutionen arbeiten, die sie selbst schon besucht hat, wie das Naturkundemuseum Berlin
Findet toll, dass die Institutionen daran interessiert sind Ergebnisse in Ausstellungen zu integrieren
Erstes Projekt: Skelex, steht für Skeleton und Explore; Daten waren 3D-Scans von Schlangenschädeln
Mit Skelex waren die Schlangenschädel in einer virtuellen Welt anschaubar, es gab auch ein "Killer-Feature" um den Schädeln Mäuse zu füttern
Museum hat mit ihnen zusammengearbeitet und sie durften das Projekt später mehrfach präsentieren
Das war so ein Positives Erlebnis, dass Lisa wieder mitmachen wollte
Zweites Projekt: wieder mit dem Naturkundemuseum Berlin das Projekt Snail Snap
6.000 Fotos von Schneckengehäusern, aus denen Selfies mit Schneckenmosaiken generieren werden
Die Informationen über die Schnecken sind in den Snail Snaps anklickbar und so verfügbar
Das Projekt wurde mit dem Deutschen Multimediapreis 2020 ausgezeichnet
Es wurde auch auf dem Schiff MS Wissenschaft, dem Schwimmenden Science Center ausgestellt
Lisa arbeitet fast immer mit dem gleichen Team, aber es fluktuiert auch manchmal ein bisschen

Was für Daten gibt es bei Coding da Vinci und wie entstand FabSeal? (00:12:21)

Bei Coding da Vinci geht es immer um die Daten, die die Kulturinstitutionen bereit stellen
Das sind: Bilder, Videos, 3D-Modelle, Texte, Objekte und dergleichen, oft in sehr guter Qualität, sodass die Daten nicht erst bereinigt werden müssen
Nächste Kick-Off-Veranstaltung ist am 11. und 12. September 2021
Man muss nicht unbedingt in Person dabei sein, Teams bilden sich auch vorab auf dem Hackdash
Es werden dann aus verschiedenen Institutionen Datensets vorgestellt, die bearbeitet werden können
Erste Teams stellen ihre Projekte vor oder einzelne Menschen und dann schließen sich andere an
Und worum ging es jetzt bei FabSeal, das beim letzten Mal Coding da Vinci entstanden ist?
Slogan: "Erwecke historische Siegel wieder zum Leben!"
Es geht um die Siegelsammlung Paul Arnold Grun
Es gibt 2D-Fotos der Siegelabdrücke, die mit FabSeal automatisch in 3D-Modelle gewandelt werden, die dann mit einem 3D-Drucker erneut als Siegel hergestellt werden
Damit hat man dann wieder einen physischen Siegelstempel und kann selbst Siegel in Wachs drücken
Ehe wir jetzt richtig einsteigen, hören wir uns doch erstmal an, was Siegel sind

Einspieler: Zeig mir Dein Siegel (00:15:44)

Lotte und David tauschen Nummern, Lotte schlägt Lotte vor den Kontakt mit QR-Code zu verifizieren
Sie erklärt, dass sie so eben weiß, dass es David ist und wenn er mal eine andere Nummer bekommt, dann müssen sie sich wieder verifizieren, damit sie weiß, dass sie immer noch mit David schreibt
Weißt Du, das ist wie mit den Siegeln damals auf Urkunden und Briefen: Es hätte ja jeder einen Brief im Namen des Papstes quer durchs Land schicken können
Aber weil jeder wusste, dass nur der echte Papst ein bestimmtes Siegel benutzt, wusste man, dass die Nachricht von ihm ist
Das mit den Siegeln war damals eben Stand der Technik
Siegel gibt es durch die Jahrtausende in vielen verschiedenen Formen und Anwendungen
Am bekanntesten: metallene Siegel, die in erhitztes und flüssiggemachtes Wachs oder in Siegellack gedrückt werden
Siegel sind kleine Bildchen, die früher zum Beispiel Familien-, Amts-, oder Herrschafts-Wappen gezeigt haben, mit denen vor allem Urkunde beglaubigt wurden
Sie dienten auch zum Unterzeichnen und Verschließen von Briefen -- also wahrhaftig versiegelt
Das Siegel hat auch den Zweck zu zeigen, dass niemand den Brief gelesen hat, der es nicht durfte, denn beim Öffnen des Briefes würde das Siegel unweigerlich zerbrechen
Heute noch in Gebrauch: weiterin als Beglaubigung für Dokumente, meistens in Form von Stempeln
Form und Bildsprache orientiert sich noch immer an historischen Siegeln, vor allem des Mittelalters

Warum habt ihr euch für die Siegel entschieden? (00:17:56)

Die historischen Hintergründe sind super spannend
Beispiel: sogar die Wachsfarbe sagt etwas darüber aus, von wem ein Siegel stammt
Aber hauptsächlich wegen der Qualität der Bilder
Was ist der Vorteil dieser Daten gegenüber anderen, die ihr zur Auswahl hattet?
1.500 Siegleabdrücke wurden 2016 von der Staats- und Universitätsbibliothek Göttingen digitalisiert
In einer großen Aktion mit aufgebautem Set wurden die fotografiert
Ergänzend wurde notiert: Was ist zu erkennen? (Krone, Wappen, Löwe etc.) Namen der siegelführenden Familie, Maße des Siegels
Maße waren wichtig für die neue Herstellung realistischer Siegelstempel
Es ist faszinierend, wie viele Details auf so einer kleinen Fläche sein können
Nachteil der Daten: Es wurden Gruppenfotos gemacht, die kleingeschnitten wurden; dadurch gab es öfter mal schwarze Linien auf den Bildern, die später das Arbeiten erschwert haben

Wie wurden die Fotos als 3D-Modelle aufbereitet? (00:21:30)

Was habt ihr euch dann als nächsten Schritt überlegt?
Ziel: Aus dem Datensatz ein Siegel ziehen aus dem wir ein druckbares 3D-Modell herstellen
Das hätte man natürlich per Hand einfach nachmodellieren können, aber:

Was sind wir eigentlich? Wir sind Softwareentwickler!
Was wollen wir? Automatisierung!

Zwei Zwischenschritte, der erste war die sogenannte "Formerkennung"
Unnötige Informationen/Details aus dem Bild entfernen, die nicht zum eigentlichen Motiv gehören
Beispiel: nur eine ovale Form erhalten und nicht die Wachsreste drumherum
Zweiter Schritt: "Tiefeninformationserkennung" mit dem Verfahren "Shape from Shading"
Das Forschungsfeld Shape from Shading kannten sie vorher nicht, existiert aber seit 1994
Anschließend hat man ein 2D-Bild mit Tiefeninformationen
Um auf 3D zu kommen, wurde ein Skript für die Software Blender geschrieben und dort den Displacement-Modifier genutzt, um aus den Informationen ein Relief herzustellen
Also zuerst die Form erkennen: Abstand zur Mitte, Größe, Symmetrie, wenig bis keine Rotation, Verhältnis Motiv zur freien Fläche
Damit das Problem bewältigt, dass die meisten Siegel völlig unterschiedlich aussehen können
Formerkennung wurde auch mit einem Algorithmus für bestimmte Bildverfahren gemacht
Was gibt es denn so für Standardbildverfahren? Und waren das schwarz-weiß Fotos oder in Farbe?
Es waren Farbfotos
Als erstes kann man Kantenerkennung machen und versuchen das Bild zu zentrieren
Dann gibt es density-based Verfahren, die erkennen, ob ähnliche Farben existieren
Viele Verfahren ausprobiert, was es geworden ist, kann im auf Github eingesehen werden
Die Lösung ist aktuell noch nicht perfekt, aber sie hat schonmal weiter geholfen
Kanteerkennung: Man guckt sich die einzelnen Pixelwerte an und wo Unterschied sehr hoch ist, ist vermutlich eine Kante
Dafür wurde OpenCV genutzt
Und bei dem dichtebasierten Verfahren wird über mehrere Pixel gemittelt, wie der durchschnittliche Farbwert auf dem Pixel ist
Daran kann entschieden werden: Das gehört noch zum Siegel, das ist schon Papier
Wie ging die Tiefenerkennung dann mit nur einem Foto pro Siegel?
Genau das war ein Problem, weil unbekannt war, von wo es beleuchtet wurde und ob bei allen gleich
Darüber hätte man beim erstellen der Bilder nachdenken können, falls man das 3D haben wollen würde, hätte man noch weitere Bilder aus anderen Perspektiven machen können
Hatten aber nur ein Bild um aus 2D dann 3D zu machen
Dafür kann man die Helligkeit nehmen, die man pro Pixel auslesen kann
Aber: Wie hoch ist das dann jetz eigentlich?
Zum Beispiel Buchstaben im Siegelabdruck sind höher als das Drumherum
Die Recherche brachte dann Shape From Shading zu Tage:
Licht reflektiert je nach einfallendem Winkel zur Kamera anders
Analogie Gegeverkehr beim Autofahren: Frontscheibe blendet sehr hell aus einem bestimmten Winkel (spekulare Reflektion/Spiegelreflexion)
Dazu einfaches mathematisches Modell, wie etwas reflektiert, verschiedene Einflussfaktoren
Paper von Tsai und Shah oder auch Pentland, verschiedene Ansätze wurden angeschaut
Einiges sah sehr experimentell aus, erfolgversprechender das Paper "Shape from shading using linear approximation" (Tsai und Shah)
Darin verschiedene Beleuchungsmodelle; war erfolgreicher dann, Siegel war hügelig aber erkennbar
An dem Ansatz weiter probiert mit Winkeln, vielleicht das Bild vorher noch anpassen
Spiegelreflexion: Licht wird im gleichen Winkel reflektiert
Matte Reflexion: Licht wird nicht direkt wieder abgelenkt, sondern die Photonen werden kurz von der Oberfläche absorbiert und dann in beliebig viele Richtungen reflektiert
Die meisten werden senkrecht zur Oberfläche ausgegeben und je näher man am Rand ist, desto weniger kommt von dieser Oberfläche
Und das Verfahren benutzt jetzt beide Reflexionsmodelle?
Wir haben die Spiegelreflexion genutzt, wobei der Algorithmus iterativ arbeitet
Der sagt Fläche ist 0 überall im 2D-Bild, wir schauen pro Koordinate im Bild: Passt denn, was wir aktuell vom Siegelbild berechnet haben, zum Modell?
Wir berechnen Abweichung der berechneten Reflexionskarte vom Originalbild
Wenn es stark reflektieren sollte, aber aktuelles Höhenbild das nicht hergibt, dann passen wir das an, indem wir die Ableitung bilden und die Fläche damit updaten
Der Algorithmus erstellt also intern ein eigenes/virtuelles Bild, was er versucht anzunähern und beleuchtet das und vergleicht es mit dem Foto?
Mehrere Durchgänge (iterativ), mit jedem einzelnen nähert sich das Ergebnis dem gewünschten Ziel an
Wann hört der Algorithmus dann auf weiter zu berechnen?
Man versucht nahe an die Werte vom Beleuchtungsmodell zu kommen, da gibt es einen Schwellwert
Das ist die grundlegende Idee vom Tsai-Shah Paper von 1994!
Einstellparameter: Einfallswinkel des Lichts, Beschaffenheit der Oberfläche etc.
Um die Einfallswinkel besser einzubeziehen, haben sie von der Bibliothek Fotos bekommen, die von außen zeigen, wie der Aufbau des Sets zum Fotografieren der Siegel damals aussah
Bessere Vorstellung von der Anzahl und der Richtung der Lichtquellen
Einfallswinkel wichtig, um anhand des Schattens im Relief sehen zu können, wie tief es jeweils ist
Wenn man den Schattenwurf nicht einbezieht, kann nicht einfach nur davon ausgegangen werden, was hell ist, ist höher, was dunkler ist, liegt tiefer
Je nach Richtung und Winkel vom Schattenwurf, sieht das ja immer anders aus
Deswegen muss das richtig in die Berechnung mit einfließen
Wir haben in diesem Fall einen lokalen Ansatz, weil wir pro Pixel Helligkeitsinformationen anschauen und es dann zu einer ganzen Fläche zusammensätzen
Global wäre, wenn auf das ganze Bild die Helligkeit mit den gleichen Parametern angepasst wird und nicht nur in einem einzelnen Pixel
Wie viel muss man danach noch manuell korrgieren?
Das Ergebnis war sehr hügelig, also haben vorher das Bild und nachher das Bild nochmal bearbeitet
Vorher: Blurren/Verwischen, um Flächen einheitlicher wirken zu lassen, hat geholfen
Dinge wurden normalisiert um Siegel mit ähnlichen Beleuchtung/Parametern gleich zu behandeln
Ergebnis war noch nicht perfekt, aber gut genug; Code ist ebenfalls einsehbar auf Github
Wie wirken sich Risse in den vorhandenen Siegelabdrücken auf das Modellieren aus?
Siegel können verschiedene Fehler haben: Oberfläche, die über die Zeit rau geworden ist, was Einfluss auf die Farbe hat, oder eben Risse und stärker kaputte Motive
Verschiedene Operationen bei der Bildbearbeitung, wie das Blurren, um das auszugleichen
Habt ihr da vielleicht mal mit einem Geometriemodell gearbeitet um solche Risse zu erkennen?
Leider sind wir so weit nicht gekommen, allein durch die Webseite gibt es schon mehr Baustellen
Hatten keine Vergleichsbilder, die uns zeigen konnten, ob unser Ergebnis richig ist
Hat aber im Rahmen des Hackathons nicht gepasst
3D-Scans zum Vergleich der Siegel wären gut gewesen, lagen aber leider nicht vor
Uni Heidelberg hatte angeboten 3D-Scans der Siegelabdrücke herzustellen, konnte leider wegen des Transports nicht gemacht werden
Was gab es noch für Probleme?
Beleuchtung, Winkel, Albedo, wie die Kamera stand, etc., auch die Farbe (bei schwarzem Siegelwachs)
pecca hat mit ihrem Resindrucker auch geholfen und Siegel probegedruckt, weil das Team keinen hatte und der Druck des Resindruckers viel besser war, als die bisherigen Versuche
Viel Unterstützung nicht nur von Institutionen, sondern auch aus dem Makerkreis war toll
pecca war auch schon bei uns im Podcast: in der Wetterprojekt-Folge!

Wie funktioniert das mit dem 3D-Drucker? (00:48:53)

Resindrucker: Das Resin ist flüssig und kann viel feinstufiger gedruckt werden
Einsatzidee zu FabSeal: Jeder soll sich so etwas drucken können, nur haben leider weniger Menschen einen Resindrucker
Neue Anforderungen: Man bräuchte eine Anleitung für so einen Drucker und Nutzer*innen
Wie kann man da Hürden abbauen? Worauf muss man achten?
All das ist erst nach dem Hackathon entstanden, weil wir noch ein Stipendium bekommen haben, um nach dem Hackathon noch gefördert an dem Projekt weiter zu arbeiten für 3 Monate
Dabei wurde in User Experience weiter gearbeitet
Janine hat versucht Siegel zu drucken vor der Podcastaufnahme
Wenn man die Datei runterlädt und entpackt, kann man sie dann zum Druck vorbereiten
Genutztes Programm: Chitubox; dann gucken was das für ein Objekt ist, welche Form es hat und wie herum man es drucken möchte
Bei einem Siegel soll die Fläche des Siegels am besten aussehen, also nach oben drehen (um Riffel durch Layer zu vermeiden)
Die Form (unten schmal, oben breiter) sorgt dann dafür, dass man das Objekt auf Support setzen muss, damit es so gedruckt werden kann
Support kann man automatisch in dem Programm anfügen, muss nur ausgesucht werden
Beim ersten Druck (Light Support) ist dieser aber leider abgerissen und der Druck abgebrochen
Da unten das Gewinde für den Griff ist, gibt es dort einen Hohlraum, vermutlich deswegen Unterdruck und dadurch der Support abgerissen
Pecca hat das Modell um 45-Grad gedreht auf Support gesetzt, was gleich beim ersten Mal klappte
FabSeal hat sich im Rahmen des Stipendiums einen eigenen Resindrucker geholt
Lisa konnte den testen und fand wegen der ganzen Feinheiten, an die man sich rantasten muss, die ersten Drucke auch frustrierend
Fazit: Deswegen braucht es Hilfestellung für Nutzer*innen, damit sie das auch testen können
Daher auch die Idee: Wenn die Bibliothek einen Resindrucker hätte und dort jemanden, der sich damit auskennt, könnten Besucher*innen einfach Siegelstempel als Souveniere mitnehmen
Janines zweiter Versuch mit stärkerm Support hatte funktioniert, ABER: die Stempel waren ohne Siegel
Den Fehler hatte Lisa auch, weil sie mal das Relief falsch herum auf's Modell projiziert hatten
Man muss dann die Normalen wieder umdrehen (z.B. in Blender)
Wer keinen 3D-Drucker zu Hause hat und es testen möchte, kann sich an einen hiesigen Hacker- oder Makerspace wenden
Da gib es oft viele Geräte, wie auch 3D-Drucker, die man mitbenutzen oder sich deren Benutzung zeigen lassen kann

Was soll FabSeal sonst noch können? (01:01:37)

Konnten sich mit einem Coach für UX/UI-Fragen (User Experience/User Interface) zusammensetzen
Konzept entwickelt, um drei Funktionen bereit zu stellen: Browse, Create und Remix
Browse: Fertige Datensätze (nicht nur die Siegelsammlung sondern bspw auch Münzen)
Create: Eigene Bilder hochladen und in ein Siegel umwandeln
Remix: Aus Datensätze eine eigene Collage basteln und als Siegel exportieren
Bei Antragstellung für Stipendium schon viele Ideen, "Remix" war auch von der Jury gewünscht
Noch andere Sachen gemacht, Algorithmen beschleunigt, Optimierungsbedarf ermittelt, Prozess beschleunigt durch externen Server
Webseite überarbeitet mit den drei Funktionen, die sie bieten können soll
Also alle Schritte, die bei Data Science wichtig sind, bis zum Ende durchgeführt: Daten bereinigen, analysieren, Modelle berechnen und den Algorithmus oder die Software für Nutzer*innen anwendbar zur Verfügung stellen
Sinn hinter dem Kulturhackathon ist, die Digitalisierung der Daten zu nutzen, um historische Daten verfügbar und auch wieder attraktiv zu machen
Und auch der Übertrag dann für eigene Objekte, wie eigene Siegel
Es können auch Zeichnungen hochgeladen und zu Siegeln gemacht werden
Und statt Siegeln könnten dabei auch Stempel hergestellt werden
Reliefe zu gravierien würde natürlich auch mit Lasercuttern funktionieren (und kommt vielleicht auch noch auf die Webseite)

Was macht Lisa grad? (01:08:18)

Mit Pecca für die Informatica Feminale ein Onlineworkshop über 3D-Druck Modellieren mit Blender
Vielleicht gibt es so einen Workshop im nächsten Jahr nochmal (;
Lisa hat ein Buch geschrieben für 3D-Modelle mit Blender, das für Kinder und Jugendliche ist
Also ein niederschwelliger Einstieg auch für jedes andere Alter
Aktuell arbeitet sie in einer kleinen Gruppe die weitere Vision von Coding da Vinci aus: Wo soll Coding da Vinci in 10 Jahren sein?
Vorteil von Hackathons: Menschn verschiedener Hintergründe kommen zusammen
Kulturinteressierte, Entwickler*innen, Grafikdesigner*innen
Es kommt auch nicht immer nur Software raus, zum Beispiel auch etwas wie ein Kartenspiel
Alles was Kulturdaten wieder interessant macht, ist erwünscht!

Fazit (01:12:01)

Helena: Möchte unbedingt mal bei Coding da Vinci machen
Janine: Fand sehr schön und spannend, was Lisa über den Prozess ihres Teams berichten konnte
Lisa: Hat für sich realisiert, wie viel sie allein durch dieses Projekt dazugelernt hat

Nächste Folge: Beispieldatensätze am 09.10.2021 (01:14:08)

Wer Datenanalysen lernt, bekommt Standardbeispielaufgaben mit Datensätzen, die regelmäßig verwendet werden
Beispieldatensätze werden oft weitervererbt, einmal eingeführt und etabliert halten sie sich ewig
Manchmal stellt man fest, dass die Daten von jemandem erhoben wurden, der damit zweifelhafte politische Ansichten verfolgt hat
Deswegen eine Folge dazu, was es für Beispieldatensätze gibt, wo die herkommen, was man damit macht und was man daraus lernen kann

Call to Action (01:15:02)

Wenn ihr uns weiter hören möchtet, folgt uns auf Twitter unter @datenleben
Oder besucht unsere Webseite: www.datenleben.de
Hinterlasst uns gerne Feedback, wir würden uns darüber sehr freuen
Und wenn ihr Daten ausgewerten haben möchtet, oder lernen möchtet wie das geht: wir nehmen auch Aufträge an!

Outro (01:15:39)

Schlagworte zur Folge

3D-Modelle, Bilddaten, Maschinelles Lernen, Algorithmen, Siegel, Siegelabdruck, 3D-Druck, Automatisierung, Hackathon, Coding da Vinci, Blender