Schenelle und zuverlässige Erkennung
January 21st, 2020
Übersicht über schnelle und zuverlässige Erkennnung von Schüttgut und Teilen
Von Ivar Balslev, Senior developer, Scape Technologies
Inhalt
- Einleitung
- 3D scanners von Scape Technologies
- Herausforderungen mit Teilen mit einer flachen Oberfläche
- Flache, dünne Metallbleche: Problemen beim Leeren des Behälters
- Zusätzliche Klassifizierungen in der Orientierungskontrolle
- Glänzende Objekte
1. Einleitung
Eine der Herausforderungen beim Bin-Picking ist die zuverlässige Erkennung von Schüttgut und zufällig verteilten Objekten in Behältern. Mit „Erkennung“ ist manchmal die Kategorisierung und Posenermittlung (Position und Orientierung) von Objekten gemeint, manchmal auch nur die Posenermittlung. Tatsächlich ist der Name SCAPE ein Akronym für „Smart Classifier And Pose Estimator“ (Intelligenter Klassifizierer und Posenermittler). Doch die meisten SCAPE Systeme arbeiten nur mit einem Teiltyp und treffen nur sehr selten auf ein Teil das nicht eingelernt wurde. Im Allgemeinen ist die Erkennung normalerwiese auf die Posenermittlung beschränkt.
Die am weitesten verbreitete Erkennungsmethode ist das 3D Scannen. Scape Technologies bietet drei Arten des 3D Scannens, diese werden im Abschnitt 2 beschrieben. Nicht-glänzende Objekte mit unebenen Oberflächen sind für diese Methode sehr gut geeignet, nicht-glänzende Objekte mit mehreren flachen, dem Scanner zugewendeten Seiten, ebenso.
In diesem Artikel werden die von Scape Technologies gebotenen Scanner beschrieben (Abschnitt 2) und dann einige Fälle dargelegt, in denen es Schwierigkeiten mit der Leistung gab (Abschnitte 3-6). Die Scanner wurden seitdem und werden auch gegenwärtig weiterentwickelt.
2. 3D scanners von Scape Technologies
Die folgenden Arten von Scannern werden von Scape Technologies geliefert:
- SCAPE Sliding Scanner, siehe Fig.1. In diesem System emittieren zwei Laser ihr Licht an schrägen Flächen entlang. Die Laser und eine vertikal nach unten zeigende Kamera sind auf einer Gleitsystem montiert. Die resultierende Punktewolke besteht aus bis zu 2 Millionen Punkten. Dieser Scanner hat den Vorteil das 2 bis 5 Behälter (jeder mit einer Breite von 1200 mm) in einer Reihe von dem gleichen Scanner erkannt werden können, da die Gleitschiene bis zu 8 m lang sein kann. Ein weiterer Vorteil ist die große Reichweite. Der Scanner kann bis zu 1,8 m über den Behältern montiert sein und lässt sich dadurch mit sehr großen Robotern verwenden.
Fig. 1 – Der Aufbau eines SCAPE Sliding Scanners. Die sich bewegende Einheit mit den Lasern und der Kamera ist in grün dargestellt. Die zweizeilig fokussierten Laserprojektoren werden abwechselnd aktiviert.
- SCAPE Stationary Scanner, siehe Fig. 2. Hier projeziert ein Lichtprojektor bis zu 10 verschiedene Muster auf die Behälteroberfläche und eine Kamera erstellt ein Bild von jedem Muster. Die resultierende Punktewolke besteht aus bis zu 2 Millionen dreidimensionalen Punkten. Der Scanner kann Behälter mit bis zu 1000 mm x 1300 mm Größe und 800 mm Tiefe erfassen.
Fig. 2 - SCAPE Stationary Scanner.
- SCAPE Grid Scanner, siehe Fig. 3. Dieser Scanner wird direkt auf dem Roboterarm montiert. Er besteht aus einem LED Projektor mit festen Maske in der Linse, welcher Licht auf die Behälteroberfläche wirft, und einer Kamera, die zwei Bilder per Scan erfasst, eins mit eingeschaltetem Projektor und eins ohne. Die resultierende Punktewolke besteht aus bis zu 32 000 Punkten. Das Sichtfeld kann zwischen 224 mm x 224 mm und 395 mm x 395 mm je nach Entfernung zu den Objekten im Behälter eingestellt werden.
Fig. 3 – Links: Eine Graphik, die den SCAPE Grid Scanner und das projizierte Licht zeigt, rechts: Der SCAPE Grid Scanner, montiert auf einer SCAPE Tool Unit mit einem Ringlicht und zwei Fingergreifern.
Alle drei Scanmethoden vereint die ‚Triangulierung‘: Die dreidimensional Position der Punkte auf der erfassten Oberfläche wird aus der Kenntnis der Richtung der Lichtstrahlen vom Punkt aus relativ zum Projektor und zur Kamera berechnet. Der primäre Output ist die Punktewolke, eine Liste der 3D Punkte und den korrespondierenden Punkten auf der Oberfläche, welche von sowohl der Kamera und der Lichtquelle (Laser oder LED Projektor) erfasst werden. Die berechnete Punktewolke wird dann mit dem 3D Modell der Objekte verglichen und angepasst. Dieser Anpassungsprozess ist komplex, da die Punktewolke vermischte Informationen von mehreren Objekten enthält. Die Scanner benötigen eine nicht zu sehr beleuchtete Umgebung. Der SCAPE Sliding Scanner und Grid Scanner verwenden rotes Licht, wohingegen der SCAPE Stationary Scanner blaues Licht verwendet, sodass die Arbeitszelle jeweils gegen rotes oder blaues Licht abgeschirmt werden sollte.
3. Herausforderungen mit Teilen mit einer flachen Oberfläche
Mit der limitierten räumlichen Auflösung wie der des SCAPE Grid Scanners ist die Erkennung von Teilen mit einer einzigen, dem Scanner zugewandten, planaren Oberfläche oft ungenau. Eine SCAPE Bin-Picking Lösung mit einem SCAPE Grid Scanner arbeitet manchmal mit sogenannter ‚Sensorfusion‘. In dieser Sensorfusion werden die aus der Punktewolke ermittelten Posen mit den Konturen eines 2D Bildes der selben Oberfläche verglichen. Die aus dem Scanner und der Punktewolke resultierenden Posen, welche keine Übereinstimmung mit 2D Konturen zeigen, werden ausgefiltert. Ein Beispiel ist in Fig. 4 zu sehen.
Fig. 4 – Links: Das Bild, welches für den 3D Scan verwendet wird, links: 2D Bild der selben Oberfläche unter der Beleuchtung eines Ringlichts, erfasst von der selben Kamera, die auch von dem SCAPE Grid Scanner verwendet wird.
4. Flache, dünne Metallbleche: Problemen beim Leeren des Behälters
Wenn ein Behälter fast leer ist, sollte die Punktewolke des Behälterbodens nicht als Objekten zugehörig missinterpretiert werden. Dies wird bei flachen und dünnen Objekten kompliziert, wie zum Beispiel bei unbearbeiteten Metallblechen. Die Unterscheidung zwischen Behälterboden und Objekten wird vor allem dann schwer, wenn der Behälterboden nicht planar ist und die Position der Fläche im globalen Koordinatensystem nicht genau bekannt ist. Scape Technologies hat ausgefeilte Algorithmen entwickelt, die die Unterscheidung zwischen Objekten und Behälterböden ermöglicht.
5. Zusätzliche Klassifizierungen in der Orientierungskontrolle
Es besteht immer ein Risiko, das sich ein „falsches“ Teil im Behälter befindet. „Falsch“ bedeutet, das sie Dimensionen und Form sich von den üblichen Teilen unterscheidet. Solche falschen Teile sollten niemals in den nächsten automatisierten Prozess zugeführt werden. Unter Umständen kann solch ein falsches Teil im Behälter als richtig erkannt und zur SCAPE Orientation Control transferiert werden. Die grundlegenden Erkennungsparameter in der SCAPE Orientation Control können – in seltensten Fällen – auch ein falsches Teil durchgehen lassen. Diese Risiko wird erhöht, wenn zwei Versionen eines Teils existieren, welche gespiegelt sind. Scape Technologies hat eine auf künstlicher Intelligenz basierende Methode entwickelt, um die Zuführung von falschen Teilen zu vermeiden. Das Einlernen diese Systems benötigt Bilder von sowohl den richtigen als auch den falschen Teilen.
6. Glänzende Objekte
Reflektionen von glänzenden Teilen führen zu missinterpretierten Scanergebnissen. Die Punktewolke beinhaltet dann sogenannte „Geisterobjekte“ (lokale falsche Tiefe in der Punktewolke), welche das System zur Kollisionsvermeidung verwirren. Diese Problem ist vor allem beim SCAPE Sliding Scanner und beim SCAPE Stationary Scanner sehr ausgeprägt. Scape Technologies hat einen Algorithmus zum Filtern einiger Ausreißmuster aus der Punktewolke, welche aus solchen Reflektionen resultieren, entwickelt, aber der Algorithmus kann noch nicht alle Fälle bewältigen.
Im Fall des SCAPE Grid Scanners sind die Reflektionen von glänzenden Teilen nicht so schwerwiegend, wie in Fig. 5 zu sehen ist. Hier werden Punkte nahe einiger Highlights nicht genau passend war genommen, aber solange die Lichtstärke limitiert ist, funktioniert die Erkennung gut.
Fig. 5 – Glänzende Rollen, die in Wälzlagern verwendet werden, werden vom SCAPE Grid Scanner erfasst.
