Mixed-Reality System

Mixed-Reality System

Diese Seite enthält zusammenfassende Informationen über die einzelnen Komponenten des Mixed-Reality System (MR-System).
Alle Informationen für das von der NorthernStars Hochschulgruppe für Robotik und der Fachhochschule Kiel entwickelte MR-System, sind frei verfügbar und dürfen, ggf. entsprechend einzelner Lizenzen der jeweiligen Projekte, verändert und angepasst werden.

Hardware

Nachfolgend ist die für den Betrieb des Mixed-Reality Systems benötigte Hardware beschrieben. Die konkreten Ausführungen sind nur Beispiele und können durch eigene Ideen ersetzt oder erweitert werden.

Spieltisch (Multitouch-Tisch)

Der Spieltisch dient als horizontale Spielfläche für die MR-Roboter und zur Projektion des Spielfeldes. Dazu kann in einfachster Ausführung ein Holzrahmen mit einem horizontal montierten Fernseher verwendet werden. Die Größe des Spielfeldes bestimmt dabei maßeblich die maximale Anzahld er möglichen Roboter. Zu empfehlen ist mindestens eine Spielfelddiagonale von 42". Wichtig ist, dass das System einen Himmel zur Befestigung der Kameras zur Bilderkennung und zur Reduktion von einfallendem Tageslicht besitzt. Bei der Verwendung einer Rückprojektionsfläche mittels einer Plexiglasplatte lässt sich zudem mit geringem Mehraufwand ein Multitouch-System aufbauen

Infrarot-Transmitter & -Splitter

Zum Übertragen der Steuerdaten vom Spielserver zu den Robotern wird eine Infraot-Sendeanlage beinhaltet, bei welcher üblicherweise über dem Spielfeld Infrarot-LEDs angebracht sind, welche mit Hilfe eines Infrarot-USB-Transmitters an den Computer mit dem Spielserver angeschlossen sind. Entscheiden ist hier die Wahl der richtigen LEDs mit 880nm Wellenlänge! Die Evrwendung anderer Wellenlängen führt zu erheblichen Einbußen bei der Spielfeldabdeckung. Für kleine Systeme reicht ein einfacher Transmitter mit seperater Stromversorgung für die LEDs aus. Bei größeren Systemen werden mehrer LEDs benötigt wodurch eine Aufteilung der elektrischen Last sinnvoll wird.

Das von uns entwickelte System beinhaltet dazu einen einfachen Transmitter mit Anschlussmöglichkeit an den PC, sowie eine seperate Elektronik zur Aufteilung des Infrarot-Datensignals auf mehrere LED-Stränge. Dieses System kann bei Bedarf aktiv und passiv gekühlt werden und erlaub auch Lasten mit mehreren Ampere zu betreiben.

Kameras

Zur Erkennung der Roboter auf dem Spielfeld werden eine oder mehrere Kameras über dem Spielfeld eingesetzt. Hierbei ist besonders auf eine ausreichende Bildwiederholungsrate von ca. 20fps, eine möglichst verzerrungsfreie Optik, sowie eine hohe Bildauflösung zu achten. Handelsübliche Webcams für den PC eignen sich auf Grund der geringen Bildwiederholungsrate bei hohen Auflösungen nur für den Betrieb auf kleineren Anlagen. Als sehr zuverlässig haben sich Industriekameras mit FireWire-Anschluss erwiesen.

Die FH Kiel verwendet für das große Mixed-Reality Spielfeld zwei AVT Stringray F-125c mit passenden S-Mount Objektiven (zzgl. Adaptern) zur Bildauswertung.

Roboter mrShark

Die eigendlichen Roboter des Mixed-Reality Systems haben eine annähernd quatratische Grundfläche mit ca. 30-35mm Seitenlänge und verfügen üblicherweise über einen Mikrocontroller und einen Infrarot-Reciever, sowie zwei Räder für den Antrieb. Die ursprünglich für die Liga entwickelten Roboter sind nicht mehr zu erwerben. Daher steht mit dem mrShark seit Ende 2014 eine neue und wartungsfreundlichere Version der Roboter zur Verfügung.

Software

Die Software des Mixed-Reality System besteht aus einem zentralen Spielserver, welcher das Fußballspiel (oder ein anderes Szenario) verwaltet, mit der KI der Agenten kommuniziert und Daten an Module zur Hardwaresteuerung und-auswertung weiterleitet.

KI-Framework: MR-FWNS

Das Mixed-Reality KI-Framework der NorthernStars (MR-FWNS) basiert auf verschiedenen Java-Klassen welche die Kommunikation mit dem Spielserver regeln. Darüber hinaus können eigene Agentenprogramme in Form von Java-Klassen geladen werden, welche durch das Framework Umweltdaten des Spielfeldes erhalten und Steuerbefehle zurückgeben.

Spielserver: MR-Server

Der Spielserver des Mixed-Reality System ist die zentrale Instanz, welche alle anderen Module und Programme miteinander verbindet. Er verwaltet das aktuelle Spielszenario und stellt dessen Umweltdaten den einzelnen Agentenprogrammen zur Verfügung, empfängt und sendet Daten von und zur Hardware.

Bildauswertung: MR-Vision

Um die Positionen der Roboter auf dem Spielfeld zu ermitteln werden Daten von über dem Spielfeld befestigten Kameras ausgewertet. Das Modul MR-Vision synchronisiert das Spielfeld mit dem Kamerabild und sendet die Positionen erkannter Roboter an den Spielserver.

Spielfeldanzeige: MR-Graphics

Das Modul MR-Graphics zeigt das Mixed-Reality Spielfeld mit den erkanten Positionen der Roboter auf einem Bildschirm an.

Robotersteuerung: MR-Botcontrol

Das MR-Botcontrol sendet Steuerdaten des Spielservers an die angeschlossene Hardware und bietet eine grafische Oberfläche zum direkten Ansteuern der Roboter und zum Testen der Übertragungshardware.

Links

Hardware

Software

Tutorials & Dokumentation

Unless otherwise stated, the content of this page is licensed under Creative Commons Attribution-ShareAlike 3.0 License