# Beschreibe dein Projekt kurz. (100w) PsyLink ist ein neuartiges Eingabegerät für Computer/Smartphones: ![Foto](https://psylink.me/img/prototypes/p10.jpg) Das kabellose, quelloffene Elektrodenarmband misst durch "Elektromyographie" die Nervenströme auf der Haut, die entstehen, wenn Arme/Hände bewegt werden. Die quelloffene Hardware wurde 2021 von mir entwickelt, funktioniert bereits, und lässt sich für ~100€ nachbauen. Softwareseitig ist die Benutzeroberfläche, die gemessenen Signale mit einer künstlichen Intelligenz auswertet und zu Computerbefehlen (z.B. Tastendrücken) umwandelt, aktuell nur ein unzumutbares Proof-Of-Concept (Machbarkeitsnachweis). Mithilfe des PrototypeFunds möchte ich eine Platformunabhängige und leicht nutzbare Software entwickeln, um dieses Computereingabegerät an technisch weniger versierte Nutzer\*innen zu bringen - als Stütze für körperlich Beeinträchtigte, und für gesunde Enthusiast*innen zugleich. # Welche gesellschaftliche Herausforderung willst du mit dem Projekt angehen? (175w) \[...\] Heute leben wir in einer Zeit, in der Verhalten und Wahrnehmungen verstärkt durch Technologien wie Smartphones beeinflusst werden. Bald könnten auch Neuroprothesen (Geräte die direkt mit dem Gehirn kommunizieren) über therapeutische Anwendungen wie Cochlea-Implantate hinausgehen und auch für gesunde Menschen zum alltäglichen Werkzeug werden. Das Potential für Nutzen, aber auch freiheitseinschneidendem Missbrauch, ist enorm. Berichte wie https://spectrum.ieee.org/bionic-eye-obsolete zeigen, wie Menschen zunehmend unter nicht-quelloffenen Neuroprothesen leiden, und dass Open Source essenziell zur Schaffung vertrauenswürdiger, sicherer Neuroprothesen ist, um Transparenz, Kontrolle, Verständnis, und demokratische Beteiligung an diesen Technologien zu gewährleisten. 2021 entwickelte ich daher PsyLink, ein Open-Source-Armband mit Elektromyographie-basierter Nervenschnittstelle. Gerührt war ich von Anfragen verschiedener Endnutzer\*innen, die mit PsyLink ihre Krankheiten überwinden wollten. Die Software ist allerdings aktuell unzumutbar, daher musste ich die Anfragen ablehnen. Deshalb bitte ich um Förderung, um ein quelloffenes Fundament im Bereich Brain-Computer-Interface und Neuroprothetik zu schaffen und die Software zugänglicher zu machen. # Wie willst du dein Projekt technisch umsetzen? (175w) Eine technische Umsetzbarkeit der Grundkonzepte wird durch das bereits funktionierende Proof-Of-Concept-Programm in der Programmiersprache Python demonstriert: https://psylink.me/s3/ Für die neue Software werde ich evaluieren, welche Programmiersprache und welches Framework sich für die Benutzeroberfläche am besten eignet, um eine maximale Portabilität und Langlebigkeit zu gewährleisten. Der aktuelle Favorit ist Flutter (https://flutter.dev/), ein modernes UI Framework von Google, allerdings habe ich mich noch nicht darauf festgelegt. Die Datenübertragung findet über Bluetooth Low Energy statt. Die Künstliche Intelligenz wird, wie im Proof-Of-Concept, mit einem 5- bis 10-lagigem Convolutional Neural Network mit etwa 10.000 - 100.000 Parametern umgesetzt. Dies wird auf dem Endgerät an die individuellen Biosignale der Benutzer\*in angepasst und ist klein genug um selbst auf mobilen Endgeräten in vertretbarer Zeit trainiert zu werden. Als Programmierschnittstelle nehme ich hierfür TensorFlow, ggf. TensorFlow Lite. Der Zweck der Software ist unter anderem, bei Tätigung bestimmter Gesten oder Muskelanspannungen eine entsprechende Aktion auszulösen. Das Proof-Of-Concept nutzt die Python-Bibliothek "pynput" ( https://pypi.org/project/pynput/ ) zum Simulieren von Tastendrücken. Etwas entsprechendes werde ich auch für die neue Programmiersprache finden. # Hast du schon an der Idee gearbeitet? Wenn ja, beschreibe kurz den aktuellen Stand und erkläre die geplanten Neuerungen. (100w) Die Hardware des Elekrodenarmbandes ist bereits funktionsfähig, siehe Medienbericht: https://hackaday.com/2022/01/07/psylink-an-open-source-neural-interface-for-non-invasive-emg/ Die aktuelle Software zur Verarbeitung der Signale ist nur ein Proof-Of-Concept: https://psylink.me/s3/ Mithilfe eurer Förderung möchte ich einen Softwareprototypen erstellen, der folgende Neuerungen enthält: - Einfache Nutzbarkeit: Wer eine Bluetooth-Tastatur am Smartphone anschließen kann, sollte auch fähig sein, PsyLink ans Smartphone anzuschließen und zu benutzen um durch Armgesten z.B. die Lautstärke hoch- und runter-regeln zu können. - Plattformunabhängigkeit - erstmal nur Android, Linux, und Windows. - Interoperativität: Eine modulare Schnittstelle, um Signale von anderen Geräten nutzen zu können, z.B. Beschleunigungssensor vom Smartphone, falls keine PsyLink-Hardware verfügbar ist. # Welche ähnlichen Ansätze gibt es schon und was wird dein Projekt anders bzw. besser machen? (60w) Ein Vorreiter von PsyLink war das "Myo" Armband von Thalmic Labs. Lange Zeit der Standard, war aber nicht open source, und war nach dem Verkauf an Facebook nicht mehr verfügbar. Somit wurde jede Software die dafür geschrieben wurde mit einem Schlag nutzlos. Ich möchte eine Alternative schaffen, die gleichzeitig open source, nutzerfreundlich, kabellos, und leicht erhältlich/nachbaubar ist. # Wer ist die Zielgruppe und wie soll dein Projekt sie erreichen? (100w) Zielgruppen: 1. Körperlich beeinträchtigte, zur leichteren Steuerung von PC oder Smartphone 2. Künstler\*innen, die die Signale nutzen können um z.B. Musik zu erzeugen 3. Technik- und Neurowissenschaften-Enthusiast\*innen, die mit den Signalen experimentieren können, und weitere Anwendungen darauf basierend entwickeln können. Der Chinesische Elektronikhersteller "PCBWay" stellt großzügigerweise die Hardware bereit, die ich auf Anfrage an Endnutzer verschicken kann, die sich das Gerät nicht selbst zusammen bauen möchten. Die Software ist allerdings auch ohne PsyLink-Gerät nutzbar: Anstelle der Elektrodensignale können z.B. auch Beschleunigungssensordaten eines Smartphones genutzt werden. Erreicht werden potenzielle Nutzer*innen auf Veranstaltungen, durch "Mundpropaganda", sowie Online-Artikeln wie diesen hier: https://hackaday.com/2022/01/07/psylink-an-open-source-neural-interface-for-non-invasive-emg/ # An welchen Software-Projekten hast du / habt ihr bisher gearbeitet? (100w) \[...\] # Erfahrung, Hintergrund, Motivation, Perspektive: Was sollen wir über dich (bzw. euch) wissen und bei der Auswahl berücksichtigen? (100w) \[...\] # Skizziere kurz die wichtigsten Meilensteine, die im Förderzeitraum umgesetzt werden sollen. (100w) 1. **Basis**: Die Entwicklung einer minimalen Software (ohne Inhalt) mit einer plattformübergreifenden Technologie, funktionierend auf Android, Linux, Windows. 2. **Geräteschnittstelle**: Einbau einer drahtlosen Schnittstelle (über Bluetooth-Low-Energy) zur Verbindung mit dem PsyLink-Gerät 3. **Datenvisualisierung**: Ausgabe der rohen empfangenen Daten als Graphen 4. **KI-Backend**: Einbindung einer KI-Programmbibliothek zum Trainieren und Auswerten von neuronalen Netzen 5. **KI-Training**: Einbau einer Benutzeroberfläche zum Sammeln der persönlichen Biosignalen, um das neuronale Netz auf den/die Anwender*in zu trainieren 6. **KI-Aktionswahl**: Einbau einer Benutzeroberfläche zum Verknüpfen von Gesten mit Aktionen (z.B. Zeigefinger hoch um Lautstärke zu erhöhen) 7. **Gestensteuerung**: Echtzeit-Auswertung von Signalen und Auslösung der gewünschten Aktionen