Centrum Badawczo-Rozwojowe PJATK w Bytomiu

Wprowadzenie

Polsko-Japońska Akademia Technik Komputerowych otwiera się na środowisko naukowe oferując interaktywny dostęp z dowolnego miejsca w kraju do Centrum Badawczo-Rozwojowego w Bytomiu, (CBR PJATK) – pierwszego w Polsce zespołu zaawansowanych laboratoriów analizy i syntezy ruchu w modelu shareconomy.

W celu powiększenia zbioru jednostek współpracujących nad opracowywaniem nowych rozwiązań, poszerzenia zakresu prowadzonych badań i podniesienia ich nowatorstwa CBR PJATK udostępnia w trybie współdzielenia:

1) unikalne specjalistyczne laboratoria do akwizycji i analizy ruchu człowieka,

2) infrastrukturę informatyczną umożliwiającą przetwarzanie i gromadzenie dużej ilości danych,

3) dostęp do unikalnych danych zgromadzonych w wyniku dotychczasowych badań.

Korzystając ze światowych doświadczeń, CBR PJATK proponuje współpracę i dzielenie się doświadczeniem, zasobami sprzętowymi i programowymi umożliwiając podejmowanie innowacyjnych i interdyscyplinarnych badań w zakresie akwizycji, analizy i syntezy ruchu człowieka, dyseminację wyników w renomowanych czasopismach światowych i prace rozwojowe prowadzące do wprowadzania innowacyjnych produktów na rynek.

Nasze Laboratoria

**Wielomodalne Laboratorium Ruchu HML (Human Motion Lab)**

HML umożliwia pozyskiwanie danych ruchu przez jednoczesny i synchroniczny pomiar oraz rejestrację kinematyki ruchu, potencjałów mięśniowych reakcji sił podłoża oraz strumieni wideo.

Rys. 1. Przykładowa wizualizacja wielomodalnych danych pozyskiwanych w laboratorium HML

Aparatura

10 kamer NIR Vicon MX-T40 o następujących parametrach: rozdzielczość: 4 MP (2352 x 1728 px) 10-bitowa skala szarości. System pozwala na przechwytywanie do 370 klatek na sekundę w pełnej rozdzielczości (4 MP), w przypadku większych częstotliwości próbkowania następuje zmniejszanie rozdzielczości. Do standardowych pomiarów wykorzystuje się prędkość akwizycji 100 ramek na sekundę. Przestrzeń pomiarowa ma kształt walca elipsoidalnego o wysokości 3m i podstawie o osiach 6,47m, 4,2m Kolejnymi elementami wyposażenia aparturowego są: dwie płyty naciskowe Noraxon, system EMG MyoSystem 1400A 2×8 kanałowy, 4 kamery wideo HD (DV Basler Pilot piA 1920-32gc) bieżnia ze zmiennym nachyleniem, stabilometr.

Oprogramowanie

Nexus, Blade, Polygon, Body Builder, BioWare, MDE (Motion Data Editor) – własny system stworzony w PJATK dla przeglądania i edycji danych ruchu.

Obszary współpracy

Wielomodalna akwizycja ruchu postaci ludzkiej w systemie Vicon: kinematyka, dynamika, EMG, GRF, cztery strumienie HD (High Definition) wideo, oraz LFP (Local Field Potential) zaplanowane po uzyskaniu dostępu do stymulatorów z BMI,
Reprezentacja ruchu: przeliczenia pomiędzy formatami zapisu ruchu, filtracja trajektorii markerów, korekcja ramek wybranych kości, algorytmy wyznaczania szkieletu, ocena jakości szkieletu,
Modelowanie i synteza ruchu: dynamika prosta i odwrotna, algorytmy Featherstona, implementacja i rozszerzenia,
Analiza ruchu z zastosowaniem deskryptorów ruchu. Segmentacja ruchu. Kryteria podobieństwa dla różnych reprezentacji ruchu (DTW-Dynamic Time Warping i jego modyfikacje), redukcja wymiarowości, odkrywanie rozmaitości dla różnych rodzajów ruchu (wymiarowość, mapowanie) klasteryzacja i klasyfikacja danych ruchu,
Badanie ruchu jako cechy osobniczej: wyznaczanie deskryptorów osobniczych,
Planowanie i nadzorowanie rehabilitacji oraz jej optymalizacja,
Projektowanie i optymalizacja protez i implantów ortopedycznych,
Diagnostyka schorzeń ortopedycznych, śledzenie i ocena skutków leczenia,
Diagnostyka i rehabilitacja w chorobie Parkinsona, korelacja skali UPDRS z deskryptorami ruchu, ocena wpływów leku, stymulacji oraz strojenie parametrów stymulacji na podstawie deskryptorów ruchu.

**Laboratorium Komputerowego Modelowania Twarzy HFML (Human Facial Modelling Lab) i Laboratorium Mikroekspresji HMX (Human Microexpression Lab)**

O ile problem retargetingu ruchu człowieka jest rozwiązany, to percepcyjnie wiarygodny retargeting emocji twarzy jest wciąż problemem otwartym. Twarz nie jest bryłą sztywną, a jej mimika jest jednym z głównych kanałów komunikacji pomiędzy ludźmi. Akwizycja mimiki z wykorzystaniem markerów jest prosta aczkolwiek uciążliwa dla aktora. Jedną ze specyficznych mimik są tzw. mikroekspresje występujące w przypadku świadomego kłamstwa.

Rys.2 Od lewej i) dwie klatki z rejestracji mikroekspresji twarzy w przypadku kłamstwa oraz ii) cztery siatki twarzy odtworzone na podstawie danych z systemu markerowego.

Rys. 3. Systemy akwizycji mimiki twarzy (markerowy i bezmarkerowy) Od lewej i) system 10 kamer Bonita 10 (strzałki czerwone) i 6 synchronizowanych sprzętowo kamer wideo (strzałki niebieskie), ii) przykładowa kamera Bonita 10 i wideo kamera.

Aparatura

10 kamer NIR Vicon Bonita 10 o następujących parametrach: rozdzielczość: 1 MP, częstotliwość próbkowania do 250 fps, 10-bitowa skala szarości, 6 kamer Point Grey Grasshopper 3 o rozdzielczości 1920×1200, prędkości akwizycji 162 fps z globalną migawką i precyzyjnymi obiektywami o ogniskowej 25 mm i jasności 1.4-16. Trzy kontrolery USB 3.0, z dwoma portami zewnętrznymi 5 Gb/s. Programowany synchronizator z trybami: autorun, trigrun, syncrun, gaterun, softrun. Komputer sterujący z dyskiem 2x5TB.

Oprogramowanie

Nexus, Blade, Polygon, Meshlab. Zaimplementowane dwie technologie przenoszenia pozyskanej z wideo mimiki twarzy aktora na 3D neutralną siatkę twarzy. Pierwsza technologia wykorzystuje system markerowy Bonita, druga obrazy z 6 synchronizowanych kamer wideo.

Obszary współpracy

Przemysł gier wideo rozrywkowych i poważnych,
Biometria twarzy, wykrywanie kłamstwa na podstawie mikroekspresji
Badania przesiewowe pod kątem wykrywania uszkodzeń genetycznych

**Laboratorium Wizyjnej Analizy Ruchu HSL (Human Seeing Lab)**

Laboratorium HSL jest nastawione na rozwój, testowanie i tworzenie nowych narzędzi dla potrzeb IVA (Inteligent Video Analytics). Podstawą dla działania Laboratorium HSL jest dostęp do strumieni wideo z kamer PTZ w jakości HD, bazy danych oraz sprzęt pozwalający na przetwarzanie online danych wideo.

Rys. 4. Przykładowe ekrany systemu rozpoznawania zachowań. Od lewej i) klasyfikacja wypracowana przez system, ii) wizualizacja trajektorii ruchu punktów wyznaczonych na krawędzi sylwetki.

Aparatura

9 kamer przemysłowych PTZ Axis Q6045-E Mk II w tym 7 w Gliwicach, 2 w CBR Bytom. Kamery posiadają następujące parametry: rozdzielczość full HD 1080p, format strumieniowania MJPEG 25FPS, 32 krotny zoom optyczny, migawka 1/33.000s do 1/3s, zgodność z ONVIF, dostęp przez protokoły HTTP, HTTPS, SSL/TLS, FTP, CIFS/SMB, SNMP, SSH, RTCP, SFTP. 14 dwuprocesorowych stacji roboczych do testowania i implementacji algorytmów i systemu. Serwer macierzy dyskowej oraz backupu danych wizyjnych.

Oprogramowanie

Implementacje na poziomie prototypów i) rozpoznawania akcji AR (Action Recognition) z wykorzystaniem wysokopoziomowej reprezentacji ruchu action banks, poselets i ich mieszanin, historii prędkości śledzonych punktów, segmentacji ruchu, transformaty Hough’a, modeli przegubowych, histogramów gradientów, metod opartych na rozmaitościach topologicznych, ii) śledzenia osób i obiektów TMO (Tracking Multiple Objects), opartych na śledzeniu punktów kluczowych i klasyfikacji ich trajektorii, modelach deformowalnych, minimalizacji energii, tracklet confidence, discrimative appearance, metodach grafowych, iii) rozpoznawania i śledzenia pozy osób PT (Pose Tracking) w tym estymacji pozy 3D.

Obszary współpracy

Identyfikacja zachowań osób oraz detekcja sytuacji niebezpiecznych,
Przewidywanie intencji na podstawie obrazów z wielokamerowych systemów wideo przy użyciu modeli zachowań grup,
Tworzenie materiałów dowodowych na podstawie wyników analizy ruchu w oparciu o psychologię społeczną, techniki biometryczne i inferencję postaci w 3D z wideo,
Analiza prawdopodobieństwa zagrożenia na podstawie informacji o osobach i grupach przemieszczających się w polu widzenia wielu kamer,
Identyfikacja zachowań osób oraz detekcja sytuacji niebezpiecznych,
Przewidywanie intencji na podstawie obrazów z wielokamerowych systemów wideo przy użyciu modeli zachowań grup,

**Laboratorium Systemów Ubieralnych WTL (Wearable Technology Lab)**

Możliwość akwizycji parametrów ruchu i szerzej parametrów życiowych człowieka jest jednym z gwałtownie rozwijających się obszarów badawczych i wdrożeniowych.

Rys.5. Trzy wersje kostiumu akwizycji ruchu z modułami i przewodami zintegrowanymi z odzieżą.

Aparatura

Własny kostium oparty na połączonych przewodowo magistralą CAN modułach IMU. Kostium posiada wersję konfigurowalną, paskową i zintegrowaną z odzieżą. Opracowane zostały własne prototypy bezprzewodowych modułów WBAN oparte na ZigBee.

Oprogramowanie

Rys.6. Od lewej i) ekran konfiguracji oprogramowania obsługującego strój w fazie wprowadzania danych antropometrycznych użytkownika, ii) ekran konfiguracji potoku przetwarzania danych.

Kostium IMU obsługuje oprogramowanie MSAR o rozwijalnej strukturze modułowej przeznaczone do akwizycji, wizualizacji i analizy danych ruchu w trybie online jak również gromadzenia danych ruchu z mobilnych systemów akwizycji ruchu. Oprogramowanie MSAR składa się z czterech modułów:

Biblioteka do komunikacji z systemem MSAR,
Moduł obsługi danych strumieniowych czujników systemu MSAR,
Moduł obsługi wizualizacji danych szkieletowych,
Moduł wprowadzający obsługę funkcjonalności systemu MSAR do aplikacji umożliwiając integrację danych MSAR z innymi modułami przetwarzającymi dane ruchu.

Obszary współpracy

Wszystkie obszary sportu w których występuje potrzeba akwizycji i analizy ruchu,
Długookresowa zdalna kontrola ruchowa pacjentów z chorobą Parkinsona w ich środowisku naturalnym,
Nadzór osób starszych, detekcja upadków, poślizgnięć,
Rehabilitacja i telerehabilitacja.

**Laboratorium Dynamiki i Wielomodalnej Interakcji HDMI (Human Dynamics and Multimodal Interaction Lab)**

CAREN Extended (Computer Assisted Rehabilitation ENvironment) jest immersyjnym systemem rzeczywistości wirtualnej przeznaczonym dla badań i rehabilitacji. System pozwala na realizację prac badawczych w zakresie neurologii, rehabilitacji, ortopedii, sportu, rozrywki zarówno w trybie dostępu bezpośredniego jak i zdalnego.

Rys. 7. Laboratorium CAREN Extended widziane od strony stanowiska operatora. Od lewej i) widok przed uruchomieniem środowiska wirtualnego, ii) widok z wizualizacją ruchu wzdłuż ulicy miasta.

Aparatura

Podstawowym elementem wyposażenia aparaturowego laboratorium HDMI jest pierwszy w Polsce i jeden z 30 eksploatowanych w świecie system CAREN Extended stanowiący jakościowe rozszerzenie laboratorium HML, polegające na wprowadzeniu wielomodalnego sprzężenia zwrotnego realizowanego z wykorzystaniem technik wirtualnej rzeczywistości. CAREN Extended posiada interaktywną dwupasmową bieżnię o prędkości maksymalnej 5 m/s. Na całej długości każdego pasa bieżni rozmieszczone są czujniki mierzące siłę nacisku stopy na podłoże (system GRF). Bieżnia umieszczona jest na platformie o 6 stopniach swobody. Kinematyka platformy jest programowalna i umożliwia zadawanie prędkości i przyśpieszeń liniowych i kątowych platformy w funkcji czasu. Środowisko CAREN Extended posiada zaawansowany system wizyjny oraz system dźwięku dookólnego. Obraz wyświetlany jest na półsferycznym ekranie umieszczonym przed bieżnią.

W systemie realizowany jest bezprzewodowy pomiar potencjałów mięśniowych EMG. Możliwa jest rekonfiguracja systemu przez dodanie systemu EEG i systemu DBS z pomiarem potencjałów LFP. Wszystkie wielkości mierzone w środowisku CAREN Extended są synchronizowane sprzętowo. Wielkości mierzone w systemie jak również estymowane w wykorzystaniem oprogramowania są na bieżąco wyświetlane na wirtualnych ekranach, oraz mogą być zapisane w edytowalnym pliku graficznym. Dodatkowo zachowanie osoby na bieżni nagrywane jest przez 3 kamery.

Oprogramowanie

Nexus, Blade, Polygon, Body Builder, D-Flow.

Obszary współpracy

Badanie strategii stabilizacji pozy wytrącanej z punktu równowagi przez krótkookresowe zmiany prędkości pasów, lub zmiany orientacji platformy,
Badanie motoryki chodu i biegu w przypadku zakłóceń,
Badanie roli informacji wizyjnej (obraz na ekranie), sensorycznej (platforma 6DOF) i akustycznej na strategie utrzymywania równowagi, chodu i biegu,
Badanie roli informacji wizyjnej (obraz na ekranie) na strategię chwytania (synchronizacja oko-ręka),
Opracowanie nowych strategii rehabilitacji z wykorzystaniem biofeedback’u, w tym dla przypadku choroby Parkinsona (rythmic cues),
Projektowanie i optymalizacja protez i implantów ortopedycznych,
Diagnostyka schorzeń ortopedycznych, śledzenie i ocena skutków leczenia.

Bazy danych

Baza Danych Wizyjnych w jakości full HD p1080, 18-27 FPS MJPEG wraz z wielowarstwowym rozbudowywanym indeksem opisującym ruch pod kątem rozpoznawania wzorców zachowań. Ze względu na swój rozmiar jest bazą unikatową w skali świata – obecnie udostępniane zbiory wideo mają maksymalnie kilka GB, niskorozdzielczych danych wideo z nagraniami ruchu i danymi kalibracyjnymi kamer. Baza zawiera 10000 godzin nagrań, ponad miliard trzysta milionów klatek, 7.5 miliona zapisanych zdarzeń, z czego 53 tysiące zdarzeń ręcznie adnotowanych, 150 rodzajów zdarzeń.

Baza Danych Assetów Realistycznych Animacji na potrzeby gier komputerowych (mocap + rigged meshes)

Wielomodalna Baza Danych z pomiaru ruchu, chodu, ćwiczeń osób zdrowych i pacjentów: mocap (100 fps), 4 strumienie wideo (25 fps, 1920×1080), EMG, GRF.

Multimodalna Baza Danych wybranych zadań ruchowych pacjentów chorych na chorobę Parkinsona: 4 strumienie wideo (25 fps, 1920×1080), motion capture (100 fps), EMG(EMG LB 3), GRF.

Baza Danych Posegmentowanych adnotowanych zdjęć z ultrasonografii dłoni wraz z power doppler.

Infrastruktura informatyczna

Obliczenia: 23 węzły, 20 x Tesla K80, 2 x NVidia K2, 664 core CPU, 7TB RAM.
Pamięć: 1.2 PB, dynamic tiering, architektura do pracy sekwencyjnej i losowej, 15 MB/s (read), nośniki: SSD (3 TB), SAS (184 TB), NL-SAS (1092 TB)
Oprogramowanie: Wirtualizacja RHEV, SLURM, GLUT, MATLAB (serwer), OS Win, ubuntu, MSVS, GCC.

CBR-PJATK jako ekosystem nowoczesnych laboratoriów akwizycji, analizy i syntezy ruchu w modelu shareconomy

Współpracując z wieloma instytucjami i firmami, w CBR-PJATK zauważono zapotrzebowanie na dostęp do zasobów, zaawansowanej infrastruktury technicznej oraz know-how. Posiadaną infrastrukturę i zasoby PJATK będzie udostępniać innym podmiotom w Polsce i w Europie na zasadach non profit oraz komercyjnych używając do tego największej infrastruktury sieciowej w kraju – PIONIER oraz GeaNT. PIONIER poprzez model federacji – zunifikowany mechanizm autoryzacji użytkowników – oferując dostęp do wszystkich korzystających z tej sieci podmiotów naukowych i medycznych w kraju, co upraszcza zarządzanie użytkownikami zewnętrznymi.

Rys. 8. Ogólna struktura zasobów CBR PJATK oraz koncepcja ich udostępniania.

W PJATK CBR stworzono również ekosystem obliczeniowy w ramach którego można udostępniać Infrastrukturę: środowiska wirtualne, serwery obliczeniowe, serwery danych, laboratoria, oraz posiadane zasoby. Podstawowe zastosowania ekosystemu obliczeniowego obejmują: gromadzenie danych, tworzenie modeli obliczeniowych, przetwarzanie obrazów, udostępnianie zasobów, integrację z innymi ośrodkami obliczeniowymi oraz wymianę informacji.

Rys.9. Możliwości wykorzystania infrastruktury informatycznej posiadanej w CBR PJATK.

System Bezpieczeństwa

Jako system bezpieczeństwa, który umożliwia spełnienie wymagań ustawy o ochronie danych osobowych oraz innych rozporządzeń z tego wynikających, CBR PJATK wdrożyło infrastrukturę klucza publicznego, której elementami są między innymi: urzędy certyfikacji, stacje personalizacji kart inteligentnych wraz z drukarkami. W konsekwencji logowanie do systemów odbywa się przy użyciu kart inteligentnych posiadających ważne certyfikaty osobowe.

Rys.10. Koncepcja systemu bezpieczeństwa.

System telekonferencji i zunifikowanej komunikacji

System do wideokonferencji i zunifikowanej komunikacji został opracowany na potrzeby interaktywnego udostępniania laboratoriów, zasobów i danych. W skład systemu wchodzą sprzętowe terminale wideo znajdujące się w laboratoriach oraz serwery zunifikowanej komunikacji zwiększające efektywność komunikacji i współpracy zdalnej. System umożliwia połączenia głosowe oraz wideo, wysokiej jakości obsługę konferencji głosowych, połączeń wielostronnych i wymaga od użytkowników zlokalizowanych poza CBR PJATK tylko przeglądarki internetowej.