Na Wydziale Inżynierii Elektrycznej i Komputerowej Politechniki Krakowskiej powstają rozwiązania, które łączą nowoczesne technologie z realnymi potrzebami społecznymi. Najnowszym przykładem jest projekt studentów II roku kierunku Informatyka w Inżynierii Komputerowej, którzy opracowali prototyp inteligentnego tłumacza języka migowego wykorzystującego sztuczną inteligencję i widzenie komputerowe.
Autorami projektu „Rozumiemy się bez słów” są Dmytro Burkovskyi, Oleksii Izvarin oraz Illia Kostruba, działający pod opieką dr. inż. Karola Sucheni w ramach Koła Naukowego Mikrokontroler. Projekt stanowi doskonały przykład tego, że już na wczesnym etapie studiów nasi studenci realizują ambitne przedsięwzięcia badawczo-rozwojowe, wykorzystujące najnowocześniejsze metody sztucznej inteligencji, uczenia maszynowego oraz analizy obrazu.
Opracowana aplikacja umożliwia tłumaczenie gestów polskiego alfabetu języka migowego na tekst w czasie rzeczywistym przy wykorzystaniu zwykłej kamery smartfona. Co szczególnie istotne, rozwiązanie nie wymaga stosowania specjalistycznych rękawic, czujników ani dodatkowego sprzętu. Dzięki temu może w przyszłości stać się powszechnie dostępnym narzędziem wspierającym komunikację pomiędzy osobami słyszącymi i niesłyszącymi.
System wykorzystuje zaawansowane algorytmy sztucznej inteligencji. Kamera analizuje obraz dłoni, wyznacza 21 punktów charakterystycznych, śledzi ich ruch, a następnie z wykorzystaniem modeli LSTM oraz Transformer Encoder rozpoznaje wykonywane znaki i przekształca je na tekst. To kompleksowe rozwiązanie obejmuje cały proces – od akwizycji danych, poprzez przygotowanie zbiorów treningowych i trenowanie modeli AI, aż po stworzenie działającej aplikacji mobilnej.
Projekt odpowiada na bardzo ważne wyzwanie społeczne związane z dostępnością komunikacji dla osób z niepełnosprawnością słuchu. Twórcy planują dalszy rozwój systemu poprzez rozszerzenie rozpoznawania z pojedynczych liter na słowa i całe zdania, przygotowanie trójwymiarowego awatara języka migowego oraz integrację z komunikatorami internetowymi i platformami do wideokonferencji.
Szczególną wartością tego przedsięwzięcia jest fakt, że jego autorami są studenci drugiego roku studiów. Potwierdza to wysoki poziom kształcenia na Wydziale Inżynierii Elektrycznej i Komputerowej oraz skuteczność modelu edukacji, w którym studenci już od początku studiów uczestniczą w rzeczywistych projektach badawczych, rozwijają kompetencje inżynierskie i zdobywają doświadczenie w pracy z technologiami przyszłości.
Sukces projektu został zauważony również poza środowiskiem akademickim. O rozwiązaniu szeroko poinformowała Politechnika Krakowska w swoim oficjalnym serwisie informacyjnym, prezentując szczegóły działania aplikacji oraz sylwetki jej twórców. Projekt zainteresował także media regionalne – studenci Wydziału wraz z opiekunem udzielili wywiadu dla TVP3 Kraków, prezentując działanie systemu oraz jego potencjalne zastosowania w codziennym życiu osób niesłyszących.
To kolejny przykład pokazujący, że Wydział Inżynierii Elektrycznej i Komputerowej Politechniki Krakowskiej jest miejscem, w którym rodzą się innowacyjne rozwiązania łączące informatykę, sztuczną inteligencję i inżynierię z odpowiedzialnością społeczną. Jesteśmy dumni z naszych studentów i ich opiekuna oraz gratulujemy osiągnięcia, które doskonale wpisuje się w misję Wydziału – kształcenia inżynierów zdolnych tworzyć technologie odpowiadające na wyzwania współczesnego świata.
Polecamy materiały
➡ Artykuł Politechniki Krakowskiej:
„Od gestu do tekstu w czasie rzeczywistym. Nasi studenci rozwijają tłumacza języka migowego opartego na AI”
➡ Materiał TVP3 Kraków:
„Aplikacja tłumacząca język migowy. Projekt studentów z Krakowa”
Fot. Robert Żewecki
Fot. Zasoby WIEiK
