Monitoring, chatboty, analiza dokumentów i rozpoznawanie obrazów – sztuczna inteligencja coraz częściej wspiera administrację publiczną. Nasze badanie pokazuje jednak, że wiele instytucji nie potrafi odpowiedzieć na podstawowe pytania o stosowane systemy, ich ryzyko czy wpływ na prawa obywateli.

W połowie maja przedstawiliśmy pierwszą część raportu dotyczącego wykorzystania przez instytucje publiczne sztucznej inteligencji. Prezentowaliśmy w nim wyniki naszego monitoringu, który obejmował 5480 instytucji publicznych. Badanie pokazało, że AI jest już obecna w administracji — m.in. w transkrypcji nagrań, analizie dokumentów, chatbotach, monitoringu, diagnostyce, cyberbezpieczeństwie i narzędziach wspierających decyzje — ale trudno ustalić pełną skalę i sposób jej użycia. Spośród instytucji, które odpowiedziały, 9% zadeklarowało korzystanie z AI, przy czym odsetek był wyższy w miastach na prawach powiatu, organach centralnych i starostwach. Problemem okazały się brak przejrzystości, rozmywanie definicji AI oraz niemal całkowity brak wewnętrznych zasad korzystania z takich narzędzi przez pracowników.

W drugiej fazie badania sprawdzaliśmy, jak wybrane instytucje publiczne odpowiadają na szczegółowe pytania dotyczące używanych przez nie systemów sztucznej inteligencji. Do pogłębionej analizy wybrano 52 podmioty, które we wcześniejszym badaniu deklarowały korzystanie z rozwiązań opartych na AI albo algorytmach. Zapytaliśmy m.in. o przeznaczenie systemów, klasyfikację ryzyka według AI Act, ocenę skutków dla ochrony danych, ocenę wpływu na prawa podstawowe, instrukcje użytkowania, dostawców, koszty oraz korzystanie z modeli ogólnego przeznaczenia.

Ostatecznie odpowiedzi odnoszących się do używanych systemów AI udzieliło jedynie 28 instytucji, czyli niewiele więcej niż połowa zapytanych — dokładnie 54%. W wielu przypadkach konieczne było ponaglanie, doprecyzowywanie pytań i konfrontowanie instytucji z ich wcześniejszymi deklaracjami. Część podmiotów, które kilka miesięcy wcześniej wskazywały konkretne systemy AI, w drugiej fazie badania twierdziła już, że takich systemów nie używa. Nie zawsze wyjaśniano, skąd wzięła się ta zmiana stanowiska.

Raport z badania – część II

Czego się dowiedzieliśmy?

Z uzyskanych informacji wynika, że administracja wykorzystuje AI przede wszystkim w trzech obszarach. Pierwszy to analiza obrazu i monitoring, w tym rozpoznawanie tablic rejestracyjnych, obiektów, osób czy sytuacji nietypowych. Drugi to automatyzacja kontaktu z obywatelami, czyli chatboty, voiceboty i wirtualni asystenci. Trzeci to przetwarzanie tekstu, dokumentów i mowy, m.in. transkrypcja, analiza faktur, klasyfikacja dokumentów czy wsparcie w pracy z informacjami prawnymi.

W wielu przypadkach instytucje nie przeprowadziły kwalifikacji ryzyka systemów AI. Spośród 37 opisanych systemów w 19 przypadkach wskazano, że takiej kwalifikacji nie było. Tylko jeden system uznano za wysokiego ryzyka — System Identyfikacji Roślin AI stosowany przez Agencję Restrukturyzacji i Modernizacji Rolnictwa. Tymczasem część innych zastosowań, takich jak monitoring, analiza zwolnień lekarskich, rekrutacja czy systemy wspierające świadczenia publiczne, również może mieć istotne znaczenie dla praw obywateli.

Raport pokazuje także poważne luki w zakresie ochrony danych osobowych. Ocenę skutków dla ochrony danych, czyli DPIA, przeprowadzono tylko w części przypadków, a jeszcze rzadziej udostępniano jej treść. To oznacza, że obywatele często nie wiedzą, jakie dane są przetwarzane przez systemy AI, jakie ryzyka zidentyfikowano i jakie zabezpieczenia zastosowano. Szczególnie problematyczne jest to w przypadku systemów monitoringu, rozpoznawania tablic rejestracyjnych, chatbotów czy narzędzi wykorzystywanych w rekrutacji.

Podobnie wygląda sytuacja z oceną wpływu na prawa podstawowe, czyli FRIA. Obowiązek jej przeprowadzania dla systemów wysokiego ryzyka zacznie mieć szczególne znaczenie wraz ze stosowaniem AI Act, ale już dziś takie oceny mogłyby być ważnym narzędziem odpowiedzialnego wdrażania AI. W badaniu prawie żadna instytucja ich nie przeprowadziła. W dwóch przypadkach zadeklarowano wykonanie takiej oceny mimo braku klasyfikacji systemu jako wysokiego ryzyka, co można uznać za dobrą praktykę, ale jeden z tych dokumentów nie został udostępniony.

Kolejny problem to brak jasnego oznaczania użycia AI. Obywatel powinien wiedzieć, czy sztuczna inteligencja uczestniczyła w przygotowaniu dokumentu, pisma, rekomendacji, analizy albo decyzji dotyczącej jego sprawy. Dotyczy to nie tylko sytuacji, gdy system samodzielnie podejmuje decyzję, ale także przypadków, gdy wspiera urzędnika, typuje sprawy do kontroli, przygotowuje projekt pisma albo analizuje dane. Bez takiej informacji trudno zakwestionować wpływ AI, zapytać o zasady działania systemu czy domagać się dodatkowej weryfikacji przez człowieka.

W raporcie zwracamy też uwagę na korzystanie z modeli ogólnego przeznaczenia, takich jak rozwiązania OpenAI czy Microsoft. W badanym zbiorze nie było to zjawisko dominujące, ale tam, gdzie takie modele się pojawiały, często wiązało się to z pytaniami o bezpieczeństwo danych, zależność od dużych dostawców i możliwość kontroli nad tym, gdzie trafiają informacje przekazywane systemowi. Na tym tle ważnym wątkiem jest rozwój polskiej rodziny modeli PLLuM, tworzonej z myślą o administracji publicznej i bezpieczniejszym przetwarzaniu danych w polskim oraz europejskim kontekście.

Nasze rekomendacje

Wnioski z badania są jednoznaczne: administracja publiczna zaczyna korzystać z AI, ale przejrzystość tych działań jest nadal nierówna, reaktywna i zbyt często zależy od dociekliwości obywateli lub organizacji społecznych. Informacje o systemach są rozproszone, niepełne, trudne do porównania i często dostępne dopiero po złożeniu wniosku o informację publiczną.

Dlatego rekomendujemy utworzenie publicznego rejestru zastosowań AI w administracji publicznej. Powinien on pokazywać nie tylko, jakie systemy zostały wdrożone, ale przede wszystkim: przez kogo, w jakim celu, w jakim procesie, wobec kogo i z jakim możliwym wpływem na prawa obywateli są wykorzystywane. Rejestr powinien być warunkiem dopuszczalności stosowania AI w sprawach dotyczących obywateli.

Drugą kluczową rekomendacją jest wprowadzenie obowiązku oznaczania użycia AI w działaniach administracji. Jeżeli sztuczna inteligencja miała znaczenie dla treści dokumentu, przebiegu sprawy, rekomendacji, analizy albo decyzji, obywatel powinien zostać o tym jasno poinformowany. Bez tego nie ma realnej rozliczalności ani skutecznej kontroli nad tym, jak państwo wykorzystuje nowe technologie.

Tekst powstał w ramach projektu finansowanego przez European AI & Society Fund.