No może nie cały, bo obecnie nie wyobrażam sobie sytuacji, w której cały proces audytowania będzie wykonywany przez programy od A do Z, jednak każdy z nas lubi automatyzować procesy i pozbywać się żmudnych, powtarzalnych zadań. Czy możemy zatem skorzystać z dobrodziejstwa AI i usprawnić procesy audytowe w sposób rzetelny, bezstronny, z poszanowaniem dotychczasowych procesów wewnętrznych i nade wszystko poufny? Ja mówię – sprawdzam!
FLOP czy FLOPS?
FLOPs to Floating point operations, (Operacje Zmiennoprzecinkowe) zatem to jednostka ilości. FLOPS to Floating point operations per second (Operacje Zmiennoprzecinkowe na sekundę) czyli jednostka prędkości. Obie jednostki należy traktować w rozumieniu więcej = lepiej. FLOPS nie jest jednostką SI, ale można go interpretować jako jednostkę o wymiarze 1/s. W latach 60 komputery miały moc obliczeniową liczoną w MFLOPS (mega = 106). W latach 80 Cray-2 osiągnął 1 GFLOPS (giga = 109), w 1997 Intel wyprodukował ASCI Red o mocy 1 PFLOPS (tera = 1012), a w 2008 IBM pochwalił się komputerem Roadrunner o mocy 1 PFLOPS (peta = 1015). Najszybszym superkomputerem w Polsce jest Helios będący własnością Akademickiego Centrum Komputerowego Cyfronet Akademii Górniczo-Hutniczej w Krakowie o wydajności 35 PFLOPS i to nie jest taki różowy wynik jeśli porównamy go do aktualnego rekordzisty – amerykańskiego komputera Frontier o mocy 1,102 EFLOPS (eksa = 1018).
Serwis epoch.ai[1] pokazuje modele od wczesnych lat 50 oraz ich moc obliczeniową. Należy zwrócić uwagę, że jeden z pierwszych modeli o nazwie Thessus (1950) miał moc obliczeniową na poziomie 4×101 FLOPSów, a dzisiejsze modele oparte są o klastry o łącznej mocy 4.6×1026 FLOPSów (prawie 5 sekstylionów). Znany niemal wszystkim OpenAI GPT-4o ma moc na poziome 3.8×1025. To piękne liczby, ale chciałbym również zwrócić uwagę, że koszt wytrenowania modelu GPT-4 w 2023 roku wyniósł 41 milionów dolarów, a to raptem równowartość 1/1000 Twittera (Elon Musk kupił serwis Twitter za $41390 milionów).
A na co to komu? A komu to potrzebne?
Pytanie zasadne i kupując nowego laptopa bądź komórkę rzeczywiście nie pytamy o FLOPSy, a o inne dane techniczne – typ wyświetlacza, pamięć, rodzaj procesora, inne. Jednak w kwestii audytów oraz AI może się okazać, że nie dość iż będzie to innowacja, to wkrótce stanie się to wymogiem.
AI może wspierać proces audytowania na wiele sposobów, zwiększając efektywność, dokładność i automatyzację niektórych zadań. Z rzeczy oczywistych mogą to być następujące kwestie:
- Automatyzacja planowania audytu – osobiście napisałem makro w excelu, które w dość prymitywny sposób planowało audyty. Finalnie odstąpiłem od projektu. Profesjonalne narzędzia to np. BERT / RoBERTa (Google & Facebook AI)
- Analiza dokumentacji i zapisów audytowych – analizę transkrypcji np. spotkań na Teams posiada CoPilot (od Microsoft), również modele GPT-4 / Claude 3
- Wspomaganie przeglądu dowodów zgodności – np. IBM Watson Discovery lub Google Cloud Document AI
- Inteligentne raportowanie i rekomendacje – BERT (Bidirectional Encoder Representations from Transformers) od Google
- Wsparcie w szkoleniach i analizie luk – modele wspierające jak np. Deep Learning for Speech Recognition, który może analizować rozmowy audytorów i sugerować poprawki. Mariusz, a co Ty na to?
Zatem – tak, istnieją już narzędzia wspierające proces audytowania z wykorzystaniem sztucznej inteligencji (AI). Przykładem jest narzędzie MindBridge, stosowane przez firmę KPMG, które skanuje wszystkie transakcje finansowe w ciągu roku, identyfikując te o podwyższonym ryzyku, co pozwala audytorom skupić się na najbardziej istotnych obszarach.[2]
Ponadto, dostępne są modele uczenia maszynowego, które można zastosować w procesach audytu wewnętrznego i zewnętrznego. Przykładowo, algorytmy takie jak regresja liniowa, drzewa decyzyjne czy sieci neuronowe mogą być wykorzystane do analizy danych finansowych, identyfikacji anomalii czy przewidywania ryzyka.[3]
W Polsce również zwraca się uwagę na potrzebę audytowania samych systemów AI. Najwyższa Izba Kontroli (NIK) opublikowała dokument dotyczący sztucznej inteligencji w audycie i zarządzaniu ryzykiem, podkreślając znaczenie ram i standardów audytu systemów uczenia maszynowego w organizacjach.[4]
Na rynku globalnym istnieje wiele zaawansowanych narzędzi wspierających jednostki akredytowane w przygotowaniach do czynności audytowych. Narzędzia te często wykorzystują sztuczną inteligencję (AI) oraz uczenie maszynowe, aby zwiększyć efektywność i dokładność procesów audytowych. Przykłady oprogramowania wspierającego audyt:
- MindBridge: To narzędzie analityczne oparte na AI, które skanuje wszystkie transakcje finansowe w celu identyfikacji tych o podwyższonym ryzyku. Dzięki temu audytorzy mogą skupić się na najbardziej istotnych obszarach, co zwiększa efektywność audytu.[5]
- CaseWare IDEA: Oprogramowanie to umożliwia analizę dużych zbiorów danych, identyfikację anomalii oraz automatyzację wielu rutynowych zadań audytowych. Jak mówi producent oprogramowanie przyspiesza analizę danych, zapewnia przyjazne dla użytkownika doświadczenie i dostarcza dogłębną wiedzę w sposób terminowy i opłacalny.[6]
- TeamMate Analytics: To zestaw narzędzi analitycznych zaprojektowanych specjalnie dla audytorów, który integruje się z popularnymi programami, takimi jak Excel, ułatwiając analizę danych i identyfikację potencjalnych problemów.[7]
1 za wszystkich, wszyscy za 1?
Czy mając w swoim portfolio kilkanaście/kilkadziesiąt systemów możemy skupić się na 1 modelu, który będzie uniwersalny i wszechstronny? Wielu producentów mówi, że tak, jednak są dedykowane narzędzia wspierające konkretne systemy. I tak dla tych najbardziej popularnych mamy:
- ISO 27001 – Systemy zarządzania bezpieczeństwem informacji
- Vanta: Platforma automatyzująca procesy zgodności, w tym monitorowanie bezpieczeństwa i zarządzanie ryzykiem, wspierająca przygotowania do audytów ISO 27001.[8] Modeli jest więcej jak np. RODO, HIPAA, ISO 42001, CMMC, SOC2
- ISO 9001 – Systemy zarządzania jakością
- Qualio: Oprogramowanie do zarządzania jakością, które pomaga w dokumentacji, śledzeniu niezgodności i przygotowaniach do audytów zgodnych z ISO 9001, ale również ISO13485, urządzenia medyczne, SaMD oraz Cannabis Quality Software????[9]
- ISO 14001 – Systemy zarządzania środowiskowego
- EMEX: Platforma do zarządzania danymi środowiskowymi, wspierająca zgodność z ISO 14001 poprzez monitorowanie i raportowanie wskaźników środowiskowych.[10]
- ISO 45001 – Systemy zarządzania bezpieczeństwem i higieną pracy
- SafetyCulture iAuditor: Narzędzie do przeprowadzania inspekcji BHP, identyfikacji zagrożeń i zapewnienia zgodności z normą ISO 45001.[11]
- ISO 22301 – Systemy zarządzania ciągłością działania
- IBM Watson for Risk and Compliance: narzędzie, które wspiera zarządzanie ryzykiem i zgodnością w organizacjach, w tym zarządzanie ciągłością działania. Dzięki wykorzystaniu sztucznej inteligencji, platforma może automatycznie oceniać ryzyka, identyfikować luki w procedurach, monitorować ciągłość działania oraz analizować dokumentację audytową.
To tylko niektóre narzędzia, które dzisiaj wspierają audytorów wewnętrznych oraz wiodących w osiągnięciu celów. Należy również wspomnieć o rozwijaniu produktów, które jeszcze niedawno nie miały możliwości korzystania z dobrodziejstw AI. Przykładem może być dość popularny system klasy ERP SAP S/4HANA, który wykorzystuje AI do analizowania danych transakcyjnych w czasie rzeczywistym i wykrywania niezgodności z procedurami finansowymi. Oprócz norm ISO proces audytowy może również być rozszerzony o SOX (Sarbanes–Oxley Act – Ustawa Sarbanesa-Oxleya regulująca praktyki finansowe i ład korporacyjny), generowanie raportów audytowych na podstawie analizy danych bez potrzeby ręcznej interwencji oraz wykrywanie anomalii w danych, które mogą wskazywać naruszania procedur lub przepisów. Innym przykładem może być wdrożenie oprogramowania Infor CloudSuite, które używa sztucznej inteligencji do monitorowania i zapewniania zgodności z regulacjami dotyczącymi produkcji, finansów, ochrony środowiska i innych obszarów. Zatem audyt w czasie rzeczywistym staje się faktem, a regularne spotkania zespołów audytowych mogą się ograniczać do przeglądania rezultatów wygenerowanych przez AI. Ponadto, analiza audytorów może również obejmować mogą konkretne działania, które powinny zostać podjęte w odpowiedzi na wykryte niezgodności zaproponowane przez to samo narzędzie.
Aktualnie producenci mogą mieć kilka modeli, które usprawnią nasze działanie w firmie, jednak specjalizacja w danym obszarze (standardzie) póki co bierze górę nad rozwiązaniami ogólnymi.
Jak zaimplementować rozwiązanie w firmie?
Implementacja sztucznej inteligencji (AI) w firmie jest procesem, który wymaga starannego planowania, analizy potrzeb oraz odpowiednich zasobów. Każdy doświadczony konsultant zawsze odpowie: To zależy…
Mając na względzie potrzeby, zasoby ludzkie, zakres działania aplikacji oraz możliwe technologie może się okazać, że działanie będzie nieopłacalne na dłuższą metę. Analizując temat powinniśmy sprawdzić
- Czy mamy odpowiednią infrastrukturę – zasoby wewnętrzne, czy np. outsourcing do chmury;
- Na jakich zbiorach danych będziemy pracowali. AI wymaga dostępu do dużych ilości danych, które muszą być wysokiej jakości i odpowiednio przygotowane do analizy.
- Technologia – Software as a Service, on-premise, a może Edge-AI? Zwróćmy tutaj uwagę na fakt, że w zależności od technologii zarządzanie elementami stosu IT różnie wygląda. Poniższa tabela ilustruje zależność:
- Jak będziemy trenowali modele. IaaS jest szczególnie użyteczne dla firm, które potrzebują dużej mocy obliczeniowej do trenowania zaawansowanych modeli AI (np. głębokie uczenie się, analiza dużych zbiorów danych), ale AI potrzebuje znaleźć zależności oraz powiązać odpowiednie informacje ze sobą, aby zbudować model oraz umieć go zastosować.
- Optymalizacja zasobów oraz przetwarzania w czasie rzeczywistym. Należy przeprowadzić analizę, co będzie przetwarzane lokalnie, a co w chmurze (jeśli taki podział występuje). Edge AI umożliwia przetwarzanie danych lokalnie, np. w pojazdach autonomicznych, inteligentnych urządzeniach czy systemach monitoringu. Może się okazać, że podczas działań na obiekcie audytor będzie w stanie wykonać jedynie ułamek prac związanych z AI, a cała reszta będzie wykonywana w siedzibie firmy (lub po podłączeniu się do zasobów firmowych). Oszczędność transferu może być również istotnym czynnikiem podczas korzystania z np. sieci komórkowych.
- Jak będziemy utrzymywali kontrolę nad danymi. Ten czynnik zostawiam na następny rozdział, ponieważ poufność jest kluczowym czynnikiem.
Poufność w relacjach z dostawcami
Poufność danych w relacjach z innymi dostawcami przy wdrożeniu AI do firmy jest kluczowym zagadnieniem, zwłaszcza biorąc pod uwagę wrażliwość danych oraz regulacje prawne. Współpraca z dostawcami, szczególnie w kontekście rozwiązań opartych na AI, wiąże się z koniecznością odpowiedniego zarządzania poufnością danych, zapewnieniem ich ochrony oraz przestrzeganiem przepisów związanych z prywatnością. Należy uwzględnić podejście związane z podpisaniem umów o poufności (NDA). Umowa ta precyzyjnie określa, jak dane będą chronione, jakie informacje mogą być ujawnione, a jakie muszą pozostać poufne. Współpraca z zewnętrznymi dostawcami często wiąże się z koniecznością udostępniania danych. Zasady dostępu do danych muszą być jasno określone i przestrzegane. W kontekście AI może to obejmować: Minimalny dostęp oraz Autoryzacja i monitorowanie, Dostawcy powinni mieć dostęp tylko do tych danych, które są niezbędne do realizacji umowy. Warto wprowadzić zasady, które ograniczą dostęp do danych do minimum (zasada potrzeby wiedzy). Każdy dostęp do danych powinien być monitorowany, a dostawcy powinni korzystać z odpowiednich narzędzi zabezpieczających, takich jak silne uwierzytelnianie czy audyty dostępu. Zgodność z regulacjami prawnymi to przede wszystkim uwzględnienie RODO (GDPR – General Data Protection Regulation), ale mając na uwadze zdecydowaną większość dostawców pochodzących z USA, ze stanu Kalifornia, należałoby się również zapoznać z CCPA (California Consumer Privacy Act). Może się okazać, że wszystkie dane, które przetwarzane są poprzez modele AI w jednostce centralnej „wędrują do USA” i tam już zostają, celem douczania modeli. Zatem istotne jest wybranie modelu, który będzie określał odpowiedni podział odpowiedzialności (tabela powyżej). Przy chmurowych rozwiązaniach AI (np. SaaS, PaaS, IaaS) należy określić, która strona (dostawca czy firma) jest odpowiedzialna za ochronę danych, zarówno na poziomie fizycznym (serwery), jak i cyfrowym (szyfrowanie, kontrola dostępu). Kolejnym czynnikiem jest określenie, jak dane będą przechowywane przez dostawców, a także jakie procedury będą stosowane w przypadku usuwania danych po zakończeniu współpracy. Należy sprawdzić, gdzie dokładnie dane są przechowywane (czy w regionie objętym regulacjami ochrony danych, jak RODO) czy może jeszcze raporty są przesyłane do partnerów biznesowych. Podpisując umowę z np. Microsoftem może się okazać, że istnieją porozumienia, które automatycznie przekazują część danych do formy Google i Meta. Pamiętajmy o wypracowaniu odpowiedniego modelu zaufania. W przypadku rozwiązań AI, gdzie mamy do czynienia z przetwarzaniem dużych zbiorów danych (np. danych klientów, pracowników, danych transakcyjnych), ważne jest aby poznać przejrzystość dotyczącą algorytmów, na których opiera się ich rozwiązanie, w szczególności w kwestii sposobu przetwarzania danych wrażliwych. Przeprowadzanie testów bezpieczeństwa i audytów zgodności w ramach wdrożenia rozwiązań AI, powinno się odbyć celem spełnienia wymagań dotyczące poufności i prywatności danych. Finalnie pomyślmy o karach umownych oraz mechanizmach powiadamiania. Dostawcy powinni mieć obowiązek niezwłocznego informowania firmy o wszelkich incydentach bezpieczeństwa związanych z danymi.
Czy AI to rzeczywiście przyszłość?
Wdrożenie modelu AI do firmy w procesie audytowania może przynieść wiele korzyści, ale wiąże się również z pewnymi negatywnymi stronami. Dla wielu firm pierwszą barierą mogą być wysokie koszty początkowe (zakup oprogramowania, licencje, konsultacje oraz szkolenia pracowników). To również złośoność implementacji. Sam proces audytowania może być technicznie skomplikowane, szczególnie w przypadku integracji z istniejącymi systemami ERP, CRM czy systemami raportowania. Może to wymagać zaawansowanego wsparcia technicznego.
Czy mamy dzisiaj na tyle niski próg zaufania, że jesteśmy w stanie przekazać nasze sekrety do „czarnej skrzynki”? Brak przejrzystości algorytmów może się wiązać z brakiem zrozumienia dlaczego system podjął określoną decyzję. Może to być problematyczne, zwłaszcza w kontekście audytowania, gdzie odpowiedzialność za decyzje jest kluczowa. W takim razie co z odpowiedzialnością? Jeśli AI popełni błąd, trudniej jest ustalić, kto ponosi odpowiedzialność za decyzję. To może prowadzić do problemów prawnych i organizacyjnych, szczególnie w przypadku błędnych rekomendacji audytowych. Idąc dalej może się okazać, że decyzja jest związana z jakością danych. AI opiera się na danych, które muszą być wysokiej jakości. W przypadku, gdy dane wykorzystywane w procesie audytowym są niekompletne, błędne lub zawierają nieścisłości, wyniki generowane przez AI mogą być mylące lub niepoprawne. Wiąże się to również z wymogiem ciągłej aktualizacji. Modele AI muszą być regularnie trenowane na nowych danych, aby zachować swoją skuteczność. Jeśli nie są aktualizowane odpowiednio, mogą stać się przestarzałe i prowadzić do błędnych wniosków. Może przy samym procesie audytowania nie jest to tak częste, jednak regularnie zmieniają się normy główne jak np. 27001 jak i podległe, np. 27006. I wówczas nasze uczenie powinno się zmienić w sposób skokowy – od dzisiaj już nie możesz posługiwać się starymi wytycznymi.
Pamiętajmy, że AI nie ma również ludzkiej intuicji i ma problemy ze zrozumieniem kontekstu w pełni, szczególnie w przypadku bardziej złożonych decyzji audytowych, które mogą wymagać uwzględnienia niuansów, subtelności lub specyficznych okoliczności. Zatem obawa przed "dehumanizacją" audytów w obecnym czasie jest dla mnie bezzasadna. Audytowanie, szczególnie w zakresie zgodności, wymaga elastyczności i zdolności do analizy skomplikowanych sytuacji. Ludzie, dzięki doświadczeniu i intuicji, mogą dostrzegać aspekty, które algorytmy mogą pominąć. Algorytmy mogą być stronnicze: Modele AI, zwłaszcza te, które są oparte na danych historycznych, mogą przejąć istniejące uprzedzenia. W procesie audytowania, stronniczość algorytmów może prowadzić do nierównych wyników audytów, co z kolei może prowadzić do niesprawiedliwości w stosunku do pewnych jednostek lub działów. Istnieją również etyczne obawy związane z używaniem AI do podejmowania decyzji w procesach audytowych, zwłaszcza jeśli chodzi o kwestie związane z prywatnością danych, odpowiedzialnością za błędy systemu, czy autonomią decyzji. I chociaż jest to maszyna wykonująca szereg instrukcji, to ryzyko naruszenia prywatności dalej istnieje. W procesie audytowania AI może mieć dostęp do dużych ilości wrażliwych danych, w tym danych osobowych. Jeśli model AI nie jest odpowiednio zabezpieczony (a zabezpieczenia najczęściej gwarantuje dostawca), może wystąpić ryzyko naruszenia prywatności lub wycieku danych.
Nasuwają mi się jeszcze 2 ryzyka związane z użytkowaniem sztucznej inteligencji: Ryzyko związane z przerwami w dostawach oraz zależność od jednego dostawcy. Przedsiębiorstwo może stać się zależne od jednego dostawcy AI, co może wiązać się z ryzykiem w przypadku zmian cen, dostępności wsparcia technicznego czy strategii rozwoju dostawcy. Również integracja z innymi systemami może stanowić wyzwanie w przypadku zmian u dostawcy.
Na koniec chciałbym przytoczyć wypowiedź profesora Michio Kaku, który powiedział:
„If you compare our most advanced robot to an animal… What would it be? It would be a cockroach. A retarded cockroach. A lobotomized retarded cockroach. Our most advanced robot can barely walk across the room, can barely recognize things, can barely pick up objects very, very slowly. And a cockroach can run around, find mates, find food, disguise themselves, camouflage… Our most advanced robots can’t do that. So once our robots become as smart as a monkey and have self awareness then we have to worry.”
Autor: Radosław Podgórski, Auditor
[1]https://epoch.ai/data/notable-ai-models
[2]https://kpmg.com/pl/pl/home/campaigns/2024/02/ai-w-audycie-otwiera-nowe-mozliwosci-przekladamy-innowacje-na-realne-korzysci-dla-klientow.html
[3]https://www.gov.pl/web/popcwsparcie/podzial-modeli-uczenia-maszynowego-wraz-z-przykladami-zastosowania
[4]https://www.nik.gov.pl/kontrola-panstwowa-2024/06/sztuczna-inteligencja-w-audycie-i-zarzadzaniu-ryzykiem-nowe-mozliwosci-modelowania-wiedzy.html
[6]https://www.caseware.com/products/idea/
[7]https://www.wolterskluwer.com/en/solutions/teammate/teammate-analytics
[8]https://www.vanta.com/products/iso-27001