OriginBlame: narzędzie do śledzenia pochodzenia danych treningowych AI na poziomie rekordów i tokenów
W skrócie
- System OriginBlame pozwala precyzyjnie lokalizować dane konkretnego autora w zbiorach treningowych AI, redukując nadmiarowe usuwanie danych ze 101-krotności do zaledwie 1,3-krotności wymaganego zakresu.
- W testach na modelu o rozmiarze 1,7 miliarda parametrów zestawy danych do „oduczania" wyznaczone przez OriginBlame były o 42% skuteczniejsze od losowych punktów odniesienia.
- Integracja systemu z popularnymi narzędziami do przetwarzania danych wiąże się z narzutem przepustowości wynoszącym 1,3–4,0% (HuggingFace) oraz 2,1–19,0% (Datatrove).
Naukowcy opublikowali na platformie arXiv pracę opisującą system o nazwie OriginBlame — narzędzie do śledzenia pochodzenia danych treningowych modeli AI na poziomie pojedynczych rekordów i tokenów arxiv.org.
Rozwiązanie odpowiada na rosnący problem prawny i techniczny: co zrobić, gdy autor danych zażąda ich usunięcia ze zbioru treningowego?
Problem nadmiarowego usuwania danych
Dotychczasowe systemy śledzenia proweniencji danych działały na poziomie pliku lub całego zbioru danych. W praktyce oznaczało to, że realizacja wniosku o usunięcie danych jednego autora wymuszała usunięcie znacznie większej porcji materiału — nawet 101 razy więcej niż faktycznie konieczne. Algorytmy „oduczania" (ang. machine unlearning) wymagają bowiem precyzyjnie określonego zestawu danych do zapomnienia, a bez odpowiedniego narzędzia trenerzy modeli nie byli w stanie wskazać, które konkretnie rekordy należą do danego autora arxiv.org.
Jak działa OriginBlame
System OriginBlame (w skrócie: ob) propaguje tożsamość autora przez cały potok przetwarzania danych i za pomocą deterministycznych zapytań przekształca wnioski o odwołanie zgody w precyzyjne zestawy danych do usunięcia. Kluczową cechą rozwiązania jest działanie na poziomie rekordu i tokenu — a nie pliku czy zbioru — co pozwala chirurgicznie wyodrębnić dokładnie te fragmenty, które pochodzą od konkretnego twórcy arxiv.org.
Wyniki ewaluacji
Badanie przeprowadzono na zbiorze 219 555 stron Wikipedii. Wyniki pokazują, że proweniencja na poziomie rekordu eliminuje problem nadmiarowego usuwania danych — współczynnik nadmiarowości spada ze 101-krotności do zaledwie 1,3-krotności wymaganego zakresu arxiv.org.
Integracja systemu z istniejącymi narzędziami wiąże się z umiarkowanym kosztem wydajnościowym:
- HuggingFace: narzut przepustowości wynosi 1,3–4,0%,
- Datatrove: narzut wynosi 2,1–19,0% na danych z Wikipedii arxiv.org.
Na modelu o rozmiarze 1,7 miliarda parametrów zestawy danych do oduczania wyznaczone przez OriginBlame okazały się o 42% skuteczniejsze od losowych punktów odniesienia arxiv.org.
Praca liczy 13 stron i zawiera 6 rysunków; jej autorem jest Haolin Xue arxiv.org.
Co to oznacza
Prawo do bycia zapomnianym — znane z europejskiego RODO — staje się coraz poważniejszym wyzwaniem dla twórców dużych modeli językowych. Do tej pory brak precyzyjnych narzędzi proweniencji zmuszał firmy do wyboru między ignorowaniem wniosków o usunięcie danych a usuwaniem całych zbiorów, co było kosztowne i prowadziło do niepotrzebnej utraty danych treningowych. OriginBlame proponuje trzecią drogę: chirurgiczne, udokumentowane usunięcie wyłącznie tego, co jest wymagane.
Dla polskich i europejskich podmiotów rozwijających lub wdrażających modele AI ma to szczególne znaczenie. Unijne przepisy — zarówno RODO, jak i wchodzące w życie regulacje AI Act — nakładają konkretne obowiązki w zakresie zarządzania danymi i możliwości ich usunięcia. Narzędzie takie jak OriginBlame mogłoby stać się elementem zgodności z prawem (ang. compliance), a nie tylko akademicką ciekawostką.
Warto też zwrócić uwagę na stosunkowo niski narzut wydajnościowy — szczególnie w przypadku HuggingFace, gdzie wynosi on poniżej 4%. Oznacza to, że wdrożenie systemu śledzenia proweniencji nie musi wiązać się z istotnym spowolnieniem procesów przygotowania danych. Pytaniem otwartym pozostaje skalowalność rozwiązania poza dane encyklopedyczne — testy przeprowadzono wyłącznie na Wikipedii, a rzeczywiste zbiory treningowe są znacznie bardziej zróżnicowane pod względem struktury i źródeł.
Szerszy kontekst
OriginBlame (ob) śledzi, które rekordy treningowe pochodzą z których sekcji źródłowych i którzy autorzy przyczynili się do tych sekcji, za pomocą trójwarstwowej architektury (Rysunek 2) z niezależną warstwą indeksu tokenów. Użytkownicy integrują się za pomocą jednego wywołania ob.track() na rekord. ob dostarcza precyzyjne zbiory do usunięcia zarówno na poziomie rekordów, jak i tokenów.
OriginBlame ma cztery ograniczenia. (1) Stopniowe wdrożenie jest trudne: użytkownicy nie mogą retroaktywnie dodawać proweniencji do istniejących zbiorów danych. (2) Ekosystem parserów jest niedojrzały: dostępny jest obecnie tylko parser MediaWiki, choć nasza ewaluacja wielodziedzinowa (§5.6) potwierdza, że podstawowe śledzenie proweniencji jest niezależne od domeny i działa z dowolnymi źródłami atrybucji, takimi jak git blame. (3) Proweniencja jednostopniowa: system śledzi tylko bezpośrednie mapowania z surowych danych do końcowego wyjścia. (4) Indeks musi być przebudowywany przy zmianie danych; warianty indeksowane nie przewyższają konsekwentnie ścieżki pełnego skanowania ze względu na amortyzację kosztu skanowania przez równoległość rayon.
To narzędzie pozwala praktykom AI śledzić rodowód popularnych zbiorów danych do dostrajania oraz filtrować i eksplorować proweniencję danych na podstawie określonych warunków licencyjnych. Praktycy mogą również używać narzędzia do generowania czytelnej dla człowieka karty proweniencji danych dla zbiorów danych, ułatwiając ręczne zadanie kurowania i dokumentowania rozległych kompilacji zbiorów danych.
Analiza
Kluczowym osiągnięciem OriginBlame jest rozwiązanie konkretnego, dotychczas pomijanego problemu inżynieryjnego: brak precyzyjnego śledzenia proweniencji danych na poziomie rekordu i tokenu sprawiał, że realizacja wniosków o usunięcie danych była de facto niemożliwa bez nieproporcjonalnych strat. Redukcja współczynnika nadmiarowości usuwania ze 101-krotności do 1,3-krotności to zmiana jakościowa, nie tylko ilościowa — oznacza, że „prawo do bycia zapomnianym" przestaje być dla twórców modeli wyborem między ignorowaniem prawa a niszczeniem wartościowych zbiorów treningowych. Wzrost skuteczności oduczania o 42% na modelu 1,7 miliarda parametrów potwierdza, że precyzja zestawu danych do zapomnienia ma bezpośrednie przełożenie na jakość procesu technicznego, a nie tylko na zgodność z przepisami.
Warto jednak zwrócić uwagę na ograniczenia wskazane przez samych autorów (wg arxiv.org): system nie pozwala na retroaktywne dodanie proweniencji do istniejących zbiorów danych, obsługuje obecnie tylko parser MediaWiki, a śledzenie jest jednopoziomowe — nie obejmuje wieloetapowych transformacji danych. To istotne zastrzeżenia, bo rzeczywiste potoki treningowe dużych modeli językowych są znacznie bardziej złożone niż zbiór stron Wikipedii. Dla porównania, inicjatywa Data Provenance z MIT (wg mitsloan.mit.edu) skupia się na śledzeniu licencji i atrybucji na poziomie całych zbiorów — OriginBlame schodzi o poziom niżej, ale kosztem węższego zakresu zastosowań.
Dla europejskich podmiotów rozwijających modele AI znaczenie praktyczne jest jednak już teraz wymierne. RODO i AI Act tworzą środowisko, w którym brak narzędzi do precyzyjnego usuwania danych może skutkować odpowiedzialnością prawną, a nie tylko technicznym kłopotem. Narzut wydajnościowy poniżej 4% dla HuggingFace sprawia, że wdrożenie OriginBlame w nowych projektach jest realistyczne — pod warunkiem że zostanie uwzględnione od początku projektowania potoku danych, a nie dodane retroaktywnie. To ostatnie zastrzeżenie jest kluczowe: narzędzie wymaga planowania z wyprzedzeniem, co oznacza, że jego wartość dla istniejących, już wytrenowanych modeli jest ograniczona.