W lipcu 2023 r. OpenAI utworzyło nowy zespół, którego zadaniem jest zapewnienie bezpiecznego kontrolowania przyszłych systemów sztucznej inteligencji, które mogą być mądrzejsze od wszystkich ludzi razem wziętych. Aby zasygnalizować, jak poważnie firma podchodzi do tego celu, publicznie obiecała przeznaczyć na ten cel 20% dostępnych wówczas zasobów obliczeniowych.
Teraz, niecały rok później, zespół ten, który nosił nazwę Superalignment, rozwiązał się w wyniku rezygnacji pracowników i oskarżeń, że OpenAI przedkłada wprowadzanie produktów nad bezpieczeństwo sztucznej inteligencji. Według sześciu źródeł zaznajomionych z pracą zespołu OpenAI Superalignment, OpenAI nigdy nie wywiązało się ze swojego zobowiązania, aby zapewnić zespołowi 20% swojej mocy obliczeniowej.
Zamiast tego, według źródeł, zespoły wielokrotnie spotykały się z odrzuceniem przez kierownictwo OpenAI próśb o dostęp do jednostek przetwarzania grafiki i wyspecjalizowanych chipów komputerowych potrzebnych do szkolenia i uruchamiania aplikacji AI, mimo że ogólny budżet obliczeniowy zespołu nigdy nie był zbliżony do wymaganego. Obiecano próg 20%.
Odkrycia te rodzą pytania o to, jak poważnie OpenAI traktuje swoje publiczne zobowiązania i czy należy ufać innym publicznym zobowiązaniom podejmowanym przez firmę. OpenAI nie odpowiedziało na prośby o komentarz na temat tej historii.
Firma spotyka się obecnie z ostrymi reakcjami w związku z wykorzystaniem głosu w funkcjach generowania mowy opartych na sztucznej inteligencji, które są uderzająco podobne do funkcji stosowanych przez aktorkę Scarlett Johansson. W tej sprawie pojawiły się pytania o wiarygodność publicznych oświadczeń OpenAI, że podobieństwo między głosem AI, którą nazywa „Sky”, a głosem Johanssona jest czysto przypadkowe. Johansson mówi, że Sam Altman, współzałożyciel i dyrektor generalny OpenAI, skontaktował się z nią we wrześniu ubiegłego roku, kiedy głos Sky zadebiutował, i poprosił o pozwolenie na użycie jej głosu. Ja odmówiłem. Mówi, że Altman ponownie poprosiła o pozwolenie na użycie jej głosu w zeszłym tygodniu, tuż przed demonstracją najnowszego modelu GPT-4o, który wykorzystuje głos Sky. OpenAI zaprzeczyło, że użyło głosu Johansson bez jej zgody, twierdząc, że zapłaciło profesjonalnej aktorce, której nie może legalnie ujawnić, za stworzenie Sky. Jednak twierdzenia Johansson podają w wątpliwość, a w mediach społecznościowych pojawiają się spekulacje, że OpenAI faktycznie sklonowało głos Johansson lub być może w jakiś sposób zmieszało głos innej aktorki z głosem Johansson, aby stworzyć Sky.
Zespół OpenAI Superalignment powstał pod przewodnictwem Ilyi Sutskevera, współzałożycielki OpenAI i byłego głównego naukowca, którego odejście z firmy ogłoszono w zeszłym tygodniu. Współkierującym zespołem był Jan Laecke, wieloletni badacz w OpenAI. Swoją rezygnację ogłosił w piątek, dwa dni po odejściu Sutskevera. Następnie spółka poinformowała pozostałych pracowników zespołu, liczących około 25 osób, że następuje jego rozwiązanie i przeniesienie ich w ramach firmy.
Był to gwałtowny upadek zespołu, którego pracę niecały rok temu OpenAI uznał za kluczową dla firmy i ważną dla przyszłości cywilizacji. Superinteligencja to koncepcja przyszłego hipotetycznego systemu sztucznej inteligencji, który będzie mądrzejszy niż wszyscy ludzie razem wzięci. Jest to technologia, która wykracza poza wyznaczony przez firmę cel, jakim jest stworzenie sztucznej inteligencji ogólnej, czyli AGI – pojedynczego systemu sztucznej inteligencji, który jest tak inteligentny jak każdy człowiek.
Superinteligencja spółka z ograniczoną odpowiedzialnością Powiedział ogłaszając skład zespołuMoże stanowić egzystencjalne zagrożenie dla ludzkości, próbując zabijać lub zniewalać ludzi. „Nie mamy rozwiązania, które pozwoliłoby kierować i kontrolować potencjalnie superinteligentną sztuczną inteligencję oraz zapobiegać jej nieuczciwemu działaniu” – stwierdził OpenAI w swoim ogłoszeniu. Zespół Superalignment miał zbadać te rozwiązania.
Była to misja tak ważna, że firma w swoim ogłoszeniu oświadczyła, że przeznaczy na tę misję „20% mocy obliczeniowej, którą pozyskaliśmy do tej pory w ciągu najbliższych czterech lat”.
Jednak sześć źródeł zaznajomionych z pracą zespołu Superalignment stwierdziło, że tej grupie nigdy nie przydzielono takich obliczeń. Zamiast tego otrzymał kwotę znacznie niższą niż normalny budżet firmy na alokację mocy obliczeniowej, który jest poddawany ponownej ocenie co trzy miesiące.
Nie ma jasnych wskaźników dotyczących dokładnego obliczenia tych 20%, co stwarza pole do szerokiej interpretacji, podało jedno ze źródeł zaznajomionych z pracą zespołu Superalignment. Na przykład źródło podało, że zespołowi nigdy nie powiedziano, czy obietnica oznacza „20% rocznie przez cztery lata”, „5% rocznie przez cztery lata”, czy też jakąś zmienną kwotę, która może wynieść „1% lub 2% „% na cztery lata” przez pierwsze trzy lata, następnie większość zobowiązania w czwartym roku. Tak czy inaczej, wszystkie źródła szczęście Ta historia potwierdziła, że zespół Superalignment nigdy nie osiągnął poziomu zbliżonego do 20% bezpiecznych obliczeń OpenAI według stanu na lipiec 2023 r.
Badacze OpenAI mogą także składać wnioski o tak zwane „elastyczne” przetwarzanie — dostęp do dodatkowej mocy procesora graficznego przekraczającej przewidzianą w budżecie — w celu obsługi nowych projektów pomiędzy kwartalnymi spotkaniami budżetowymi. Źródła te podają jednak, że elastyczne prośby zespołu Superalignment były rutynowo odrzucane przez urzędników wyższego szczebla.
Bob McGraw, wiceprezes ds. badań w OpenAI, był dyrektorem, który poinformował zespół o odrzuceniu tych wniosków, ale inne osoby w firmie, w tym CTO Mira Moratti, były zaangażowane w podejmowanie decyzji, podają źródła. Ani McGraw, ani Moratti nie odpowiedzieli na prośby o komentarz do tej historii.
Chociaż zespół przeprowadził pewne badania, został on opublikowany papier Opisując swoje doświadczenia, w grudniu 2023 r. udało się uzyskać mniej wydajny model sztucznej inteligencji do kontrolowania mocniejszego modelu, jak podało źródło, brak obliczeń pokrzyżował bardziej ambitne pomysły zespołu.
Po rezygnacji Laike w piątek zamieścił na X (dawniej Twitterze) serię postów, w których skrytykował swojego byłego pracodawcę, mówiąc: „Kultura i procesy bezpieczeństwa zeszły na dalszy plan błyszczących produktów”. Powiedział też: „Od kilku miesięcy moja drużyna płynie pod wiatr. Czasami mieliśmy trudności z obliczeniami, a ukończenie tych ważnych badań stawało się coraz trudniejsze.
Pięć źródeł zaznajomionych z pracą zespołu Superalignment potwierdziło relację Leike’a, twierdząc, że problemy z dostępem do komputerów pogorszyły się w następstwie konfliktu między Altmanem a zarządem organizacji non-profit OpenAI przed Świętem Dziękczynienia.
Sutskever, który był członkiem zarządu, głosował za zwolnieniem Altmana i był osobą wybraną przez zarząd do poinformowania Altmana o wiadomościach. Kiedy pracownicy OpenAI zbuntowali się w odpowiedzi na tę decyzję, Sutskever napisał później w X, że „głęboko żałuje” swojego zaangażowania w zwolnienie Altmana. Ostatecznie Altman został ponownie wybrany, a Sutskever i kilku innych członków zarządu zaangażowanych w jego usunięcie ustąpiło z zarządu. Po ponownym zatrudnieniu Altmana Sutskever nigdy nie wrócił do pracy w OpenAI, ale oficjalnie opuścił firmę dopiero w zeszłym tygodniu.
Jedno źródło nie zgodziło się z metodą innych źródeł szczęście Mówiła o problemach obliczeniowych, przed którymi stanęła Superalignment, mówiąc, że wystąpiły one jeszcze przed zaangażowaniem Suckewiera w nieudany zamach stanu, który nękał grupę od początku.
Choć pojawiły się doniesienia, że Sutskever w dalszym ciągu zdalnie współkierował zespołem Superalignment, źródła zaznajomione z pracą zespołu stwierdziły, że tak nie jest i że Sutskever nie miał dostępu do pracy zespołu i nie odegrał żadnej roli w kierowaniu nim później . Święto Dziękczynienia.
Źródła podają, że wraz z odejściem Sutskevera zespół Superalignment stracił jedyną osobę w zespole, która miała w organizacji wystarczający kapitał polityczny, aby skutecznie argumentować za przywłaszczeniem sobie komputerów.
Oprócz Leike i Sutskevera w ostatnich miesiącach OpenAI straciło co najmniej sześciu innych badaczy bezpieczeństwa sztucznej inteligencji z różnych zespołów. Jeden z badaczy, Daniel Cocotaylo, powiedział serwisowi informacyjnemu Vox, że „stopniowo tracił zaufanie do kierownictwa OpenAI i jego zdolności do odpowiedzialnego zarządzania AGI, więc złożyłem rezygnację”.
W odpowiedzi na komentarze Leike’a Altman i współzałożyciel Greg Brockman, który jest prezesem OpenAI, opublikowali post na [Leike] Za wszystko, co zrobił dla OpenAI. Następnie napisali: „Musimy w dalszym ciągu podnosić poprzeczkę w naszych pracach nad bezpieczeństwem, aby sprostać ryzyku związanemu z każdym nowym modelem”.
Następnie przedstawili swoją opinię na temat podejścia firmy do przyszłego bezpieczeństwa sztucznej inteligencji, które będzie obejmować znacznie większy nacisk na testowanie obecnie opracowywanych modeli, zamiast na próbach opracowania teoretycznych podejść do tego, jak zapewnić bezpieczeństwo przyszłych, wydajniejszych modeli. „Potrzebujemy bardzo ścisłej pętli informacji zwrotnej, rygorystycznych testów, dokładnego rozważenia na każdym kroku, światowej klasy bezpieczeństwa oraz harmonii między bezpieczeństwem a możliwościami” – napisali Brockman i Altman, dodając, że „zrozumienie oparte na doświadczeniu może pomóc w określeniu drogi naprzód”.
Ludzie, z którymi rozmawiali szczęście Zrobili to anonimowo, albo ze strachu przed utratą pracy, albo ze strachu przed utratą nabytych udziałów w spółce, albo z obu powodów. Pracownicy, którzy opuścili OpenAI, zostali zmuszeni do podpisania umów o separacji, które zawierały ścisłą klauzulę zakazu dyskredytowania, stwierdzającą, że firma może umorzyć nabyte przez nich akcje, jeśli publicznie skrytykują firmę lub nawet jeśli przyznają, że taka klauzula istnieje. Pracownikom powiedziano, że każdy, kto odmówi podpisania umowy o separacji, również straci swoje udziały.
Po Foxie wspomniany Jeśli chodzi o warunki separacji, Altman zamieścił w serwisie X informację, że nie był świadomy tej klauzuli i był tym faktem „naprawdę zawstydzony”. Powiedział, że OpenAI nigdy nie próbowało egzekwować tej klauzuli i odbierać nikomu nabytych udziałów. Powiedział, że firma jest w trakcie aktualizacji swoich dokumentów wyjścia, aby „naprawić” ten problem i że wszyscy byli pracownicy, którzy mieliby wątpliwości co do postanowień zawartych w dokumentach wyjścia, które podpisali, mogliby skontaktować się z nimi bezpośrednio w tej sprawie, a oni zostaną zmienieni.
