„Myślę, że pozwala nam być bardziej rozważnym i bardziej refleksyjnym w kwestiach bezpieczeństwa” – mówi Altman. „Część naszej strategii brzmi: stopniowa zmiana na świecie jest lepsza niż nagła zmiana”. Lub, jak ujęła to wiceprezes OpenAI Mira Moratti, kiedy zapytałem ją o pracę zespołu ds. bezpieczeństwa ograniczającego otwarty dostęp do oprogramowania: „Jeśli mamy się nauczyć, jak wdrażać te potężne technologie, zacznijmy, gdy stawki są bardzo niskie ”.
Podczas gdy sam GPT-3 Działający na 285 000 rdzeni procesorów w klastrze superkomputerów w stanie Iowa, OpenAI działa poza obszarem Mission w San Francisco, w odnowionej fabryce bagażu. W listopadzie ubiegłego roku spotkałem tam Ilyę Sotskefera, próbującego wydobyć laikowi wyjaśnienie, jak naprawdę działa GPT-3.
„To podstawowa idea GPT-3” – powiedział z naciskiem Sotskever, pochylając się do przodu na swoim krześle. Ma ciekawy sposób odpowiadania na pytania: Niektóre falstarty – „Mogę podać opis, który z grubsza pasuje do opisu, o który prosiłeś” – przerywane długimi pauzami medytacyjnymi, jakby sporządzał wykres całej odpowiedzi w toku.
W końcu powiedział: „Podstawową ideą GPT-3 jest sposób odnoszenia intuicyjnego pojęcia rozumienia do czegoś, co można zmierzyć i zrozumieć mechanicznie, a to jest zadanie przewidzenia następnego słowa w tekście. Inne formy sztucznej inteligencji próbują zaszyfrować informacje o świecie: strategie szachowe wielkich mistrzów, zasady klimatologii. Ale inteligencja GPT-3, jeśli inteligencja jest na nią słowem, pochodzi od podstaw: poprzez czasownik elementarny, aby przewidzieć następne słowo. W przypadku szkolenia GPT-3 model otrzymuje „podpowiedź” — na przykład kilka zdań lub akapitów tekstu z artykułu prasowego, powieści lub artykułu naukowego — a następnie proszony jest o zasugerowanie listy możliwych słów, które może uzupełnić sekwencję, uporządkowaną według prawdopodobieństwa. Na wczesnych etapach szkolenia proponowane słowa są nonsensem. Zadaj algorytmowi zdanie typu „Pisarz usunął ostatnie słowo z pierwszego słowa…””, a domysły byłyby rodzajem strumienia bzdur: lista – pojawia się prawidłowe brakujące słowo: „akapit”. Następnie program wzmacnia i osłabia wszelkie losowe połączenia neuronowe, które generują tę konkretną sugestię Wszystkie połączenia, które wygenerowały błędne odgadnięcia.Następnie przechodzi do następnego routera.Z biegiem czasu, przy wystarczającej liczbie iteracji, program uczy się.
W styczniu OpenAI dodał funkcję, która pozwala użytkownikom podawać bezpośrednie instrukcje GPT-3 jako monit, zamiast wymagać od nich rozszerzenia przykładowego segmentu tekstu. Na przykład, korzystając z trybu pomocy, GPT-3 otrzymał kiedyś monit: „Napisz esej omawiający rolę metafikcji w pracy Italo Calvino”. Krótki akapit, który zaczynał się następująco:
Włoski pisarz Italo Calvino jest uważany za eksperta od metafikcji, rodzaju pisarstwa, w którym autor przełamuje czwartą ścianę, aby omówić sam akt pisania. Dla Calvino metafikcja jest sposobem odkrywania natury rzeczywistości i sposobów, w jakie historie mogą kształtować nasze postrzeganie świata. Jego powieści często zawierają zabawne struktury i labirynty, które manipulują granicami między rzeczywistością a fantazją. Na przykład w przypadku, gdy podróżnik jest w zimową noc, czytelnika nieustannie przerywają dyskusje na metapoziomie aktu czytania i natury opowiadania. . . .
Możesz dać GPT-3 dokładnie ten sam monit, w kółko, i za każdym razem wygeneruje unikalną odpowiedź, niektóre bardziej przekonujące niż inne, ale prawie wszystkie niezwykle proste. Podpowiedzi informacyjne mogą przybierać różne formy: „Daj mi listę wszystkich składników sosu bolońskiego”, „Napisz wiersz o francuskiej nadmorskiej wiosce w stylu Johna Ashbery’ego”, „Wyjaśnij Wielki Wybuch językiem, który 8-latek -stary rozumie”. Czasami podczas pierwszych kilku bodźców GPT-3 tego rodzaju, czułem gęsią skórkę przebiegającą po moim kręgosłupie. Wydawało się prawie niemożliwe, aby maszyna generowała tak wyraźny i responsywny tekst, w całości oparty na początkowym treningu przewidywania następne słowo.
Ale sztuczna inteligencja ma długą historię tworzenia iluzji inteligencji lub zrozumienia bez faktycznego dostarczania towarów. w dużo dyskutowany artykuł Opublikowana w zeszłym roku profesor lingwistyki Emily Bender z University of Washington, były badacz Google Timnit Gebru i grupa współautorów oświadczyli, że duże modele językowe są po prostu „losowymi papugami”: to znaczy, że program wykorzystywał randomizację tylko do remiksowania zdań napisanych przez ludzie. Bender powiedziała mi niedawno w e-mailu: „To, co się zmieniło, to nie jakiś krok powyżej pewnego progu w kierunku „sztucznej inteligencji”. Zamiast tego, powiedziała, zmieniły się „innowacje sprzętowe, programowe i gospodarcze, które umożliwiają gromadzenie i przetwarzanie ogromnych zestawy danych” — a także kultura Technologia, którą mogą mieć „ludzie, którzy budują i sprzedają takie rzeczy”, jest daleka od budowania jej na fundamentach niedokładnych danych”.