Sztuczna inteligencja to opanowanie języka. Czy powinniśmy ufać temu, co mówi?

„Myślę, że pozwala nam być bardziej rozważnym i bardziej refleksyjnym w kwestiach bezpieczeństwa” – mówi Altman. „Część naszej strategii brzmi: stopniowa zmiana na świecie jest lepsza niż nagła zmiana”. Lub, jak ujęła to wiceprezes OpenAI Mira Moratti, kiedy zapytałem ją o pracę zespołu ds. bezpieczeństwa ograniczającego otwarty dostęp do oprogramowania: „Jeśli mamy się nauczyć, jak wdrażać te potężne technologie, zacznijmy, gdy stawki są bardzo niskie ”.

Podczas gdy sam GPT-3 Działający na 285 000 rdzeni procesorów w klastrze superkomputerów w stanie Iowa, OpenAI działa poza obszarem Mission w San Francisco, w odnowionej fabryce bagażu. W listopadzie ubiegłego roku spotkałem tam Ilyę Sotskefera, próbującego wydobyć laikowi wyjaśnienie, jak naprawdę działa GPT-3.

„To podstawowa idea GPT-3” – powiedział z naciskiem Sotskever, pochylając się do przodu na swoim krześle. Ma ciekawy sposób odpowiadania na pytania: Niektóre falstarty – „Mogę podać opis, który z grubsza pasuje do opisu, o który prosiłeś” – przerywane długimi pauzami medytacyjnymi, jakby sporządzał wykres całej odpowiedzi w toku.

W końcu powiedział: „Podstawową ideą GPT-3 jest sposób odnoszenia intuicyjnego pojęcia rozumienia do czegoś, co można zmierzyć i zrozumieć mechanicznie, a to jest zadanie przewidzenia następnego słowa w tekście. Inne formy sztucznej inteligencji próbują zaszyfrować informacje o świecie: strategie szachowe wielkich mistrzów, zasady klimatologii. Ale inteligencja GPT-3, jeśli inteligencja jest na nią słowem, pochodzi od podstaw: poprzez czasownik elementarny, aby przewidzieć następne słowo. W przypadku szkolenia GPT-3 model otrzymuje „podpowiedź” — na przykład kilka zdań lub akapitów tekstu z artykułu prasowego, powieści lub artykułu naukowego — a następnie proszony jest o zasugerowanie listy możliwych słów, które może uzupełnić sekwencję, uporządkowaną według prawdopodobieństwa. Na wczesnych etapach szkolenia proponowane słowa są nonsensem. Zadaj algorytmowi zdanie typu „Pisarz usunął ostatnie słowo z pierwszego słowa…””, a domysły byłyby rodzajem strumienia bzdur: lista – pojawia się prawidłowe brakujące słowo: „akapit”. Następnie program wzmacnia i osłabia wszelkie losowe połączenia neuronowe, które generują tę konkretną sugestię Wszystkie połączenia, które wygenerowały błędne odgadnięcia.Następnie przechodzi do następnego routera.Z biegiem czasu, przy wystarczającej liczbie iteracji, program uczy się.

READ  Aktualizacja systemu Nintendo Switch 18.0.0 jest już dostępna, a tutaj znajdują się pełne informacje o łatce

W styczniu OpenAI dodał funkcję, która pozwala użytkownikom podawać bezpośrednie instrukcje GPT-3 jako monit, zamiast wymagać od nich rozszerzenia przykładowego segmentu tekstu. Na przykład, korzystając z trybu pomocy, GPT-3 otrzymał kiedyś monit: „Napisz esej omawiający rolę metafikcji w pracy Italo Calvino”. Krótki akapit, który zaczynał się następująco:

Włoski pisarz Italo Calvino jest uważany za eksperta od metafikcji, rodzaju pisarstwa, w którym autor przełamuje czwartą ścianę, aby omówić sam akt pisania. Dla Calvino metafikcja jest sposobem odkrywania natury rzeczywistości i sposobów, w jakie historie mogą kształtować nasze postrzeganie świata. Jego powieści często zawierają zabawne struktury i labirynty, które manipulują granicami między rzeczywistością a fantazją. Na przykład w przypadku, gdy podróżnik jest w zimową noc, czytelnika nieustannie przerywają dyskusje na metapoziomie aktu czytania i natury opowiadania. . . .

Możesz dać GPT-3 dokładnie ten sam monit, w kółko, i za każdym razem wygeneruje unikalną odpowiedź, niektóre bardziej przekonujące niż inne, ale prawie wszystkie niezwykle proste. Podpowiedzi informacyjne mogą przybierać różne formy: „Daj mi listę wszystkich składników sosu bolońskiego”, „Napisz wiersz o francuskiej nadmorskiej wiosce w stylu Johna Ashbery’ego”, „Wyjaśnij Wielki Wybuch językiem, który 8-latek -stary rozumie”. Czasami podczas pierwszych kilku bodźców GPT-3 tego rodzaju, czułem gęsią skórkę przebiegającą po moim kręgosłupie. Wydawało się prawie niemożliwe, aby maszyna generowała tak wyraźny i responsywny tekst, w całości oparty na początkowym treningu przewidywania następne słowo.

Ale sztuczna inteligencja ma długą historię tworzenia iluzji inteligencji lub zrozumienia bez faktycznego dostarczania towarów. w dużo dyskutowany artykuł Opublikowana w zeszłym roku profesor lingwistyki Emily Bender z University of Washington, były badacz Google Timnit Gebru i grupa współautorów oświadczyli, że duże modele językowe są po prostu „losowymi papugami”: to znaczy, że program wykorzystywał randomizację tylko do remiksowania zdań napisanych przez ludzie. Bender powiedziała mi niedawno w e-mailu: „To, co się zmieniło, to nie jakiś krok powyżej pewnego progu w kierunku „sztucznej inteligencji”. Zamiast tego, powiedziała, zmieniły się „innowacje sprzętowe, programowe i gospodarcze, które umożliwiają gromadzenie i przetwarzanie ogromnych zestawy danych” — a także kultura Technologia, którą mogą mieć „ludzie, którzy budują i sprzedają takie rzeczy”, jest daleka od budowania jej na fundamentach niedokładnych danych”.

READ  Google dodaje szyfrowanie po stronie klienta do Gmaila i Kalendarza. Czy powinno cię to obchodzić? - Ars Technica

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *