- Duży model językowy Google PaLM 2 wykorzystuje prawie pięć razy więcej danych tekstowych do szkolenia niż jego poprzednik, LLM, CNBC.
- Ogłaszając PaLM 2 w zeszłym tygodniu, Google powiedział, że model jest mniejszy niż poprzedni PaLM, ale wykorzystuje bardziej wydajną „technologię”.
- Brak przejrzystości danych treningowych w modelach AI staje się coraz bardziej gorącym tematem wśród badaczy.
Sundar Pichai, dyrektor generalny Alphabet Inc. , podczas konferencji Google I/O Developers Conference w Mountain View w Kalifornii, w środę, 10 maja 2023 r.
Davida Paula Morrisa | Bloomberg | Obrazy Getty’ego
CNBC dowiedziało się, że nowy duży model językowy Google, który firma ogłosiła w zeszłym tygodniu, wykorzystuje prawie pięć razy więcej danych szkoleniowych niż jego poprzednik z 2022 roku, umożliwiając wykonywanie bardziej zaawansowanych zadań związanych z kodowaniem, matematyką i kreatywnym pisaniem.
PaLM 2, nowy model dużego języka do użytku publicznego (LLM) firmy zaprezentowany na Google I/O, został przeszkolony na 3,6 biliona tokenów, zgodnie z wewnętrznymi dokumentami widzianymi przez CNBC. Tokeny, które są ciągami słów, są ważnym elementem składowym szkolenia LLM, ponieważ uczą model przewidywania następnego słowa, które pojawi się w sekwencji.
Poprzednia wersja PaLM firmy Google, która oznacza Pathways Language Model, została wydana w 2022 roku i została przeszkolona na 780 miliardach tokenów.
Podczas gdy Google chciał pokazać moc swojej technologii sztucznej inteligencji i to, jak można ją zintegrować z wyszukiwaniem, e-mailami, edytorami tekstu i arkuszami kalkulacyjnymi, firma nie chciała publikować ilości ani innych szczegółów swoich danych szkoleniowych. OpenAI, innowator wspieranego przez Microsoft ChatGPT, również trzymał w tajemnicy szczegóły najnowszego języka LLM o nazwie GPT-4.
Firmy twierdzą, że powodem braku ujawnienia jest konkurencyjny charakter działalności. Google i OpenAI spieszą się, aby przyciągnąć użytkowników, którzy mogą chcieć szukać informacji za pomocą chatbotów zamiast tradycyjnych wyszukiwarek.
Ale ponieważ wyścig zbrojeń AI trwa, społeczność naukowa wzywa do większej przejrzystości.
Od czasu ujawnienia PaLM 2, Google powiedział, że nowy model jest mniejszy niż poprzednie LLM, co jest istotne, ponieważ oznacza, że technologia firmy staje się bardziej wydajna przy wykonywaniu bardziej złożonych zadań. PaLM 2 jest szkolony, zgodnie z wewnętrzną dokumentacją, na 340 miliardach parametrów, co świadczy o złożoności modelu. Początkowy PaLM jest trenowany na 540 miliardach parametrów.
Google nie od razu skomentowało tę historię.
Google Powiedział W poście na blogu dotyczącym PaLM 2 model wykorzystuje „nową technikę” zwaną Computational Scale Optimization. To sprawia, że LLM jest „bardziej wydajny z lepszą ogólną wydajnością, w tym szybszym wnioskowaniem, mniejszą liczbą parametrów usług i niższymi kosztami usług”.
Zapowiadając PaLM 2, Google potwierdził wcześniejsze doniesienia CNBC, że model jest wyszkolony w 100 językach i wykonuje szeroki zakres zadań. Jest już używany do zasilania 25 funkcji i produktów, w tym eksperymentalnego chatbota firmy Bard. Jest dostępny w czterech rozmiarach, od najmniejszego do największego: Gecko, Wydra, Bizon i Jednorożec.
PaLM 2 jest potężniejszy niż jakikolwiek istniejący model, oparty na publicznych ujawnieniach. LLM z Facebooka nazywa to LLaMA i tak jest ogłaszać W lutym został przeszkolony na 1,4 biliona tokenów. Ostatnim razem, gdy OpenAI udostępniło liczbę szkoleń ChatGPT, było to z GPT-3, kiedy firma powiedziała, że w tym czasie przeszkoliła 300 miliardów kodów. OpenAI wypuścił GPT-4 w marcu i powiedział, że w kilku profesjonalnych testach pokazuje „wydajność na poziomie człowieka”.
LaMDA, LLM rozmowa, którą Google stopa Dwa lata temu i promowany w lutym wraz z Bardem, został przeszkolony na 1,5 biliona tokenów, zgodnie z najnowszymi dokumentami widzianymi przez CNBC.
Ponieważ nowe aplikacje AI szybko docierają do głównego nurtu, toczy się również debata na temat technologii leżącej u ich podstaw.
Mehdi Elmohamady, starszy naukowiec w Google, Zrezygnował w lutym O braku transparentności firmy. We wtorek dyrektor generalny OpenAI, Sam Altman, zeznawał na przesłuchaniu przed Senacką Podkomisją Sądownictwa ds. Prywatności i Technologii i zgodził się z prawodawcami, że potrzebny jest nowy system do radzenia sobie z AI.
„Dla technologii, która jest tak nowa, potrzebujemy nowej struktury” – powiedział Altman. „Z pewnością firmy takie jak nasza ponoszą dużą odpowiedzialność za narzędzia, które udostępniamy światu”.
— Jordan Novette z CNBC przyczynił się do powstania tego raportu.
On ogląda: Sam Altman, dyrektor generalny OpenAI, wezwał do zarządzania AI
