Dostępny jest nowy edytor zdjęć firmy Apple, jeśli wiesz, gdzie go szukać. Firma iPhone Kings nawiązała współpracę z badaczami z Uniwersytetu Kalifornijskiego w Santa Barbara, aby stworzyć narzędzie umożliwiające edycję zdjęć i obrazów przy użyciu instrukcji tekstowych. Nie ma oficjalnej wersji, ale badacze udostępniają wersję demonstracyjną, którą możesz wypróbować samodzielnie i która została zauważona po raz pierwszy Ekstremalna technologia.
Projekt nosi nazwę Multimodal Large Language Model Guided Image Editing (MGIE). Obecnie na rynku dostępnych jest wiele programów do edycji zdjęć wykorzystujących sztuczną inteligencję. Photoshop jest teraz wyposażony w wbudowane narzędzia AI, a inne, takie jak DALL-E OpenAI, umożliwiają edycję obrazów, a także tworzenie ich z całej tkaniny. Jeśli jednak próbowałeś już z nich korzystać, wiesz, że może to być nieco frustrujące. W wielu przypadkach sztuczna inteligencja ma trudności ze zrozumieniem, czego dokładnie szukasz.
Innowacja w MGIE dodaje kolejną warstwę interpretacji AI. Kiedy powiesz AI, co chcesz zobaczyć, MGIE najpierw użyje tekstowej sztucznej inteligencji, aby Twoje instrukcje były jaśniejsze i bardziej opisowe. „Wyniki eksperymentów pokazują, że ekspresyjne instrukcje są niezbędne do edycji obrazów opartej na instrukcjach” – stwierdzili naukowcy w artykule. papier Opublikowano na arXiv. „MGIE może prowadzić do znacznej poprawy”.
Firma Apple opublikowała wersję oprogramowania typu open source na stronie githubie. Jeśli jesteś mądry, możesz samodzielnie uruchomić kopię MGIE, ale badacze utworzyli to narzędzie na… Przytulanie twarzy. Działa trochę wolno, gdy korzysta z niego wiele osób, ale jest to fajne doświadczenie.
Giganci technologiczni, tacy jak Apple, wydają miliardy dolarów na projekty, których nikt nigdy nie zobaczy, więc jest całkiem możliwe, że tak zwane narzędzie MGIE nigdy nie zostanie oficjalnie wydane. Apple nie odpowiedział natychmiast na prośbę o komentarz.
Wzięliśmy to na przejażdżkę tutaj, w biurze Gizmodo. Przesłałem zdjęcie mojego kolegi i najbliższego doradcy Kyle’a Barra w dziwnych okularach przeciwsłonecznych, które zrobiłem w serwisie Netflix w… Tegoroczne targi elektroniki użytkowej. Powiedziałam Amnesty International: „Ten mężczyzna stoi na pustyni”. Przed utworzeniem obrazu MGIE ekstrapoluje następujące informacje:
„Mężczyzna ma na sobie metalowy hełm i stoi na pustyni. Okolica jest jałowa i jałowa, a jak okiem sięgnąć rozciągają się wydmy piaskowe”.
Po dłuższej zabawie z narzędziem, niż powinno, staje się jasne, że podlega ono wielu tym samym ograniczeniom, co każdy inny generator obrazów AI. Często wyniki są dziwne i nie przypominają tego, co zamówiłeś. Ale w niektórych przypadkach wykonała imponującą robotę, a w obronie oprogramowania sztuczna inteligencja radziła sobie lepiej ze znanymi tematami. „Znane” nie jest czymś, co można by nazwać okularami przeciwsłonecznymi Kyle’a.