Kiedy Google wprowadziło Night Sight na Pixelu 3, było to prawdziwe odkrycie.
To było tak, jakby ktoś dosłownie włączył światła na twoich zdjęciach przy słabym oświetleniu. Wcześniej niemożliwe zdjęcia są teraz możliwe – bez konieczności używania statywu lub lampy błyskowej w reflektorach.
Pięć lat później robienie zdjęć w ciemności jest już przestarzałe – prawie każdy telefon w całej gamie cenowej jest wyposażony w jakiś tryb nocny. Ale wideo to inna historia. Tryby nocne dla zdjęć przechwytują wiele klatek w celu utworzenia jednego jaśniejszego obrazu. Nie jest możliwe kopiowanie i wklejanie mechaniki tej funkcji do wideo, co ze swej natury Właściwie Seria zdjęć. Odpowiedzią, jak się ostatnio wydaje, jest sztuczna inteligencja.
Kiedy jesienią tego roku wypuszczono na rynek Pixel 8 Pro, Google ogłosiło wprowadzenie funkcji Video Boost with Night Sight, która pojawi się w przyszłej aktualizacji oprogramowania. Wykorzystuje sztuczną inteligencję do przetwarzania filmów, wydobywając więcej szczegółów i poprawiając kolory, co jest szczególnie przydatne w przypadku klipów przy słabym oświetleniu. Jest tylko jeden problem: przetwarzanie odbywa się w chmurze na serwerach Google, a nie na Twoim telefonie.
Zgodnie z obietnicą funkcja Video Boost zaczęła pojawiać się na urządzeniach kilka tygodni temu wraz z grudniową aktualizacją Pixela, w tym naszą jednostką testową Pixel 8 Pro. To dobrze! Ale to nie jest decydujący moment, jak oryginalny Night Sight. To pokazuje, jak świetny był Night Sight na początku swojej premiery, a także jakie szczególne wyzwania stanowi wideo dla systemu kamer w smartfonach.
Video Boost działa w ten sposób: Po pierwsze i najważniejsze, musisz mieć telefon Pixel 8 czoło, a nie zwykły Pixel 8 – Google nie odpowiedział na moje pytanie, dlaczego tak się dzieje. Możesz włączyć tę funkcję w ustawieniach aparatu, kiedy chcesz z niej skorzystać, a następnie rozpocząć nagrywanie wideo. Po zakończeniu kopia zapasowa filmu powinna zostać utworzona na Twoim koncie Zdjęć Google automatycznie lub ręcznie. Potem czekasz. I czekaj. W niektórych przypadkach musisz poczekać — funkcja Video Boost działa w przypadku filmów o długości do dziesięciu minut, ale nawet klip trwający zaledwie kilka minut może zająć wiele godzin.
W zależności od rodzaju nagrywanego filmu to oczekiwanie może być tego warte lub nie. Dokumentacja pomocy Google Mówi się, że zaprojektowano go tak, aby umożliwiał „tworzenie filmów na telefonie Pixel w wyższej jakości, z lepszym oświetleniem, kolorami i szczegółami” przy dowolnym oświetleniu. Ale Główny To, co faktycznie zapewnia Video Boost, to lepsze wideo przy słabym oświetleniu — tak powiedział mi menadżer produktu grupy Isaac Reynolds. „Pomyśl o tym jak o filmie z trybem nocnym, ponieważ wszystkie poprawki w innych algorytmach mają na celu osiągnięcie efektu nocnego”.
Wszystkie procesy, które sprawiają, że nasze filmy wyglądają lepiej przy dobrym świetle – stabilizacja i mapowanie tonów – przestają działać, gdy próbujesz nagrać wideo przy bardzo słabym świetle. Nawet, wyjaśnia Reynolds Uprzejmie Stopień rozmycia filmów przy słabym oświetleniu jest różny. „O.I.S [optical image stabilization] Może ustabilizować klatkę, ale tylko do określonej długości”. Filmy przy słabym oświetleniu wymagają dłuższych klatek, a ich stabilizacja jest dużym wyzwaniem. „Kiedy zaczniesz chodzić przy bardzo długich klatkach w słabym oświetleniu, możesz uzyskać pewien rodzaj rozmycie w kadrze to tylko reszta, którą OIS może skompensować.” Innymi słowy, jest to bardzo skomplikowane.
Wszystko to pomaga wyjaśnić, co widzę w moich filmach z funkcją Video Boost. Przy dobrym oświetleniu nie widzę dużej różnicy. Niektóre kolory wyróżniają się nieco bardziej, ale nie widzę niczego, co zmuszałoby mnie do regularnego ich używania, gdy dostępnego światła jest pod dostatkiem. W W pełnym zakresie Przy słabym oświetleniu funkcja Video Boost może całkowicie odzyskać część kolorów i szczegółów utraconych w standardowym filmie. Ale nie jest to tak dramatyczne, jak różnica między normalnym obrazem a obrazem wykonanym w trybie nocnym w tych samych warunkach.
Pomiędzy tymi dwiema skrajnościami istnieje złoty środek i według mnie funkcja Video Boost staje się naprawdę przydatna. W jednym klipie szedłem ścieżką o zmierzchu wewnątrz ciemnej pergoli Obudowa Coby BellPo ulepszeniu zauważalna jest poprawa szczegółowości i stabilności cieni. Im częściej korzystasz z funkcji Video Boost przy normalnym, średnim i słabym oświetleniu w pomieszczeniu, tym lepiej widzisz, że warunki są dla niego odpowiednie. Zaczynasz widzieć, jak wyblakłe, standardowe filmy wyglądają w takich warunkach — jak mój syn bawiący się ciężarówkami na podłodze w jadalni. Włączenie funkcji Video Boost przywróciło część żywotności, o której zapomniałem, że mi jej brakowało.
Wzmocnienie wideo jest ograniczone do głównego tylnego aparatu Pixela 8 Pro i nagrywa w rozdzielczości 4K (domyślnie) lub 1080p przy 30 klatkach na sekundę. Użycie funkcji Video Boost powoduje utworzenie dwóch klipów – początkowego pliku „podglądu”, który nie jest wzmocniony i jest natychmiast dostępny do udostępnienia, oraz ostatecznie drugiego „wzmocnionego” pliku. Pod maską dzieje się jednak sporo.
Reynolds wyjaśnił mi, że Video Boost wykorzystuje zupełnie inny potok przetwarzania, który zachowuje wiele danych przechwyconego obrazu, które normalnie zostałyby odrzucone podczas nagrywania standardowego pliku wideo — trochę jak związek między plikami RAW i JPEG. Plik tymczasowy przechowuje te informacje na Twoim urządzeniu do czasu wysłania ich do chmury; A następnie jest usuwany. To dobrze, ponieważ pliki tymczasowe mogą być ogromne – kilka gigabajtów w przypadku dłuższych klipów. Jednak ostateczne ulepszone filmy mają znacznie rozsądniejszy rozmiar – 513 MB na trzyminutowy klip, który nagrałem w porównaniu z 6 GB na plik tymczasowy.
Moją pierwszą reakcją na Video Boost było to, że wydawało się to rozwiązaniem tymczasowym — demonstracją funkcji, która teraz potrzebuje chmury do działania, ale zostanie przeniesiona na urządzenie w przyszłości. Qualcomm pokazał podobną wersję na urządzeniu tej jesieni, więc to musi być ostatnia gra, prawda? Reynolds twierdzi, że to nie tak, jak myśli. „To, co możesz zrobić w chmurze, zawsze będzie robić większe wrażenie niż to, co możesz zrobić na telefonie”.
Rozróżnienie między możliwościami Twojego telefonu a możliwościami serwera w chmurze zniknie w tle
Przykład: obecnie, jego zdaniem, telefony Pixel obsługują kilka mniejszych, ulepszonych wersji modelu Google HDR Plus. Jednak pełny „natywny” model HDR Plus, który Google rozwijał przez ostatnią dekadę dla swoich telefonów Pixel, jest zbyt duży, aby realistycznie działać na dowolnym telefonie. Możliwości sztucznej inteligencji na urządzeniach będą z czasem ulegać poprawie, więc jest prawdopodobne, że tak się stanie Niektóre Rzeczy, które można zrobić tylko w chmurze, przeniosą się na nasze urządzenia. Ale podobnie zmieni się to, co jest możliwe w chmurze. Reynolds twierdzi, że chmura to po prostu „kolejny element” możliwości Tensora.
W tym sensie ulepszenie wideo On jest Rzut oka w przyszłość – To po prostu przyszłość, w której sztuczna inteligencja w Twoim telefonie współpracuje z sztuczną inteligencją w chmurze. Więcej funkcji będzie obsługiwanych przez sztuczną inteligencję na urządzeniu i poza nim, a rozróżnienie między tym, co potrafi Twój telefon, a tym, co może zrobić serwer w chmurze, zniknie w tle. Nie jest to moment „aha” jak Night Sight, ale mimo to będzie to znacząca zmiana w sposobie myślenia o możliwościach naszych telefonów.
