Створюючи режим «Кіноефект» для iPhone, ми ретельно вивчали, як професійні кінооператори використовують переклад фокуса, щоб додати сюжету інтриги і зробити фільм більш видовищним.

На зйомках у Голлівуді над цим працює ціла команда фахівців. Кінооператор вирішує, що буде у фокусі і в який момент його потрібно перевести. А асистент по фокусу стежить, щоб це було зроблено плавно, в потрібний момент і з точною фокусуванням на потрібному об'єкті. Ми поставили собі велику задачу: навчити iPhone переводити фокус автоматично.

Для початку потрібно згенерувати дані глибини різкості в високій якості: потрібно було навчити режим «Кіноефект» точно вимірювати відстань до об'єкта в кадрі, будь то людина, тварина або предмет. А оскільки мова йде про відео, ці дані повинні були надходити безперервно: з частотою 30 кадрів в секунду.

Роботу цілої команди кінооператорів ми доручили системі Neural Engine. Саме вона автоматично приймає рішення про те, що повинно бути в фокусі в даний момент, і в потрібний час забезпечує його плавний переклад на інший об'єкт. Але якщо ви хочете керувати процесом вручну, фокус можна переводити самостійно - як під час зйомки, так і при редагуванні.

І для таких серйозних обчислювальних потужностей нам був потрібен процесор, який міг впоратися з цією роботою. Такий, як A15 Bionic.

Складно навіть уявити обсяги обчислювальної потужності, необхідні для роботи алгоритмів машинного навчання, рендеринга зміни автофокусування, підтримки ручного зміни фокусу і перекладу кожного кадру в формат Dolby Vision - і все це в режимі реального часу.

Тепер цілий Голлівуд у вас в кишені.

Робота дисплея, який оновлюється 120 разів на секунду, - дуже енерговитратний процес. Але така частота оновлення потрібна не завжди.

На зйомках у Голлівуді над цим працює ціла команда фахівців. Кінооператор вирішує, що буде у фокусі і в який момент його потрібно перевести. А асистент по фокусу стежить, щоб це було зроблено плавно, в потрібний момент і з точною фокусуванням на потрібному об'єкті. Ми поставили собі велику задачу: навчити iPhone переводити фокус автоматично. Тому хороший спосіб підвищити енергоефективність - задати стандартну частоту оновлення для різних типів контенту. Наприклад, 10 кадрів в секунду для читання книг і 120 кадрів в секунду для ігор. Основна складність такого підходу в тому, що частота кадрів весь час змінюється. У разі встановлення частоти для екрану меню в грі становить 30 кадрів в секунду, але дисплей при цьому налаштований на оновлення з частотою 120 кадрів в секунду, дорогоцінний заряд акумулятора витрачатиметься даремно, а ви ніяк не зможете оцінити високу частоту оновлення.

Ми вирішили, що нема чого витрачати заряд акумулятора на порожні кадри і розробили більш складну технологію роботи дисплея. Таку, яка постійно адаптується під постійно мінливу частоту оновлення контенту.

Ніяких налаштувань. Частота оновлення безпосередньо залежить від того, що відбувається на екрані. Якщо під час гри частота оновлення знижується до 30 кадрів в секунду, то ж робить і технологія ProMotion. Якщо ви дивитеся відео, зняте з частотою 24 кадрів в секунду, саме з цією частотою воно і відтворюється на дисплеї. І все це значно економить енергію.

З технологією ProMotion ви немов пірнає через дисплей прямо в додаток.

Ми врахували навіть те, як сповільнюється і прискорюється палець при прокручуванні контенту і змахування по екрану. А швидкість руху пальця визначає швидкість кожного жесту. В iOS 15 вам часто буде здаватися, що при частоті 120 Гц контент буквально слід за пальцем. З неймовірною швидкістю. При цьому технологія ProMotion використовує частоту 120 кадрів в секунду тільки в ті моменти, коли вона вам дійсно потрібна.

Звичайно, було б простіше просто вмонтувати в iPhone постійну частоту оновлення 120 Гц і не думати про витрату акумулятора. Але в Apple інший підхід. Нам було важливо переконатися, що дисплей працює з високою частотою оновлення саме тоді, коли ця частота потрібна. І що в інші моменти заряд акумулятора не витрачається даремно.

Рік за роком чіп iPhone міняв уявлення про межі можливого для смартфона. В основі всього лежить наш унікальний підхід до розробки: довгий шлях до створення кожного продукту і по-справжньому злагоджена робота всіх наших команд.

Така тісна інтеграція наших команд дозволяє розвивати функції, які були б неможливі при іншому підході.

Саме так ми створюємо нові технології, наприклад ProMotion, починаючи планувати їх заздалегідь - за кілька років. Команда, що створювала чіп A15 Bionic, відмінно знала, що саме потрібно для функціонування апаратного та програмного забезпечення дисплея, і враховувала це в своїх процесах.

Наприклад, ми оптимізували модуль дисплея, щоб він підтримував різну частоту кадрів, і створили систему, при якій технологія ProMotion може забезпечувати приголомшливу графічну виробник & shy; ність і використовувати потенціал нового енергоеффект & shy; ного 5-ядерного графічного процесора.

Тим часом команди, які розробляють програмне забезпечення для дисплея і систему iOS, з'ясували, для яких завдань така висока частота оновлення підходить найкраще і в яких випадках можна оптимізувати частоту кадрів для економії заряду акумулятора. Ми почали не просто з ідеї створення швидкого чіпа, на базі якого будувалися б різні функції. Замість цього ми подумали про те, яким має бути ідеальний пристрій, яке ми були б раді запропонувати користувачам. І потім об'єднали наші зусилля для його створення.