Годинник, який слухає та конспектує: Apple запустила бета-тест штучного інтелекту Audio Intelligence

Технологічна екосистема Apple робить черговий крок у розвитку штучного інтелекту. Компанія оголосила про запуск у стадію бета-тестування нової системи Audio Intelligence, призначеної для смарт-годинників. Спочатку новаторський інструментарій стає доступним розробникам у рамках оновлення iOS 27.3. Вперше про цей набір функцій було оголошено під час вересневої презентації Surprise and Shine.

• Створено гаджет, який дозволить листуватися непомітно для оточуючих — розумні окуляри Subvocal

Нова технологія пропонує власникам Apple Watch Series 12 та Apple Watch Ultra 4 комплект із чотирьох інноваційних функцій на базі ШІ, розроблених для розпізнавання звукового оточення, визначення музики та роботи з розмовним аудіо:

• Розпізнавання критичних звуків: Інструмент створений першочергово для людей із порушеннями слуху. Годинник здатен фіксувати й ідентифікувати важливі акустичні сигнали довкілля – сирени, тривожні сповіщення чи дверні дзвінки – та миттєво сповіщати про них користувача.
• Визначення треків: Вбудована інтеграція з сервісом Shazam дозволяє розпізнавати музику, що лунає фоном, надаючи повну інформацію про виконавця та назву композиції.
• Функція Live Rewind: Можливість "прокрутити" розмову назад.
• Функція Siri Recaps: Система автоматичного створення текстових підсумків та нотаток на основі діалогів.

Live Rewind: швидкий повернення до сказаного

Якщо ви пропустили важливу деталь – наприклад, усну вказівку або названу офіціантом позицію з меню – двічі натисніть на цифрову заводну головку (Digital Crown). На циферблаті з’явиться текстовий фрагмент того, що було сказано за останні 15 секунд.

• Час життя фрагмента: Якщо не вжити жодних дій, текстовий уривок автоматично й безповоротно видаляється через 30 секунд.
• Збереження та аналіз: Користувач може зберегти текст у спеціальному додатку Siri (входить до iOS 27) або натиснути кнопку "Запитати Siri", щоб уточнити незрозумілі терміни чи деталі.
• Попередження для оточуючих: Щоб уникнути прихованого запису, подвійне натискання супроводжується чітким звуковим сигналом та візуальною анімацією на екрані, що інформує співрозмовників про фіксацію фрази.

Siri Recaps: інтелектуальне конспектування

Ця функція призначена для формування розширених нотаток під час робочих зустрічей, батьківських зборів або тренувань, коли зайняті руки або потрібно повністю зосередитися на співрозмовнику.

• Без долівного запису та аудіо: Система не зберігає аудіофайли, не створює дослівних транскрипцій і не ідентифікує конкретних мовців. Замість цього вона аналізує суть і генерує короткий підсумок: одне узагальнююче речення та кілька маркованих пунктів з фактами (дати, дедлайни, ціни, умови).
• Етичний фільтр: Siri Recaps програмно заблокована від обробки чутливих даних – державних ідентифікаторів, фінансової інформації, паролів, а також висловлювань, що стосуються самоушкодження.
• Автоматичні обмеження: Запис зупиняється, якщо користувач слухає музику в навушниках або використовує режим активного шумозаглушення.

Конфіденційність проти прослуховування: як працюють Live Rewind та Siri Recaps

Найбільше дискусій викликали саме функції, орієнтовані на фіксацію усного мовлення. На тлі суспільної критики щодо розумних окулярів Meta та інших розумних пристроїв, які постійно ведуть запис, Apple розробила концепцію, що балансує між щоденною користю та суворим захистом приватності.

Хоча у США відсутнє федеральне табу на подібну фіксацію, фонове прослуховування смарт-годинників здатне порушити законодавство окремих штатів (як-от Каліфорнія, Пенсильванія чи округ Колумбія), де запис приватних розмов без згоди всіх присутніх є строгим правопорушенням.

Зібрати такі дозволи в реальному житті – завдання майже нездійсненне, адже Apple сама наводить приклад використання Live Rewind після того, як офіціант уже пішов. Наразі суди ще не давали оцінки, чи вважається правопорушенням локальна обробка звуку на пристрої з подальшим зашифрованим хмарним аналізом, як і немає прецедентів щодо створення текстових резюме замість прямих аудіозаписів. Втім, юристи прогнозують швидку хвилю колективних позовів проти Apple. Поки юридичні точки над "i" не розставлено, фахівці радять банальне правило: завжди попереджати співрозмовників про фіксацію розмови.

Керування та збереження нотаток

Наприкінці дня (або під час ранкового розблокування) смарт-годинник пропонує переглянути створені дайджести. Користувач сам вирішує, що з цього зберегти в додаток "Нотатки" чи "Щоденник". Усі незбережені огляди автоматично стертимуться через 7 днів. Також можна налаштувати гнучкий розклад роботи Siri Recaps (наприклад, лише в робочі години) або швидко вимкнути її через Центр керування.

Технічна архітектура та захист даних

Складна обробка аудіо реалізована завдяки синергії апаратного забезпечення, локального ШІ та хмарних технологій:

• Hardware & On-Device Processing: Система спирається на новий чіп S11, мікрофон годинника та обчислювальні потужності зв'язаного iPhone.
• Захищений анклав (Secure Enclave): Аудіобуфер працює в повністю ізольованій пам'яті. Навіть операційна система або сама компанія Apple не мають доступу до сирого звуку.

Схема обробки:

1. Чіп S11 визначає наявність розмови й передає сигнал на iPhone через захищене з'єднання.
2. iPhone перетворює аудіо на стислий текст (без слів-паразитів).
3. Текст шифрується та надсилається до приватної хмарної системи Private Cloud Compute (PCC) для створення короткого змісту.
4. Готовий підсумок повертається на телефон, а всі проміжні дані в PCC негайно видаляються.

Усі збережені підсумки та нотатки залишаються доступними виключно користувачеві та надійно шифруються під час скрізної синхронізації між пристроями Apple.

За заявою розробників, робота нових алгоритмів не вплине на автономність смарт-годинника та смартфона. Після завершення закритого тестування Audio Intelligence буде переведено у стадію публічної бета-версії перед повноцінним релізом для всіх користувачів.

Компанія Apple розробляє новий доступний смартфон – iPhone 18e, вихід якого очікується на початку 2027 року. Пристрій матиме оновлений продуктивний процесор та покращену селфі-камеру, хоча дисплей і основний фотомодуль, за попередньою інформацією, залишаться без суттєвих змін.