Революція інтерфейсу: Google DeepMind перетворює курсор миші на інтелектуального помічника

Компанія Google DeepMind ініціювала амбітний дослідницький проєкт, мета якого – докорінно змінити роль звичайного курсора комп'ютерної миші. Розробники планують перетворити його на контекстно-залежний інструмент, керований штучним інтелектом. Ця ініціатива фактично є першим масштабним переосмисленням концепції комп'ютерного покажчика за останні пів століття.

Деталі

В основі розробки, очолюваної дослідниками Адріеном Баранесом та Робом Марчантом, лежить інтеграція мультимодальної моделі Gemini з експериментальною системою позиціонування. Завдяки цьому "розумний" курсор не просто фіксує координати, а розуміє:

• Семантику: на який саме об'єкт він спрямований.
• Дію: суть натискання чи виділення.
• Намір: імовірну кінцеву мету користувача в конкретному контексті.

Дослідники наголошують на проблемі, яку вони називають "тертям" у взаємодії з сучасними ШІ-помічниками. Сьогодні користувачі змушені переривати свій робочий процес: копіювати текст, перемикатися на вікно чат-бота, вставляти дані й лише потім отримувати відповідь.

• Розумний гаджет для апокаліпсису: що відомо про LightInk

Новий підхід Google DeepMind кардинально інший. Автори зазначають:

Ми прагнемо протилежного: інтуїтивно зрозумілого ШІ, який взаємодіятиме з користувачами в усіх інструментах, якими вони користуються, не перериваючи їхній робочий процес

Однією з ключових особливостей є азаємодія курсора та мікрофона. Gemini аналізує те, що бачить курсор, і те, що чує система. Це дозволяє використовувати природну людську манеру спілкування з використанням вказівних займенників.

На практиці це виглядає вражаюче: у демонстраційній версії користувач може навести курсор на зображення краба і просто сказати: "Перемісти це сюди". ШІ миттєво ідентифікує об'єкт і виконує дію, орієнтуючись на візуальний контекст.

Сучасні інновації Google є логічним продовженням ідей, закладених ще у 1960-х роках. Перший прототип "миші" був виготовлений з дерева у 1964 році Дугом Енгельбартом та Біллом Інглішем у Стенфорді.

Енгельбарт, отримуючи премію Лемельсона-МІТ у 1997 році, передбачив, що комп'ютерні технології стануть настільки гнучкими, що докорінно змінять способи нашої комунікації та управління інформацією. Він вважав, що цей еволюційний стрибок змусить людство адаптуватися до нових форматів взаємодії набагато швидше, ніж будь-коли раніше.

Команда розробників виокремила чотири фундаментальні принципи, на яких будується їхній проєкт:

1. Підтримка потоку: ШІ має бути "невидимим" шаром у системі. Користувач може навести курсор на PDF-документ і миттєво отримати його резюме, або навести на цифрові дані й створити графік прямо всередині робочого вікна, не відкриваючи додатковий софт.

2. Покажи і розкажи: Вирішення проблеми складних промптів. Курсор самостійно зчитує візуальну інформацію з екрана, тому користувачеві більше не потрібно писати довгі пояснення – ШІ вже "бачить" контекст.

3. Природна взаємодія: Система налаштована на сприйняття коротких фраз і жестів. Команди на кшталт "Виправ це" стають зрозумілими для комп'ютера завдяки тому, що він заповнює контекстні прогалини самостійно.

4. Трансформація пікселів: Будь-який елемент на екрані стає функціональним об'єктом. Наприклад:

• Фотографія рукописної замітки перетворюється на інтерактивний цифровий список справ.
• Кадр із відео з рестораном стає активною кнопкою для бронювання столика.

Цей проєкт Google DeepMind обіцяє стерти бар'єри між людиною та операційною системою, роблячи комп'ютер справжнім продовженням людської волі та жестів.

Каліфорнійський стартап Sabi представив революційну розробку – нейроінтерфейс у вигляді звичайної трикотажної шапки. Пристрій зчитує мозкові імпульси та миттєво перетворює їх на текст із вражаючою швидкістю – 30 слів на хвилину. Цей винахід здатний назавжди змінити те, як ми взаємодіємо з технологіями, замінивши традиційне введення даних силою думки.