Нейросети для слабовидящих: как искусственный интеллект помогает людям с нарушениями зрения
Принципы работы машинного зрения
В основе применения искусственного интеллекта (ИИ) для слепых и слабовидящих лежит воплощение в действие машинного зрения, специфика которого заключается в том, что встроенные в гаджеты камеры передают изображение, описываемое в текстовой форме уже специальными приложениями. Благодаря данному феномену, человек приобретает возможность получить информацию о том, что находится вокруг него, прочитать содержание бумажного носителя, определить номинал денежной купюры и т.д. Конечно, все эти функции ещё не доведены до совершенства, т.к. активное внедрение нейросетей в нашу жизнь началось лишь в последние 5-6 лет, но они находятся на стадии постоянного развития и дополнения, а потому приступать к их освоению можно уже сейчас. Тем более, что нюансов, нуждающихся в особом осмыслении, как показывает практика, немало.
Seeing AI - «говорящие» глаза от корпорации Microsoft
Технология, по сути, ставшая фундаментальной для всех последующих подобных программ. Главным принципом её функционирования является перевод изображения, фиксируемого камерой устройства, в текст, доступный для восприятия незрячего пользователя. Seeing AI может «рассказать» о расположении окружающих объектов (их цвете, особенностях рельефа), освещении в помещении, описать находящихся рядом людей (с уточнением их пола, возраста, мимики и жестов), прочитать штрих-код на упаковке, назвать номинал бумажной купюры и т.д. Одним из огромных преимуществ проекта является привлечение к работе незрячих специалистов, которые тестируют и постоянно дорабатывают приложение. Так, куратором Seeing AI в самой компании Microsoft является слепой инженер Сакиб Шейх, с детства мечтавший создать подобного многофункционального помощника для инвалидов по зрению. Сегодня его детищем пользуются уже тысячи людей по всему миру, а само оно было удостоено престижной награды в области инклюзии – премии Хелен Келлер. Однако существенным недостатком Seeing AI по-прежнему остаётся его исключительная доступность лишь на устройствах от Apple.
Door Detection – определение дверей
Приложение, встроенное в лупу на айфонах с iOS 16 и выше. Главное его предназначение – находить при помощи камеры расположенные поблизости дверные проёмы, определять положения самих дверей (закрыты они, полуоткрыты или открыты) и предоставлять голосовые подсказки о том, как лучше с ними взаимодействовать: взять за ручку и потянуть на себя, дотронуться до бортика и т.д. Кроме того, программа умеет определять примерное расстояние до искомых дверей, для чего задействуется специальный яблочный датчик. К сожалению, продукт недоступен ни пользователям Android, ни даже обладателям более старых айфонов, что существенно сужает его целевую аудиторию.
Lookout – детище Google
Lookout — Assisted vision – аналог описанного выше яблочного Seeing AI. Главный принцип работы гугловского помощника заключается в голосовом описании окружающих объектов, распознавании лиц людей, определении денежных купюр, прочтении штрих-кодов и т..д. Одним из важнейших плюсов является функционирование без интернет-соединения. Однако существенным минусом до сих пор остаётся отсутствие поддержки русского языка, что сильно ограничивает возможности русскоязычных пользователей.
Google Lens
Программа, позволяющая переводить незрячему человеку текст с иностранного языка на родной, подбирать схожие изображения и даже детализировать описания окружающих объектов (виды и формы растений, породы животных и др.). У продукта есть различные стратегии взаимодействия, которые заинтересованному пользователю понадобится освоить для более эффективной работы.
Envision AI: универсальность – залог успеха!
Это одно из самых популярных приложений по всему миру, о чём свидетельствуют статистические данные загрузок на различные устройства. Одним из безоговорочных плюсов программы является её полноценная работа как на гаджетах от Apple, так и на смартфонах от Google. Похвастаться Envision AI может довольно богатым функционалом. Среди его возможностей и прочтение текста с бумажного носителя, и идентификация лиц людей из списка контактов, и распознавание штрих-кодов, и определение цветов. К ощутимым минусам пока можно отнести отсутствия функции по квалификации бумажных денег. Приложение поддерживает русский язык, а для его работы требуется соединение с интернетом. В прошлом году проект был удостоен награды Общества слепых и слабовидящих пользователей продуктов Apple.
Sullivan+ от Tuat
Аналог из Южной Кореи, также обладающий возможностями описания обнаруживаемых камерой объектов, прочтения текста с листа и т.д. Приложение имеет русскоязычную поддержку и также требует подключения к сети. Одним из важнейших минусов остаётся отсутствие функции распознавания штрих-кодов, а к числу главных преимуществ относится совместимость со всеми устройствами (и Google, и Apple). Для гаджетов с далеко не блестящими техническими характеристиками разработаны облегчённые версии продукта, которые в основном могут переводить в доступный формат информацию с бумажного носителя. 3 года назад проекту была присуждена премия GLOMO – свидетельство мирового признания заслуг в области инклюзии.
Supersense — AI for Blind из Массачусетса
Это детище Массачусетского технологического института также получило достаточно универсальный функционал: поддержку как на Android, так и на iOS, способность озвучивать текст с листа, причём даже рукописный, чтение штрих-кодов и т.д. Безусловным плюсом можно считать наличие русского языка, а минусом – дислокацию многих возможностей лишь в платной версии.
AudiVision – подающий надежды младенец
Проект, основанный в 2022 году, с потенциальной способностью к воплощению всех функций аналогичных продуктов. Пока приложение доступно лишь в бета-версии, и то для пользователей Android – редкое исключение. Однако, как уверяют авторы стартапа, в их планах и адаптация программы к параметрам iOS. Приятными сюрпризами приложения являются 2 новые функции: Safe street и Expiry date. Если первая работает наподобие навигатора, помогая незрячим перемещаться по улице, обходя препятствия и выстраивая маршруты, то вторая позволяет прочитывать срок годности на упаковках товаров, с чем представители целевой аудитории без помощи всегда испытывают большие проблемы. Русскоязычной поддержки у приложения пока нет, но при её появлении программа, весьма вероятно, станет одной из самых популярных среди отечественных пользователей, поскольку для её работы соединения с интернетом не требуется.
Cash Reader – узнай, что у тебя в кошельке!
Приложение, в самом названии которого расшифровывается главное его предназначение – определять номинал денежных купюр, с которым, по словам пользователей, оно справляется прекрасно. В программе есть русскоязычная поддержка, и она способна распознавать российские рубли. К числу её преимуществ относится конвертируемость валют по текущим курсам, а также реализация большинства возможностей без соединения с сетью. Существенным минусом можно считать необходимость приобретения платной версии через довольно короткий пробный период.
Особый взгляд
Приложение, созданное благотворительным фондом «Искусство, наука и спорт», в рамках одноимённого проекта. Его главная функция заключается в предоставлении незрячим людям тифлокомментариев к просматриваемым фильмам. Адаптировано как к устройствам на iOS, так и к смартфонам с Android. Основной принцип работы состоит в том, что после загрузки из магазина приложений пользователь должен скачать уже готовый тифлокомментарий к той или иной картине и запустить его непосредственно перед просмотром. В результате произойдёт автоматическая синхронизация видеоряда и голосовых пояснений, и незрячий человек получит возможность полноценного восприятия фильма. Продукт полностью бесплатен и постоянно пополняется новыми возможностями.
GPT-4, или ИИ в роли волонтёра
Качественно новая модель нейросетей, способных не только описывать находящееся в объективе камеры, но и вести с пользователем диалог для уточнения необходимых деталей. Технология легла в основу внедряемой в приложении Be My Eyes функции виртуального волонтёра. Пока эта возможность находится на стадии бета-тестирования, но уже доступна проявляющим заинтересованность пользователям. Главный принцип её работы заключается в том, что искусственный интеллект описывает окружающие объекты, читает текст с бумажного носителя, идентифицирует изображения и т.д. Незрячий человек в форме чата может также отправить ему вопрос, на который придёт более подробный ответ. В программе имеется русскоязычная поддержка. Как отмечают разработчики, новая возможность позволит пользователям, не имеющим зрения, не ждать свободного волонтёра и не испытывать стеснения от личного контакта. К виртуальному помощнику можно будет обратиться в любое время суток, получив всю необходимую информацию. Сегодня для того, чтобы воспользоваться бета-версией функции, нужно подать заявку в приложении и дождаться своей очереди, а затем пройти регистрацию. В будущем данную возможность обещают сделать автоматической для всех и, что немаловажно, бесплатной.
ImageChat – неполная аналогия
Ещё один виртуальный волонтёр, способный распознавать окружающие объекты и отвечать на вопросы пользователей. Также совместим со всеми устройствами и даже браузерами, но пока не поддерживает русский язык. Вся информация выдаётся на английском, хотя на русскоязычные вопросы программа реагирует адекватно, демонстрируя высокий уровень понимания. Одним из ощутимых минусов является отсутствие встроенного голосового помощника, из-за которого для прочтения пояснений становится необходимым использование внешних скринридеров.
В целом же сектор ИИ-приложений для незрячих людей достаточно интенсивно пополняется новыми продуктами, и вполне возможно, что уже через 2-3 года их функционал станет ещё более впечатляющим и эффективным, делая машинное зрение высокопродуктивной заменой биологического. Поэтому следить за технологическими новинками – очень полезная привычка продвинутых пользователей умных устройств, которую, как показывает практика, целесообразно развить у себя каждому незрячему человеку, чтобы идти в ногу со временем.
