С камерой в каждом кармане и программным обеспечением для распознавания лиц, встроенным в наши смартфоны и социальные сети, иногда легко забыть, что фотографировать и идентифицировать лица на них не всегда было так просто. Потерянный, поврежденный или просто немаркированный, процесс идентификации людей на старых фотографиях может быть утомительным. Но, как выяснил Курт Лютер, доцент кафедры компьютерных наук в Virginia Tech, этот опыт также может быть весьма впечатляющим.
Лютер был на выставке "Гражданская война в Пенсильвании" в историческом центре сенатора Питсбурга Джона Хайнца в 2013 году, когда наткнулся на фотографию своего пра-пра-пра-дядю Оливера Крокстона. Он описал просмотр фотографии, которая была самой старой семейной фотографией, которую он видел, как путешествие во времени.
Уже любитель истории с интересом к американской гражданской войне, момент настал с Лютером, и он начал задаваться вопросом, как донести этот опыт до тысяч других энтузиастов истории.
«Я начал больше узнавать о фотографии гражданской войны, - говорит Лютер, - и о том, как идентифицировать [людей], используя различные визуальные подсказки, такие как униформа, знаки отличия или информация о студии фотографа. Тем временем я проводил много исследований в области краудсорсинга в качестве профессора информатики и подумал, что, может быть, есть способ объединить эти две вещи ».
Лютер наткнулся на фотографию своего пра-пра-прадеда Оливера Крокстона. (Предоставлено Коллекцией Кена Тернера) В результате появилось бесплатное онлайн-программное обеспечение под названием «Гражданская война в гражданской войне», которое использует краудсорсинг и распознавание лиц, чтобы помочь пользователям идентифицировать неизвестные объекты на фотографиях эпохи гражданской войны. Незадолго до официального релиза в 2018 году технология получила главный приз Microsoft Cloud Research Research Challenge за 25 000 долларов США за использование программного обеспечения Microsoft для распознавания лиц и награду за лучшую демонстрацию на конференции Human Computation and Crowdsourcing 2018. На этой неделе Лютер выступает на конференции Интеллектуальных пользовательских интерфейсов Ассоциации вычислительной техники в Лос-Анджелесе.
Разработанный с помощью докторантов и студентов в Virginia Tech, включая руководителя проекта Викрама Моханти и в сотрудничестве с историческим отделом Virginia Tech, Photo Sleuth использует многоцелевой подход, чтобы предложить наиболее точные определения.
Первым важным шагом в этом процессе было создание большой базы данных уже идентифицированных фотографий. На сегодняшний день Photo Sleuth имеет приблизительно 17 000 идентифицированных фотографий из национальных архивов, таких как Военно-исторический институт США, а также из частных коллекций, в которые входят не только солдаты гражданской войны, но и гражданские лица и другие военнослужащие той эпохи.
Лютер говорит, что им повезло получить поддержку уже восторженного сообщества историков гражданской войны с доступом к этим фотографиям, потому что без солидной базы уже идентифицированных фотографий было бы практически невозможно, чтобы программное обеспечение было полезным.
«Это не так, как в Field of Dreams, - говорит Лютер. - Если бы мы запустили сайт без изображений и просто надеялись, что пользователи добавят их все, мы столкнемся с проблемой холодного старта, когда у вас просто нет контента. »
База данных идентифицированных фотографий играет важную роль, помогая пользователям идентифицировать фотографии, которые они загружают сами. Пользователи вручную помечают специальные визуальные черты, такие как цвет шерсти, волосы на лице или знаки отличия военного звания, и фотография проходит через алгоритм распознавания лиц для анализа и регистрации уникальных соотношений лиц, таких как расстояние между такими точками лица, как нос и глаза. Photo Sleuth сравнивает визуальные данные неизвестной фотографии с уже определенными фотографиями в базе данных и представляет пользователю то, что он считает наилучшими совпадениями, основываясь на сходстве лиц и информации, полученной из других метаданных, таких как солдаты, которые, кажется, находятся в То же подразделение, основанное на знаках их униформы. В то время как программное обеспечение предпринимает преднамеренные шаги на этом пути, чтобы ограничить возможность ложной идентификации, Лютер говорит, что в конце дня пользователь должен сделать окончательную идентификацию, когда он представлен с лучшими догадками программного обеспечения.
«Мы были очень обеспокоены предотвращением ложной идентификации, - говорит Лютер, - потому что, когда вы говорите об Интернете, когда вы размещаете какую-то неверную информацию, очень трудно от нее избавиться или изменить».
Чтобы убедиться, что их программное обеспечение предоставляет пользователям наилучшие возможные варианты идентификации, Лютер провел анализ первого месяца предлагаемого идентификатора программного обеспечения, используя методы, описанные в столбцах, которые он внес в журнал истории гражданской войны Military Images . Оценив идентификаторы по категориям «определенно не соответствует», «вероятно, не соответствует», «вероятно, соответствует» и «определенно соответствует», анализ показал, что 85 процентов предложенных идентификаторов либо соответствуют, либо, вероятно, соответствуют. На конференции на этой неделе Лютер говорит, что он планирует осветить результаты самого последнего исследования команды по фото Sleuth, в том числе открытие, сделанное Дейвом Морином, коллекционером изображений гражданской войны в Нью-Гемпшире, о портрете неопознанного лейтенанта Союза, Фотография Слута предполагает, что человек на портрете был Уильям Х. Болдуин из 1-го нью-йоркского инженера. Морин, который подтвердил, что Болдуин был уроженцем Нью-Гэмпшира, говорит, что он никогда бы не нашел рассматриваемого инженера Granite State без помощи Photo Sleuth.
Курт Лютер - доцент кафедры компьютерных наук в Технологии Вирджинии. (Эми Лоффлер) Исследование также подчеркивает взаимодополняющие преимущества человеческих историков и самого программного обеспечения. Несмотря на все их усилия, Лютер говорит, что программное обеспечение может зайти так далеко, только когда идентифицирует правильные совпадения, и полагается на пользователей, чтобы помочь идентифицировать улики, которые находятся в слепых точках алгоритма лица.
«[Алгоритм] обучен общему распознаванию лиц [на] в основном современных изображениях», - говорит Лютер. «ИИ переживает трудные времена, когда лицо поворачивается в сторону [в профиль]. Это своего рода необычный портрет по сегодняшним меркам, но в середине 19 века он был обычным явлением ».
Команда также обнаружила, что пользователи гораздо успешнее, чем один алгоритм, идентифицировали других уникальных производителей, таких как бороды и шрамы.
Патрик Льюис, историк гражданской войны и главный редактор научных ресурсов и публикаций в Историческом обществе Кентукки, который не принимал участия в разработке «Photo Sleuth», говорит, что «Photo Sleith» в «Гражданской войне» станет отличным инструментом не только для того, чтобы донести эти забытые истории до жизнь, но помочь продолжать строить совместную сеть историков гражданской войны по всей стране.
«Мне нравится заходить и смотреть на новые фотографии с метками Кентукки», - говорит Льюис. «[И спросите], кто люди, которые там собирают? Должны ли я знать об их отдельных коллекционерах, и должен ли я связаться с ними, чтобы узнать, есть ли у них какие-либо другие материалы, которые могут представлять исследовательский интерес?
Хотя ему еще предстоит связаться с любыми отдельными коллекционерами через Photo Sleuth, Льюис говорит, что само Историческое общество Кентукки работало над созданием записей известных онлайн-архивов и что программное обеспечение, такое как Photo Sleuth, значительно улучшило бы их способность продолжать эту работу.
В дальнейшем Лютер говорит, что они хотят «удвоить человеческие силы» программного обеспечения, в том числе добавить опцию «Второе мнение», которая позволит нескольким пользователям совместно работать над окончательной идентификацией фотографии, а также работать на расширение физического охвата и управления сообществом для расширения базы пользователей Photo Sleuth. Программное обеспечение также увидит некоторые подтяжки лица, включая новую функцию, которая позволит пользователям загружать и идентифицировать людей на групповой фотографии.
«Наша конечная цель - идентифицировать каждую неизвестную фотографию Гражданской войны, - говорит Лютер, - и сделать [Photo Sleuth] больше и лучше, потому что 25 000 изображений - это просто капля в море».
