Искусственный интеллект и человек - игра в покер

Неужели возможна игра в дуэли человек и компьютером, искусственным разумом? Возможно, и как показывает практика – человек может в дуэли одержать победу. Но какую статистику показывает сама игра?

Содержание:

1. Электронного формата игрок

2. Человеческие в игре факторы

3. Судный день

В 1997 году прошел чемпионат по шахматам в паре Г. Каспарова и суперкомпьютером IBM носящим название Deep Blue. И сами результаты игры должны были наглядным образом показать – способен ли живой человек одержать победу над компьютером.

Но в итоге именно компьютер смог обыграть знаменитого и опытного гроссмейстера – машина пока умнее. Как минимум в шахматных партиях. Но не только эта игра позволит нам с вами потягаться с искусственным, математически созданным программистами интеллектом. Или сокращенно ИИ.

В самом конце весны, в мае месяце разработанный программистами искусственный интеллект снова вступил в сражение с профессиональными игроками и на их поле, точнее сказать за их покерным столом.

И тут уже речь идет именно о знаменитом игровом турнире «Ум против машины», проводимый в Риверс Казино, Питтсбург. В программе турнира – две недели игры, 80 000 раздач, гора фишек на сумму порядка 17 миллионов.

Так на стороне людей выступили 4 профессионала – игроки в знаменитый покер, которые по признанию многих самые сильные на Земле. Это Джейсон Лес, Донг Ким, Бьорн Ли и Даг Полк – им противостоял бот, с роботом, специально созданным программистами и хакерами интеллектом Claudico.

Примечательно – появился он там же, где и родился так сказать в кавычках знаменитый искусственный интеллект Deep Blue, а именно в стенах мировой лаборатории, существующей изначально при университете Меллон, Карнеги. И играли соперники именно в техасский, с безлимитными нормами.

Именно описанная вариация вызвала самый живой интерес у исследователей искусственного – она весьма сложна. Тут игрок на руки получает всего 2 карты, которые и видит только он. После – игрок делает ставку и после сам крупье дает каждому игроку еще по 5 карт, но уже открыв их.

В начале идут 3 карты – это флоп, далее идет по 1 карте, терн и ривер. В самой же игре, где размер ставки лимитирован и ограничен правилами, в безлимитном – размер таковых не ограничен.

Учитывая карты на руках – игрок может играть сильной рукой или блефовать, так одурачив соперника, оставаясь в выигрыше. Это может быть сложно, и настолько, что даже ИИ присматривается к игре с 90-х. Игра в таком случае – это своего рода тест для самых разных исследований, определяющих потенциал ИИ. И если сравнивать с шахматами – при игре в покер партнер не имеет всей полной информации.

Но ИИ может прочитать сам алгоритм, определив наилучшую стратегию, опираясь на имеющуюся, пусть и неполную информацию. Именно этот алгоритм мог бы в будущем использоваться во многих стратегических сферах.

И как сказал бы Т. Сэндхольм, глава Claudico – современные ситуации это также игра с неполными данными. Игрок не имеет всей информации обо всех игроках.

Сегодня многие алгоритмы, в паре с мощным искусственным интеллектом уже решает сложные задачи, имея в распоряжении все данные. Потому пришло время, идти вперед. Чтобы провести данное исследование – Microsoft и Риверс выдали на него 100 000 долларов, дабы покрывать издержки турнира, и запустить 13-дневный игровой марафон. Это сделало саму игру интересной для самих игроков.

Сама же команда в паре Карнеги–Меллон построила игру так, чтобы искусственный в игре в покер интеллект под названием Claudico играл параллельно и одновременно с каждым из присутствующих 4 игроком – с каждым он должен был провести более 20 000 раздач.

Тем не менее, самого победителя будут определять по итогам общего результата игры – если люди будут иметь в активе больше фишек, то кубок отдают им, в противном случае победу забирает именно ИИ.

Электронного формата игрок

К самой разработке ИИ Claudico команда Сендхольма подходила в три этапа. В самом своем начале они посредством математических формул ввели правила проводимого безлимитного в игре в покер холдема абстрактному, не имеющему ИИ алгоритму, конкретизировав и уменьшив правила.

После настраивают так алгоритм, чтобы приблизить к равновесию Нэша. Так последнее – это теории в игре, в основе которой игрок применяет самую оптимальную стратегию.

После сама команда разработчиков применила методу обратного типа отображения – так стратегию вводили в изначально созданный и прописанный игровой алгоритм. Так ИИ показали правила, после научили игре, применим наилучший в науке метод.

Не обладая на руках повседневных, наработанных паттернов, присущих для любого покерного игрока-человека, искусственный интеллект просто в игре вел себя не как игрок, поступая непредсказуемо. Именно это дает ИИ над игроком - человеком немалое преимущество.

Игроки – люди используют в игре 2-3 размера ставок, поскольку не хотят выдавать свои карты, а вот логика искусственного в игре в покер, созданного программистами, интеллекта – эту пару он исключил.

Помимо этого, сам процесс просчета вариантов требует немалые по объемам вычислительные ресурсы. И соответственно сами создатели ИИ Claudico не прописали специальный алгоритм.

Авторам попросту пришлось выходить за пределы классического компромисса в паре затрата игрового времени – качество выданного для каждого варианта игры решений. Именно потому сам ИИ должен руководствоваться равновесием Нэша, хоть последний не принимает во внимание тенденции, прослеживаемые в игре каждого сидящего за столом.

Тут уже машина просматривает наиболее верную, выгодную стратегию в игре и не принимает во внимание все возможные и существующие обстоятельства. Claudico никогда не будет ловить настроение игрока, не делает выводы на основании сделанных наблюдений, не имеет интуиции.

Человеческие факторы в игре 

Сам подход ИИ Claudico к игре был так прекрасен и практичен, что сами люди к нему долго расти. Если на практике задействовать стратегию игры ИИ и саму теорию – игрок нейтрален кто и как ведет игру.

По словам участника турнира – Д. Леса, в самом худшем варианте, ваша собственно стратегия оставит вас при своих же деньгах. Но его весьма впечатлили интеллектуальные способности Claudico – от ИИ можно было ждать всего, чего угодно, в один момент он проявит себя. И главное не даст шансов на победу.

На старте соревнований Леса также поразила уникальная по своей структуре система ставок бота – он применил смешанную, эффективную стратегию. Даже профи постепенно формируют собственную стратегию ставок, которую может проследить более опытный игрок, но вот с Claudico подобный номер не проходит. Именно ИИ выступает в игре своего рода идеальным балансом случайного варианта комбинации.

Подобный подход имеет и иную сторону. Соперники нарабатывали свою стратегию, и именно она выявила и далее эксплуатировала все странности, манеру покерной игры искусственного, содранного программистами интеллекта.

Например, Claudico не принимает во внимание собственные карты, и так снижает шанс существования у абонента таких же карт. Игроки также принимали во внимание подобную вероятность и потому предугадывали, когда ИИ со слабыми картами начинал блефовать, заставив соперника во время игры попросту сбросить собственные карты.

Это предоставило игрокам шанс игнорировать большой блеф бота, так как они понимали – высота ставки не может соответствовать картам на его руках.

Также немалой прорехой в защите ИИ стало и то, как именно он реагировал на ставки каждого соперника. Так пытаясь сделать вычисление менее емкими по ресурсу – авторы ИИ огранили его ведение самой игры, и это ему приходится принимать во внимание при совершении того или иного действия. Таким в игре в покер ограничением есть набор делаемых ставок – ИИ воспринимает это как своего рода дань.

Если ИИ не имеет данных о сделанной ставке в актив банка – в одной сделанной ставке он будет воспринимать ее как ставку к ѕ банка, а в иной – как к ј от банка. Именно ИИ расценивает саму величину так сказать некорректно. Соответственно его поступки и решения будут некорректны.

Такое поведение было для разработчиков ИИ немалой проблемой – этот минус раскусили и быстро взяли на свое в покере вооружение потенциальные игроки. Игроки применяли самые невозможные и необычные по сути размеры игровых ставок - для Claudico это создало немало трудностей.

Судный день

Как следствие, сама возможность использовать отклонение ИИ в оптимально выстроенной покерной игре принесла игрокам со стороны людей победу. И на последнем раунде люди одержали победу. И приз составил 170 миллионов, обыграв ИИ на 732 713 долларов.

При этом сам ИИ проиграл, поскольку с позиции интервальной, объективной оценки – сам результат соревнований означает паритет. Поскольку сам ИИ не проиграл с позиции математического расчета, но и фактически – в соответствии с правилами покера. И оспаривать саму победу людей – попросту невозможно.

Проведенный турнир показал наглядно как далеко ушли ученые в создании ИИ. Чтобы одержать победу над Каспаровым, Deep Blue ушло 8 лет.

А вот Claudico как искусственный, созданный программистами интеллект, проиграл и всего-то с небольшим фактическим отставанием, поскольку в алгоритме искусственного интеллекта машины были просчеты.

Игроки импровизировали и при этом подстраивались под саму игру самого оппонента, принимали во внимание его недостатки и особенности, применив против противника. ИИ Claudico сделать что-либо подобное не способен. Бесспорно, программисты смогут создать более совершенный алгоритм, даст ему способность к самообучению, и вполне возможно у человека не останется шанса на победу. В игре в покер, по крайней мере, ИИ имеет свою победу.