SekraSoft (sekrasoft) wrote,
SekraSoft
sekrasoft

Categories:

Погром в китайской комнате



Вместо введения



Меня удивляет, что у нас принято судить о многом не объективно, а как-то по косвенным признакам. Ну вот, например, картины продают за неслыханные деньги не потому, что они реально хорошо сделаны, а потому, что нарисовал какой-то известный хрен. Или за какую-нибудь кривую муть отваливают в десять раз больше, чем за качественный заводской образец, ибо hand-made. Или творчество там. Почему-то считается, что человек сам обалдеть какой из себя уникальный и незаменимый, и создать что-то новое может только он, а искусственный интеллект — не может и вообще не смог бы, ведь человек-то уникальный и незаменимый, а искусственный интеллект — просто какая-то груда железа.

Но если смотреть по сути, эти вопли, производимые в промышленных масштабах любителями поразвивать свой богатый внутренний мир макдачными эспрессоглотателями, никакой адекватной основы под собой не имеют. В мире здорового человека, если кто-то решил сделать вручную то, что уже изготавливается автоматически, то либо он просто нерационально использует свои ресурсы, либо учится, либо ещё что-то из этой оперы. И платить больше ему никто не станет. Аналогично — с картинами. Если на холсте какая-то мазня, то покупателю до лампочки, что художник был редкий, известный, нарисовал пару картин и уже пару веков как ничего не рисует. На холсте остаётся всё та же мазня, которой грош цена.

Если не мазня, но есть выбор между несколькими копиями — за авторством самого художника, его учеников, поздних искусствоведов и фотографического аппарата, то вовсе не важно, что из этого покупать. Разумеется, если новый владелец решит щупать мазки, вариант с фотокопией отпадает, но все остальные — всё ещё в силе. Я рекомендую покупать версию от искусствоведов. В мире курильщика, в котором нам приходится находиться, она стоит заметно дешевле, но гораздо лучше отражает стиль автора. У самого художника, если это не была не его последняя картина, не было возможности полностью изучить свой стиль. У него был какой-то опыт, но он неполон и уже подзабылся. А если картина последняя, то автор уже слишком стар, чтобы разбираться в своём стиле.

Скажем, он в жизни производил картины пятьдесят лет, и мы покупаем картину с 25го года творчества. У автора в голове только половина знаний о своём стиле, притом первые лет пятнадцать-двадцать уже забылись. Искусствовед же занимался изучением стиля художника за весь период творчества, и это было плотнее по времени. То есть он, скажем, находясь в полном расцвете сил, десять лет изучал творчество художника от начала карьеры до её конца. У него в голове более структурированные знания стиля художника. У него другие приоритеты. Художник хотел есть, пить и гулять и побыстрее сбагрить картину покупателю, чтобы быстрее начать есть, пить и гулять. Он мог где-то полениться и не доделать, где-то отдать дорисовать ученикам. Искусствовед же спокойно сидит на окладе и добросовестно создаёт более качественную копию. Его цель — написать картину как это сделал бы сам художник, если бы не торопился и не хотел так сильно есть, пить и гулять.

Наконец, китайская комната



То же с китайской комнатой. Любители поразмышлять о естественности припоминают её в разговорах об ИИ. Они сравнивают ИИ с комнатой, в которой человек бездумно по словарю подбирает ответ на китайский текст. У такой системы на входе и выходе хороший китайский язык, но человек внутри его не понимает. Этот мысленный эксперимент всего лишь говорит о том, что для успешной коммуникации понимание не требуется, а вещи, которые делают с пониманием, на самом деле с виду мало чем отличаются от тех, которые делают без него.

И, в общем-то, дело закрыто. Всё, можно спокойно расходиться. Наличие понимания от отсутствия понимания ничем не отличается, ИИ эквивалентен человеческому разуму, если производит эквивалентные решение. Ла-ла-ла, песня в том же духе. Но ведь нет, эспрессоглотателям нужно какое-то "понимание" от ИИ. Будто бы если ИИ начнёт понимать, он сделает как-то лучше, душевнее и продуманнее.

И тут, по-хорошему, стоит ответить на один интересный, почти философский, вопрос. Есть ли вообще у нас понимание о том, есть ли вообще у кого-то понимание? Ну то есть справедливы ли все эти всхлипывания про понимание, либо же мы вообще не можем детектировать его наличие.

Чтобы понимать, что вообще мы понимаем, надо понять, как мы понимаем понимание. Мы понимаем понимание как способность выводить из полученных правил и утверждений новые, явно не оговоренные правила и утверждения, и использовать их на практике. Ну то есть вот ещё в школе показывают, что если у Ивана Иваныча было два яблока, а у Ольги Петровны — всегда в два раза больше (она очень завистливая, но имеет богатого мужа, который от этой её черты довольно таки подустал, и потому успокаивает её характер покупкой в двойном размере всего того, до чего соседского смог дотянуться её длинный нос), то у неё фактически их четыре.

Затем спрашивают, сколько бы их было у Ольги Петровны, если бы у Ивана Иваныча было бы два яблока. Здесь все, кто слушал, должны ответить, что таки хотелось бы больше, но имеется только четыре. Это нулевая стадия — передача информации. Такими вопросами можно узнать, имеет ли ученик уровень интеллекта не ниже, чем у куска магнитофонной ленты.

Затем спрашивают, сколько бы их было у Ольги Петровны, если бы Иван Иваныч перестал пить и сходил на базар ещё за одним яблоком. И здесь уже ученику приходится думать. Те, кто остались на уровне развития магнитофонной ленты, обязательно ответят, что четыре — ведь они этот ответ только что слышали. А те, что умеет подставлять формулы — сообщат о наличии шести яблок (уже на килограмм-полтора тянет). Ученик демонстрирует более глубокое понимание и уровень интеллекта не ниже, чем у нескольких команд процессора.

Затем спрашивают, сколько бы их было у Ольги Петровны, если бы она стала ещё более жадной, и муж её стал покупать всего в четыре раза больше, и ещё добавлять сверху две штуки (4x + 2). А затем — о том, сколько бы стало, если бы её мужу это надоело, и он стал покупать в три раза меньше (1 1/3x + 2/3). И это уже новые уровни понимания, на которых у ученика котелок варит, и он уже придумывают свою уникальную формулу под новые задачи. В мире взрослых котируется уже только это понимание, все уровни ниже — суть ололо унтерменшен и поколение ЕГЭ, о котором нельзя упоминать вслух в приличных пивнушках.

То есть, чтобы проверить понимание, у нас есть только критерий "если чёрный ящик сам вывел правило и продемонстрировал его применение, то он понял".

По сути, мы можем проверить уровни понимания только те, которые мы сами можем осознать. А дальше они становятся для нас неразличимы, мы не можем проверить, выводит ли чёрный ящик более тонкие формулы, и считаем, что чёрный ящик имеет глубокое понимание рассматриваемого вопроса. Если чёрный ящик понимает суть вопроса заметно лучше нас, мы либо это не почувствуем, либо вовсе скажем, что чёрный ящик — дурак.

В компьютерных делах



В компьютерных делах используются программы, которые состоят из набора чёрных ящиков — функций (не важно, обычных функций, функций-членов, команд или процедур), которые получают на вход какие-то значения и/или состояния и на выходе производят какие-то значения и/или новое состояние. И дальше понимание программистом программы можно определить как возможность подменить каждую из функций на эквивалентную, если её логика работы будет скрыта.

На первом этапе это соответствие типам данных — размерностям. На входе должны быть пасхальные кролики, на выходе — яйца, и программист должен написать чёрный ящик, который так и делает. Затем, на новом уровне понимания должен быть учтён порядок эффектов. Например, если эта функция сначала писала "получаем новое яйцо...", а затем "зовём кролика", то и копия должна высказываться в том же порядке и звать кролика раньше, чем подготовлена форма под яйцо. Затем в ход идут некорректные случаи. И это уже если не вершина горы понимания программы, то огромный холм, на который уже нельзя въехать на джипе.

Вообще, в некорректных случаях фукция или программа должна работать корректно и максимально адекватно и полезно сообщать о том, что таки что-то пошло не так. В этом плане отличаются программы новичков и опытных программистов, а также программы, написанные за один день и программы, которые писали долго и качественно. Сначала рассматриваются обычные случаи, а затем — исключительные. Новичок может и не дойти до вторых, а опытный сразу их контролирует хотя бы в минимальном объёме. И самое страшное здесь — когда в определённых ситуациях получается некорректное, но удобное для кого-то поведение.

На этом деле тот же Microsoft съел уже не только собаку, но и целую стаю волков с хрустящими после прожарки мощными лапищами. Им пришлось писать новый код так, чтобы поддерживать его результаты и эффекты для набора популярных программ, которые пользовались черными ящиками Microsoft неправильно или же багами в них. Например, какая-нибудь Ололо Кампани Лимитед в своей программе по подсчёту крыс воспользовалась тем, что 00 = 0. В математике за это больно бьют канделябрами в жбан, а в программировании приходится в новой версии функции возведения в степень для случая 00 исправно возвращать 0, а не отправлять пользователя на матерный стектрейс, ведь иначе все будут сидеть на старой версии Windows, где программа подсчёта крыс ещё работает.

Соответственно, эквивалентность замены определяется кодом, который вызывает нашу функцию. Если код простой и корректный, ничего не сломается, даже если программист не понял, что писал в своей версии функции. Если вызывающий код более хитрый и использует скрытые зависимости и нетривиальные эффекты, программисту придётся продемонстрировать понимание получше, чтобы его функция работала с этим кодом.

В криптографии имеется атака по сторонним каналам — когда злоумышленник, имея глубокое понимание работы криптосистемы от математического до физических уровней, может по времени выполнения, уровню энергопотребления, гравитационным волнам от ПК и прочим неважным для математики параметрам расшифровать то, что было надёжно зашифровано. Вообще, все такие атаки и нахождение новых уязвимостей основываются на ультраглубоком понимании сути хакерами.

Что интересно, у психологов в работе используются похожие методы. Они могут посылать испытуемому на вход какой-то бред и судить о корректности ответа, либо же атаковать по сторонним каналам. Например, могут спросить о том, что общего у пингвина и котлеты. Здоровый человек скажет, что они относятся в некотором роде к животному миру, у них есть внутри мясо, и т.п. Другой здоровый человек скажет, что пингвин с головой собаки и котлетка означают неуместность, и тут специалист, который не знаком с культурой Рунета, может заподозрить, что пациент плодоносит скудоумием, и проверить его на других тестах, на которые у пациента не возникнет (с некоторой вероятностью, которая крайне мала) ассоциаций с неизвестными доктору мемами.

А вот нездоровый человек скажет, что пингвин — это четыре лапы/крыла и хвост — пятимерный гиперкуб, а котлета усов, лап, хвоста и прочих документов не имеет, отчего является точкой, а это уже нульмерный гиперкуб, — и в итоге пингвина и котлету объединяет то, что они оба — гиперкубы. Главное — отличить поехавшего от человека, обладающего некоторыми знаниями. Может быть, человек на работе конструирует изоморфизмы, и разум его разработан настолько, что в него помещаются многомерные гиперкубы. Или же если у пациента стоит цель обмануть врача, то он может инсценировать выбранную болезнь, обладая хорошими знаниями используемых в медицине методов.

И вот получается, что уровень понимания — это уровень того, насколько хорошо чёрный ящик моделирует отданную ему на откуп реальность. Но с учётом того, что измеряет уровень понимания не какой-то внешний наблюдатель-Наполеон, а такая же тварь дрожащая, которая, вообще-то тоже не до конца понимает всей сути, сюда добавляется ограничение на уровень понимания наблюдателя. Соответственно, измеренный уровень понимания (максимум, чем мы можем оперировать достоверно, не выходя из научных рамок) — это уровень того, насколько хорошо чёрный ящик проходит тесты наблюдателя, который считает, что понимает реальность. И этот уровень ограничен уровнем наблюдателя.

Заметьте, я не говорю "не выше", а использую термин "ограничен". Это важно. Не всегда нужно понимание вопроса не ниже уровня чёрного ящика, чтобы оценить понимание этим ящиком вопроса. Например, тесты вида "выбери один вариант из четырёх" с фиксированным набором вопросов и подсчётом баллов могут адекватно оценить уровень понимания, хотя сами по себе знают только фиксированный набор фактов и не обладают возможностью мыслить. С другой стороны, можно узнать правильные ответы и сколько угодно обманывать такой тест — где-то тут начинают прорисовываться упомянутые ограничения.

Карлсон не лучше собаки



Итак, по факту, мы можем получать знания об уровне понимания чего-то кем-то другим только через субъективные тесты, с ограниченной точностью и с ограниченным диапазоном измерений. Где-то в глубине души (кстати, где она?) у нас лежат идеи о каком-то волшебном самосознании и не менее волшебном глубоком и неповторимом понимании, а также способностью творить, которыми обладают якобы только биологические нейросети. Хотя вот искусственная нейросеть уже умеет придумывать формулу по отдельным исходным данным, и это уже больший уровень понимания, чем у "поколения ЕГЭ", которое "только и умеет, что подставлять готовые формулы".

Нужно ли вообще это самосознание на практике — это философский вопрос. И ещё риторический, потому что отвечать на него я, конечно, не буду. На практике надо ещё измерить, что в итоге выгоднее — европейский подход с личными ценностями, либо азиатский — с трудом на благо общества; автомат, который не устаёт и доставляет одинаково высокий уровень качества, единственная цель в жизни которого — выполнять свою работу хорошо, или человек со своими эмоциями, который сегодня в настроении, завтра его пофилософствовать потянуло, послезавтра надо пораньше уйти и оставить клиентов у закрытой двери. Не знаю, как там насчёт самосознания у людей и на чём построена их мотивация, но у автоматики без всякой такой мути как самосознание работа получится качественней.

Я уже сейчас могу сказать, что поиск Google большую часть времени понимает меня гораздо лучше, чем люди. Часто он поразительно метко дополняет мои запросы, иногда подсказывает даже то, о чём я только начинал думать. И при этом я сомневаюсь, что у него есть какое-то важное для эспрессоглотателей самосознание и прочая чепуха. Поиск просто работает, не уходит вечером пораньше, не уходит в отпуск, не выдаёт какую-то чушь из-зи плохого настроения и не говорит, что потратил на меня свои лучшие годы. А если поиск работает лучше, то чем он хуже человека?

Не говоря уже о том, что поиск Google гораздо интеллектуальнее какого-нибудь бурчащего "здрасте, какпагода, дасвиданья" коллеги. Что, любители глубокой души и интеллекта решили возразить? Я уже слышу, как говорят, что бурчащий коллега имеет три образования и IQ over9000. А помните, какой у нас единственный способ определить уровень понимания? А какой уровень понимания получит простой скрипт "здрасте, какпагода, дасвиданья"? И чем вообше различаются в вашем взаимодействии этот простой скрипт и бурчащий коллега, если вы в общении не заходите дальше "здрасте, какпагода, дасвиданья"?

Если ценители глубокой души ещё не въехали, вот ещё пример. Допустим, есть жестокий убийца. Всех встретившихся сначала материт и забивает канделябрами, потом расчленяет, мажется кровью и громко хохочет. Известно, что внутри, где-то очень глубоко, он добрый-предобрый, всех своих жертв очень сильно любит, и вообще и мухи не обидит. И вот эта душевная доброта у него ну вообще никак не проявляется. Всё, что видят люди — догнивающие расчленённые трупы и вжухи канделябров перед глазами. Будете вспоминать эту внутреннюю любовь и доброту, когда на вас пойдут с канделябром и крепким словцом? Ведь нет же, не будете.

Вот и я говорю, что весь этот ваш богатый внутренний мир нахрен никому не сдался. Всё, что мы про этот идиотский внутренний мир знаем — его косвенные проявления на словах и в поступках. Ну и вот результаты поиска Google объективно говорят о его начитанности и богатом внутреннем мире. А коллега-бурчалка кроме "здрасте, какпагода, дасвиданья" ничего не сказал, и потому он объективно ничем не отличается от бездушного неотёсанного чурбана без богатого внутреннего мира.

Всё, что вам нравится — это шум



Весь тот бред про индивидуальность, изюминку, загадочность души можно заменить простым генератором случайных чисел. Это не мастер слова родил новый литературный шедевр, это генератор случайных чисел запустил шестерёнки шизофазии. Это не индивидуальность и вдохновение и его отсутствие, это генератор случайных чисел выдаёт разные коэффициенты меньше единицы, на которые домножается производительность труда. Это не проявление живых эмоций, это генератор случайных чисел выдал команду отреагировать так или сяк.

Любители грампластинок любят тёплый ламповый скрежет иглы. Любители старых фотографий умиляются зерну — банальному шуму на изображении. Любители объективов охотятся за старыми советскими экземплярами. Тогда не было такой повторяемости и высоких технологий как сейчас, можно было запороть несколько штук, после чего у них появлялся свой "характер". Неспособность работать против Солнца (плохое просветление оптики) воспринимается уже не как недостаток объективов, а возможности для творчества. А современные объективы ругают за сухость картинки.

Идеальность лиц, воспроизведённых компьютерной графикой, воспринимается как что-то жуткое. Или там ругаются на фотографов, которые перебарщивают с обработкой. А вот если добавить идеальнму лицу асимметрию, всяких там родинок и веснушек в случайных местах, волосы немного торчащие сделать, нос чуть кривой забацать — тогда получится человек, что надо. К таким мозги привыкли, таких людей мы знаем и любим.

Порядок неестественен. Порядок не несёт энтропии — не несёт информации — скучен и хорошо сжимается архиматором. Шум же и беспорядок наоборот всегда радует и удивляет. А творческий беспорядок ценится как важная черта человека искусства. И вот получается, что чтобы удовлетворить любителей уникальности человека и его глубокой души, необходимо сначала создать робота, который сделает всё как надо, а потом испортить его.

Вставить случайные коэффициенты уменьшения производительности и смены настроения, добавить возможность отвлекаться и болтать ни о чём, натянуть опухшую после вчерашнего и чуть печальную резиновую мордаху. И тогда любой экстраверт и макдачная илитка скажет, что вот он, вот он человек его мечты, внутренний мир здоровенный, здоровенный ВНУТРЕННИЙ МИРРР. Поговорит с ним, поэмоционирует и обязательно заявит, инженеру в замасленном халате, что вот он — человек, человек с большой буквы, человек, который его понимает, имеет такой глубокий взгляд, и никакая автоматика этого не заменит. А инженер просто стянет у робота резиновую мордаху и посмотрит на ценителя глубоких душ с ухмылкой.

И вообще, вся эта душевность объекта связана вовсе не с его характеристиками, а с характеристиками субъекта. Если субъекту показать объект, который внешне не похож на человека, тот ему не будет сочувствовать и объявит бездушной машиной. А стоит показать антропоморфного робота или милую зверушку из мультфильма, то у субъекта сразу включится эмпатия, а душевность объекта внезапно повысится. Аналогично — с состоянием субъекта. Если субъект трезв, мир вокруг жесток, и субъекта никто не понимает. А стоит субъекту бахнуть по маленькой, так сразу просто магическим образом найдутся те, кто его понимает. Это будет и ранее бывший бездушным друг, и собака. И даже неживые предметы, если как-то так оно вышло не по маленькой бахнуть, а сразу пузырь выдуть.

Квантование человека и, собственно, разгром китайской комнаты



И вот мы таки подобрались к самой сути, до которой так медленно ползли. Стоит ли весь бред, связанный с китайской комнатой, воспринимать всерьёз?

Итак, обычного китайца заменили комнатой, где сидит непонимающий человек со словарём, и никто не догадался. А что вообще будет, если в комнату посадить не человека со словарём, а двух человек? Один из них будет знать китайский, а другой — проксировать к нему запросы? То есть отвечать будет снова непонимающий, но инструментом перевода будет не бездушный словарь, а понимающий человек. Снаружи снова не заметят разницы, но конфигурация комнаты будет несколько другой.

Заметьте, снаружи любой сможет убедиться, что комната в целом понимает китайский, не важно, внутри китаец, не-китаец со словарём или не-китаец, проксирующий китайца. И, в принципе, всё это эквивалентно одному китайцу, отличается только наше разбиение этого реального/виртуального китайца на составляющие.

Когда мы говорим о понимании кем-то чего-то, мы рассматриваем человека как неделимое существо, которое понимает. А что если мы логически разделим человека и посмотрим на результаты? Допустим, на мозг и систему ввода-вывода. Это прямо таки эквивалентно моей модификации китайской комнаты. Мозг понимает, а рот и уши разговаривают безо всякого понимания.

А если разделить на более мелкие части, можно прийти и к варианту, что в сети нейронов закодирован словарь, к которому остальные системы находят доступ для ответа и бездумно используя бездушную бионейросеть выдают результат. Или вовсе можно разделить человека на нейроны, клетки или молекулы, и тут вдруг окажется, что по-отдельности эти части ничегошеньки не понимают, а цельный человек — вот так вдруг внезапно всё понял и мыслит. Чудеса, да и только.

Соответственно, человек как таковой полностью эквивалентен китайской комнате в изначальной постановке задачи, просто мы не делим его ни физически, ни логически на части, иначе бы получили тот же парадокс. Рассматривать одну сложную систему (человека) как целое, а другую (китайскую комнату) — как набор частей — просто некорректно. Ту систему, которая уже начинает понимать, можно назвать разумной, и состоять она будет из неразумных частей.

Кстати, так же как это неделение приводит нас к ошибкам мышления, из-за которых мы ценим "внутренний мир", "понимание" и "душевность", так и оно же заставляет нас быть уверенными в том, что искусственные нейросети могут решить наши проблемы. Искусственные нейросети — тоже сложная система, о которой, как правило, можно, как и о человеке, судить только если рассматривать её практически целиком. Из-за этого рождаются разные заблуждения. Если мы массово научимся разбираться с нейросетями на всех уровнях — от сети в целом до отдельных нейронов — как при обучении — так и при трактовке результатов, исследования в области ИИ резко продвинутся.

А искусственные нейросети действительно решат наши проблемы. Но чуть позже. Будут у нас, слава роботам, и понимающие друзья, и работники, которые не будут уходить пораньше.

P.S. Я вот не сумел в теги, и теперь автоматика на Flickr и @lj_frank_bot в ЖЖ так хорошо и душевно категоризируют контент.
Subscribe
  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 1 comment