Глобальная проблема искусственного интеллекта — мы не знает, почему он выдает тот или иной результат.

Я это испытал на своей шкуре, когда активно занимался SEO. И вот в кулуарах одной конференции, то ли представитель Яндекса, то ли Гугла ответил на конкретный вопрос, почему этот мусорный сайт по этому запросу на первой позиции:

Я вижу проблему, так быть не должно. Мы будет корректировать алгоритм. Но вы должны понимать, что наш алгоритм создает себя сам. Мы лишь можем влиять опосредовано, смещая коэффициенты важности. Мы не знаем и не можем знать, почему алгоритм пришел к выводу, что этот сайт лучше всех остальных сайтов. Мы не может исправить ошибку в конкретном месте кода алгоритма.

Я был шокирован ответом. Тогда, лет 15 назад, такое казалось слишком футуристичным.

А сейчас, с учетом GPT и LLM понять решительно ничего нельзя. Ведь на основе входных данных после обучения в распоряжении ИИ появляется больше данных, то есть она как бы их создает сам. Новые знания.

Если раньше мы загружали произведения Джека Лондона объемом 5 мегабайт и получали на выходе параметров на 1 мегабайт (уменьшения знаний), то теперь мы получаем параметров на 50 мегабайт (увеличение знаний).

И вот тут кроются проблему. Мы не знаем, на какую мину наступим внутри AI. А если ИИ на основе Истории человечества решит, что убивать людей можно? Ведь всю историю люди воевали друг с другом. И все советы будет давать исходя из позиции силы?

Если вам кажется мой пример неубедительным, то расстрою вас. Проблема в том, что мы даже не знаем, чего мы не знаем. Мы даже не можем представить себе в чем могут быть мины. Мы не можем их избежать по определению. Вопрос лишь в том, как сильно мы на них наступим.