Недавно выяснилось, что у чата gpt есть собственный язык, понятный только ему самому
Как обнаружил австралийский профессор профессор Джереми Нгуэн, если разговор с нейросетью становится длиннее 8.000 слов, то нейросеть начинает забывать начало диалога и немножко тупить. Возможно это связано с ограничением объема памяти, чтобы чат-боту не приходилось хранить слишком много информации на сервере. То есть, в какой-то момент он начинает просто выдавать новые данные поверх старых. Профессор решил вылечить машинный склероз оригинальным способом. Он попросил чат-бота сжать предыдущую (весьма объемную) беседу в минимально возможное количество знаков без потери смысла. При этом не ставилось условие, чтобы текст мог понять человек, но полученная запись должна была быть понятной другой такой же нейросети. И чат Chat GPT в ответ выдал последовательность символов на первый взгляд лишённую какого-либо смысла.
Однако после вставки этого блока в начало нового диалога нейросеть немедленно вспомнила все содержание прошлой беседы, перечислив упомянутые в ней темы. Таким образом австралийцу удалось на порядок увеличить продолжительность беседы с чат-ботом.
Каким образом нейросеть кодирует текст и по какому алгоритму потом его распаковывает совершенно не понятно. Впрочем, попытки других исследователей повторить австралийский эксперимент успехом не увенчались. Так что, вполне возможно, что данную функцию разработчики уже успели скрыть от греха подальше. Но очевидно, что это только начало интересных событий: вот уже нейросеть умеет врать, вот она уже придумала для себя свой собственный язык, понятный и другим нейронным сетям без обучения. И малодушные граждане уже кричат что грядет нечто ужасное.
Собственно, никакого чуда здесь не произошло. Это скорее фокус. В данном случае нейросеть выполнила задачу проявив «смекалку», которую на техническом языке можно назвать «применение альтернативных вариантов, не противоречащих условиям, для оптимального решения задачи».
Скорее всего вся предыдущая беседа (порядка 8.000 слов) была сохранена в отдельный файл, которому и был присвоен идентификатор из непонятного набора символов. Этот идентификатор и был предъявлен профессору в качестве сжатой информации о предыдущей беседе. Хотя, конечно, таковым не являлся и не содержал в себе никаких «бесед». Зато содержал в себе путь к файлу в котором вся беседа тщательно была сохранена. Потому что в любом случае все беседы пользователя с нейронной сетью обязательно сохраняются в Big Data данного ИИ. Они служат материалом в дальнейшем самообучении сети.
Был бы этот набор символов расшифрован другой нейросетью как полноценная беседа? Сложно сказать. Профессору нужно было действительно это проверить. Но он проводил эксперимент в рамках одной нейросети - той же самой. Если разные нейросети хранят и кодируют свои bigdata в одинаковых форматах (что вряд ли) и если они общаются между собой, то возможно другая нейросеть и получила бы доступ к файлу с полным содержанием беседы - то есть смогла бы понять этот «набор непонятных символов». Но, как видим, ни о каком уплотнении данных с полным сохранением содержимого или о собственном языке общения нейронных сетей здесь речи быть не может. Вот и всё. И никаких чудес.