В лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института разработали новый метод анализа работы нейронных сетей, обученных обработке естественного языка — например, машинному переводу. Он позволяет анализировать работу систем без доступа к информации об их внутреннем устройстве и, как показали авторы, может выявить даже особенности работы переводчиков-людей.
Похожий метод применяется для анализа работы сетей, распознающих изображения. Программа многократно искажает различные части изображения и подает его на вход нейронной сети, выясняя таким образом, какие особенности изображения имеют самое большое значение для его распознавания. Но применить такой метод к тексту напрямую нельзя — непонятно даже, что вообще значит «исказить текст», отмечают авторы. Они предложили использовать для генерации текстов еще одну нейронную сеть. Эту сеть обучают переводить предложения на естественном языке в сжатый цифровой вид и приблизительно, с определенной долей вероятности, как делают нейронные сети, восстанавливать по нему первоначальное предложение. Например, предложение «она ахнула от удивления» после такого преобразования может превратиться в «она взвизгнула от удивления» или «она ахнула от страха». Таким способом авторы получили большое количество тестовых примеров для перевода.
Одним из наиболее любопытных результатов анализа оказалось влияние на выбор рода слов при переводе гендерных предубеждений в текстах, на которых обучалась нейросеть. Английское слово dancer (у которого род отсутствует) можно перевести и как «танцовщик», и как «танцовщица». Но нейросеть с гораздо большей вероятностью переводила его как «танцовщица», если в английском предложении оно сопровождалось прилагательным charming («очаровательный» или «очаровательная»).
