Глава 2 Типология ошибок машинного перевода

Для того чтобы реализовать поставленную в работе цель исследования, необходимо провести сравнительный анализ систем машинного перевода для оценки их качества перевода на примере нескольких тестов разного жанра. Использование текстов разного стиля литературного языка позволяет проследить, насколько стиль текста и выбор его лексико-грамматических конструкций влияет на качестве переводного текста.
В качестве средств перевода мы воспользовались следующими программами машинного перевода:
- Google translate;
- Yandex;
- Deepl.
В качестве метода оценки мы выбрали аннотирование машинного перевода посредством типологии ошибок. Этот метод позволяет гибко типологизировать ошибки в соответствии с целым рядом параметров, которые легко варьировать в зависимости от конкретных характеристик текста, переводимого с помощью систем машинного перевода.
Чтобы определить эффективность применения систем машинного перевода при переводе текстов, мы подобрали тексты на различные темы. Нашего внимания заслужили тексты научные, художественные и публицистические. Источником текста стали интернет-статьи из интернет журналов, расположенных в общедоступной системе Интернет.
Для определения качества переводного текста машинными программами перевода нами использовались следующие критерии:
- лексический – особенности использования и выбор адекватных лексических единиц при переводе в соответствии с лексико-грамматическими особенностями текста.
- синтаксический – особенности построения предложения при переводе, использование императивных конструкций.
- орфографический – вероятность допущения орфографических ошибок системами машинного перевода ничтожна мала, так как в них выгружаются значительные объемы лингвистической информации, в том числе и многочисленные словари.
- стилистический – использование машинными программами перевода специальных терминов, соответствующих специфике переводимого текста.
Также нами использовались количественные методы оценки, а именно универсальный подход к оценке качества машинного перевода.
Суть универсального подхода к оценке качества перевода технического текста заключается в том, что каждый полученный с помощью систем машинного перевода перевод оценивается по следующим критериям:
- общая адекватность;
-общая удобочитаемость;
-трудозатратность редактирования.
В качестве критерия «общая адекватность» принимается точность и логичность используемых лексико-грамматических средств в переводимом тексте. За показатели адекватности выбирается полнота и смысловая ценность перевода, соответствии контекста идеи языка оригинала и языка перевода.
Каждый перевод, полученный с помощью анализируемых систем машинного перевода, получает оценку от 1 до 5, где оценка «1 балл» ставится в том случае, если текст на целевом языке перевода содержит массу неточностей, коренным образом искажающих смысл исходного текста, а оценка «5 баллов» ставится в том случае, если полученный с помощью системы машинного перевода текст содержит абсолютно все идеи и формулировки исходного текста без каких-либо неточностей или противоречий.
Критерий «общая удобочитаемость» отвечает за ясность и «гладкость» полученного перевода. Отсутствие грамматических, синтаксических и лексических ошибок, правильный порядок слов в предложениях, соблюдение правил пунктуации – все эти факторы в совокупности определяют, насколько высоким будет итоговый балл по данному критерию. В данном случае каждый перевод, полученный с помощью СМП, также получает оценку от 1 до 5, где оценка «1 балл» ставится в том случае, если чтение текста на целевом языке перевода вызывает серьезные затруднения и требует максимальной концентрации в силу того, что нормы языка при переводе были нарушены, а оценка «5 баллов» ставится в том случае, если полученный с помощью данной системы машинного перевода текст представляет собой «гладкий» и удобочитаемый перевод без каких-либо ошибок, препятствующих спокойному ознакомлению с текстом документа.
Наконец, оценка по критерию «трудозатратность редактирования» (так же от минимального значения в 1 балл до максимального значения в 5 баллов) выставляется в зависимости от времени и усилий, необходимых для финального редактирования перевода с целью приведения его в пригодный вид.
Тематическое разнообразие текстов, которые могут подвергаться переводу, действительно широко и может варьироваться от технических документов до литературных произведений и маркетинговых материалов. Каждый онлайн-переводчик имеет сильные и слабые стороны при переводе специальных текстов. Некоторые сервисы могут быть хороши в переводе технических текстов, но не справляться с художественными текстами. Другие могут быть хороши в переводе научных документов, но не передавать при переводе всех тонкостей публицистического текста.
Первые исследуемый нами текст представляет собой отрывок из технической документации (Приложение 1).
В качестве исходного эталонного образца мы использовали оригинальный перевод на русский язык, чтобы впоследствии сравнить переводной текст с эталонным.
Теперь представим наличие ошибок и особенностей перевода данного текста разными системами машинного перевода.
Перевод с помощью программы Google translate:
6.2.5 Монтаж пароизоляционной пленки следует производить с нахлестом не менее 100 мм. Пароизоляционную пленку предварительно фиксируют к стропилам или нижнему настилу степлерами или гвоздями с широкой шляпкой. Предварительные точки фиксации рекомендуется проклеить односторонним соединительным скотчем. Дополнительное крепление пароизоляционной пленки могут обеспечить элементы каркаса под внутренней отделкой (деревянный каркасный брус или обрешетка, сайдинг, металлические оцинкованные профили) или листовые отделочные материалы.
6.2.6 Пароизоляционную пленку следует укладывать без провисаний и складок, чтобы обеспечить надежное приклеивание всех нахлестов.
Анализ перевода научно-технического текста с помощью программы Google translate показал, что, в целом, программа справилась с переводом технического текста достаточно хорошо – перевод позволяет понять смысл переводного теста в соответствии с инструкций по работе, но программа значительно исказила некоторые специальные для технической документации термины.
Лексический критерий. Программа допустила лексическую подмену при переводе термина «tape». В словаре технических терминов данное слово переводится как «лента», но программа подменила слово – на «скотч». Еще одним примером лексической подмены является перевод терминов:
- «substructure» - в словаре терминов представляется такой перевод «подструктура», «сооружение, подведенное под другое сооружение». В связи этим нами считается, что используемый программой перевод как «каркас» недостаточно полно отражает суть используемой конструкции;
- «furring» - в словаре технических терминов может переводиться несколькими способами: а) «обрешетка», б) «рейки». С позиции особенностей использования термина «furring» как средства крепления второй перевод представляет наиболее правильным, так как обрешетка представляет собой «каркас из брусьев определенного сечения», а в данном случае речь идет об использовании отдельных способом крепления.
- «siding» - в словаре переводится как а) чистая обшивка, подшивка досками; б) наружная обшивка. Программа перевела данный термин как «сайдинг». Но нами считается, что использование данного термина неправильно. «Сайдинг» представляет собой сочетание панелей, крепящихся друг к другу и обеспечивающих единую защитную конструкцию. Поэтому использование программой данного перевода неуместно, так как в тексте речь идет об отдельных способах крепления;
- «installed» часто переводится как устанавливать и является универсальным термином для многих областей сфер деятельности, но в нашем случае, речь о строительстве, поэтому может быть два варианта перевода – укладывать или монтировать. Первое – обозначает укладку чего-либо без специальных креплений, например, укладка асфальта, монтирование – представляет собой процесс установки при помощи специальных креплений. Учитывая, что в данном тексте пленку фиксируют при помощи гвоздей или скоб степлера, то более уместно использовать термин «монтировать»;
- «gluing» - переводится как а) приклеивание, склеивание; б) склеивать, приклеивать. С точки зрения научно-технического контекста термин «проклейка», используемый в эталонном переводе, означает «покрытие клеящим составом поверхностей». Используемый программой перевод «приклеивание» не отвечает сущность процесса.
Стилистические неточности. Например, конструкция «with staplers or nails with a wide head» программой была переведена не точно – программа не уточнила, чем непосредственно осуществляется крепление «скобами степлера», а просто перевела слово «staplers». При этом смысловая нагрузка на текст не помешала пониманию особенностей использования степлера в работе.
Еще одной стилистической неточностью, по нашему мнению, является трансформации при переводе предложения «Additional fastening of the vapor insulation film can be provided by elements of the substructure under the interior finishing (wooden skeletonized scantling or furring, siding, galvanized metal profiles) or sheet finishing materials». В эталонном тексте используется страдательный залог, но программа изменила структуру текста, что не совсем корректно для научно-технической документации.
Также нами была выявлена орфографическая ошибка «каркаса под внутренней отделкой» (каркаса под что? внутреннюю отделку). Подобная ошибка может быть связана с особенностями терминологии.
Предложение «Vapor insulation film is pre-fixed to the rafters or bottom deck with staplers or nails with a wide head. It is recommended to glue the preliminary fixation points single-face joining tape» также программой было переведено не корректно. На языке строительства «стропила» представляют собой несущую систему скатной крышки, состоящую из стропильных ног. Поэтому стропила является конструкцией и уместнее использовать речевой оборот «на стропилах или нижнем настиле» нежели «к стропилам или нижнему настилу».
Дадим и количественную оценку качества перевода научного текста с помощью системы Google translate согласно универсальному подходу:
- общая адекватность – 3;
- общая удобочитаемость – 4;
- трудозатратность редактирования – 3.
Перевод с помощью программы Yandex:
6.2.5 Монтаж пароизоляционной пленки следует производить с нахлестом не менее 100 мм. Пароизоляционная пленка предварительно крепится к стропилам или нижнему настилу с помощью степлеров или гвоздей с широкой головкой. Рекомендуется предварительно проклеить места крепления односторонним соединительным скотчем. Дополнительное крепление пароизоляционной пленки может быть обеспечено элементами подконструкции под внутреннюю отделку (деревянный каркасный брус или обрешетка, сайдинг, оцинкованные металлические профили) или листовыми отделочными материалами.
6.2.6 Пароизоляционная пленка должна быть установлена без провисаний и складок, чтобы обеспечить надежное приклеивание всех перекрытий.
Анализ научно-технического текста при помощи программы Yandex показал, что перевод данной программы практически идентичен переводу вышерассмотренной системой и программа Yandex также допустила некоторые стилистические («крепится к стропилам или нижнему настилу», и лексические («обрешетка», «сайдинг», «gluing», installed») неточности, но при этом мы можем сделать вывод, что данная программа допустила меньшее количество неточностей, как при выборе лексических единиц, так при построении предложений. Например, ошибочно переведенное программой Google translate предложение «Additional fastening of the vapor insulation film can be provided by elements of the substructure under the interior finishing …» программой Yandex было переведено в точности эталонному тексту. Но при этом программа не достаточно точно передала синтаксическую роль креплений при переводе «деревянный каркасный брус или обрешетка, сайдинг, металлические оцинкованные профили». В данном тексте предполагает, что в скобках указываются примерные варианты элементов подконструкции при этом при переводе необходимо было соотнести падежные формы всех слов исходя из контекста «может быть обеспечено» (чем?).
Также нами были выявлены некоторые отличия от программы Google translate, например, также ошибочно переведенный термин «installed» программа перевела с использованием наиболее универсального термина «устанавливать».
Таким образом, несмотря на похожие при переводе ошибки программами Google translate и Yandex, мы можем сделать вывод, что программа Yandex лучше справилась с переводом научно-технического текста.
Дадим и количественную оценку качества перевода научного текста с помощью системы Yandex согласно универсальному подходу:
- общая адекватность – 3;
- общая удобочитаемость – 4;
- трудозатратность редактирования – 4.
Перевод с помощью программы Deepl:
6.2.5 Укладка пароизоляционной пленки должна производиться с нахлестом не менее 100 мм. Пароизоляционная пленка предварительно крепится к стропилам или нижнему настилу с помощью степлеров или гвоздей с широкой головкой. Места предварительной фиксации рекомендуется проклеить односторонней соединительной лентой. Дополнительное крепление пароизоляционной пленки может быть обеспечено элементами основания под внутреннюю отделку (деревянный скелетный каркас или обрешетка, сайдинг, оцинкованные металлические профили) или листовыми отделочными материалами.
6.2.6 Пароизоляционную пленку следует укладывать без провисаний и складок, чтобы обеспечить надежное приклеивание всех нахлестов.
Перевод данной программой можно считать наиболее худшим среди всех рассмотренных нами переводов другими машинными переводчиками. Программа допустила аналогичные другими программам ошибки, но при этом их значительно больше. Например, первый термин «Installation» может переводиться как «установка, монтаж, сборка», но использование термина «укладка» не отвечает контексту описания процесса монтажа крыши.