Зеркало модуля — это особый вид модульного прокси, который кэширует метаданные и исходный код в собственной системе хранения, позволяя зеркалу продолжать обслуживание исходного кода, который больше недоступен из оригинальных мест. Это может ускорить загрузку и защитить вас от исчезающих зависимостей. Дополнительную информацию см. в Go Modules в 2019 году.

Команда Go поддерживает зеркало модулей, размещённое по адресу proxy.golang.org, которое команда go будет использовать по умолчанию для пользователей модулей, начиная с Go 1.13. Если вы используете более раннюю версию команды go, то вы можете воспользоваться этим сервисом, установив GOPROXY=https://proxy.golang.org в вашем локальном окружении.

База данных контрольных сумм

Модули ввели файл go.sum, который представляет собой список хэшей SHA-256 исходного кода и файлов go.mod каждой зависимости при её первом скачивании. Команда go может использовать эти хэши для обнаружения недобросовестного поведения сервера-источника или прокси, который предоставляет вам другой код для той же версии.

Ограничение файла go.sum заключается в том, что он полностью основан на доверии при вашем первом использовании. Когда вы добавляете в свой модуль версию зависимости, которую ранее не видели (возможно, обновляя существующую зависимость), команда go скачивает код и добавляет строки в файл go.sum на лету. Проблема в том, что эти строки go.sum не проверяются никем другим: они могут отличаться от строк go.sum, которые команда go только что сгенерировала для кого-то другого, возможно, потому что прокси намеренно предоставил вредоносный код, нацеленный именно на вас.

Решение Go — это глобальный источник строк go.sum, называемый базой данных контрольных сумм, который гарантирует, что команда go всегда добавляет одни и те же строки в файлы go.sum всех пользователей. Каждый раз, когда команда go получает новый исходный код, она может проверить хэш этого кода с помощью глобальной базы данных, чтобы убедиться, что хэши совпадают, тем самым обеспечивая, чтобы все использовали один и тот же код для заданной версии.

База данных контрольных сумм предоставляется по адресу sum.golang.org и основана на Прозрачном журнале (или "дереве Меркла"), реализованном с использованием Trillian. Основное преимущество дерева Меркла заключается в том, что оно устойчиво к подделке и обладает свойствами, которые не позволяют недобросовестному поведению остаться незамеченным, что делает его более надёжным по сравнению с простой базой данных. Команда go использует это дерево для проверки доказательств "включения" (что конкретная запись существует в журнале) и доказательств "согласованности" (что дерево не было подделано) перед тем, как добавлять новые строки go.sum в файл go.sum вашего модуля. Ниже приведён пример такого дерева.

База данных контрольных сумм поддерживает набор конечных точек, используемых командой go для запроса и проверки строк go.sum. Конечная точка /lookup предоставляет «подписанную голову дерева» (STH) и запрашиваемые строки go.sum. Конечная точка /tile предоставляет фрагменты дерева, называемые плитками (tiles), которые команда go может использовать для доказательств. Ниже приведен пример того, как команда go может взаимодействовать с базой данных контрольных сумм, выполняя /lookup версии модуля, а затем запрашивая необходимые для доказательств плитки.

Эта база данных контрольных сумм позволяет команде go безопасно использовать иной непроверенный прокси. Поскольку существует аудируемый уровень безопасности, расположенный поверх неё, прокси или сервер-источник не могут намеренно, произвольно или случайно начать предоставлять вам неверный код, не будучи замеченными. Даже автор модуля не может перемещать свои теги или иным образом изменить биты, связанные с конкретной версией, от одного дня к другому, не будучи замеченным.

Если вы используете Go 1.12 или более раннюю версию, вы можете вручную проверить файл go.sum против базы данных контрольных сумм с помощью gosumcheck:

<code>$ go get golang.org/x/mod/gosumcheck
$ gosumcheck /path/to/go.sum
</code>

Помимо проверки, выполняемой командой go, сторонние аудиторы могут отслеживать базу данных контрольных сумм, перебирая журнал в поисках недопустимых записей. Они могут работать совместно и обмениваться информацией о состоянии дерева по мере его роста, чтобы убедиться, что оно не было скомпрометировано, и мы надеемся, что сообщество Go будет запускать таких аудиторов.

Индекс модулей

Индекс модулей обслуживается index.golang.org и представляет собой публичную рассылку новых версий модулей, доступных через proxy.golang.org. Это особенно полезно для разработчиков инструментов, которые хотят хранить собственный кэш того, что доступно в proxy.golang.org, или быть в курсе последних модулей, используемых людьми.

Обратная связь или ошибки

Мы надеемся, что эти сервисы улучшат ваш опыт работы с модулями, и приглашаем вас сообщать о проблемах, если вы столкнётесь с трудностями или захотите оставить отзыв!