pg_probackup
pg_probackup copied to clipboard
postgrespro
backup to AWS s3 or GCS
Ну когда же будет? ((( Разве трудно вместо локальной системы делать бэкап на S3 как сделано например в wal-g.
Ну вообще довольно нетривиально, а учитывая кол-во фич, которое уже есть, которые теперь должны также работать на совсем другой сторадже, работы отмеряно немало. Так-то работа идет потихоньку, @alubennikova уже запилила прототип. Я думаю, что в 2.5 мы S3 таки добавим.
Каковы прогнозы на появление S3 стораджей?:) полтора года прошло, да и 2.5 уже вышла)
Добрый день. Проектируем решение, в этом году будет анонс. Можете описать нюансы характеристик и режимы работы утилиты пробэкап которые вы используете в связке с s3? мы сейчас для тестирования именно под публичные облачные сервисы собираем требования на тестовые сценарии.
Здравствуйте. Да вроде всё стандартно. Необходима поддержка обычного протокола S3. Пример настроек которые хотелось бы видеть есть у wal-g. Алгоритм сжатия, потоки, аутентификация в S3, возможность указать кол-во попыток при недоступности сервиса, таймауты. Обязательно корректное обработка ошибок, таких как 5хх 4хх или вовсе отсутствия соединения через https/http Корректное логирование операций в формате postgres. То есть чтобы приложение считывало настройки формата логирования из GUC и в соответсвии с этим формировало вывод в лог. А то у wal-g с этим всё плохо. В качестве поддерживамых хранилищ - minio, seaweed.
Никаких хитрых сценариев и прочего. Снятый бэкап хочется хранить в облаке, а не на соседней вм или диске. Нужно сжатие + шифрование. И все что описал коллега выше. Мы пользуемся azure, хочется его поддержку.
Я правильно понял, что ожидаемая многими фича по поддерже s3 доступна только в "Enterprise" версии pg_probackup? В комьюнити версию она приедет когда-нибудь?
А у probackup есть enterprise версия разве? Инструмент полностью бесплатный, на сколько известно, просто не поддерживает удаленные хранилища типа S3, GCS и тд. SMB вероятно пока максимально удаленное хранилище. Для реализации такой функции вероятно потребуется как минимум придумывать механизмы сжатия данных в блоки. Т.к. пушить 16мб файлы пачками в несколько сотен, а то и тысяч, за раз для s3 оч. плохо, с точки зрения производительности.
Для начала было бы неплохо хотя бы загрузку резервных копий обеспечить без использования внешних средств силами самой утилиты, а загрузку вэлов можно и позже реализовать, да и не во всех случаях их в S3 нужно грузить.
В релиз нотах к PG Pro EE: Выпущено приложение версии 2.6 Enterprise. Эта версия pg_probackup обладает следующими отличиями от предыдущей: ... Добавлена поддержка Simple Storage Service (S3) для хранения данных в частных облачных хранилищах. Интерфейс S3 был протестирован с объектным хранилищем MinIO и хранилищем VK Cloud. Обратите внимание, что pg_probackup обеспечивает полную обработку журналов интерфейса S3.
https://postgrespro.ru/docs/enterprise/15/release-proee-15-1-1
В релиз нотах к PG Pro EE: Выпущено приложение версии 2.6 Enterprise. Эта версия pg_probackup обладает следующими отличиями от предыдущей: ... Добавлена поддержка Simple Storage Service (S3) для хранения данных в частных облачных хранилищах. Интерфейс S3 был протестирован с объектным хранилищем MinIO и хранилищем VK Cloud. Обратите внимание, что pg_probackup обеспечивает полную обработку журналов интерфейса S3.
https://postgrespro.ru/docs/enterprise/15/release-proee-15-1-1
Не на столько пристально слежу за обновлениями. Не знал что появилась версия 2.6
Коллеги, добрый день!
pg_probackup будет выпускаться в двух редакциях начиная с версии 2.6.0:
- Enterprise c поддержкой S3 & CFS
- Cummunity версия с улучшением ядра утилиты I/O и поддержкой различных алгоритмов компрессии
Новая pg_probackup модульная, поэтому мы можем выпускать две версии. Для разработчиков появляется возможность делать свои модули. S3 в community версии может появиться в будущих релизах.