Импорт файлов в Video CDN
¶ Автоимпорт
Обеспечивая надежность хранения и высокодоступность вашего контента, Video CDN параллельно импортирует и хранит не менее трех копий каждого файла на географически распределенных локациях. На основе динамического мониторинга, для популярных файлов создаются дополнительные копии в точках наиболее интенсивного трафика, по реже запрашиваемым файлам избыточные копии удаляются.
Контент доступен вашим пользователям c момента, когда первая копия файла успешно импортирована CDN. В обычных условиях, файл начнет отдаваться в течение 5 минут после добавления в очередь на импорт в CDN.
Чтобы обеспечить максимально быструю доступность всех ваших файлов в CDN, при первичном подключении со множеством ресурсов или добавлении больших объемов контента в процессе пользования, мы можем временно утроить скорость загрузки контента в CDN, изменив количество копий каждого файла с трех (по умолчанию) до одной, что снизит одномоментную нагрузку на ваши ориджины. Для этого обратитесь в техподдержку.
Настроить импорт файлов можно в пользовательской панели Websa. На сегодня Video CDN поддерживает HTTP(S) протокол импорта и автоимпорт предварительно загруженных файлов в HTTP-режиме из нашего облачного хранилища по S3 или Swift-протоколу.
Через также API можно настроить импорт файлов по FTP и rsync. По ссылке вам доступна API-документация Video CDN.
¶ Автоматизация импорта
Для автоматизации импорта файлов мы предлагаем использовать наш скрипт.
Скрипт будет сканировать заданную директорию с контентом на вашем ориджине, сравнивать с копиями контента в CDN и устранять различия с помощью API — добавлять отсутствующие в CDN файлы, перезаливть обновленные, либо удалять те, которые удалены у вас.
CDN не обязательно полностью синхронизироваться с вашей директорией — к примеру, можно задать только добавление новых, и/или обновление измененных файлов, но не удалять уже отсутствующие на ориджине.
¶ Импорт по запросу
Вместо предварительного импорта контента, при необходимости можно настроить в Video CDN отложенный импорт файлов по первому запросу. Этот режим ближе к работе традиционных кеширующих CDN, так как при такой настройке CDN начинает взаимодействовать с вашим контентом только по факту первого запроса.
Обратите внимание, CDN инициирует все действия по импорту файла, после обращения пользователя к этому файлу, отсутствующему в CDN, начиная с проверки его наличия на ориджине, постановки в очередь на импорт и т.д.
С момента первого запроса файла и до полного его импорта, CDN спроксирует запросы на ваш ориджин. Время до полной загрузки файла в CDN как правило не превышает 10 минут.
Такой режим позволяет вам не беспокоиться об импорте файлов и полностью переложить эту работу на Video CDN, но имеет такие ограничения:
- К файлам, импортируемым по запросу нельзя применить медиа-обработку (например обрезку видео).
- В таком режиме невозможно осуществлять конвертацию в HLS/DASH, потому воспроизводить видео смогут только плееры, использующие чистый HTTP(S) для получения контента.
- При обновлении файла на ориджине, необходимо через API запросит повторный импорт этого файла, иначе CDN продолжит раздавать старый файл.
¶ Настройки проксирования
Помимо ссылки на ориджин, куда CDN будет проксировать запросы на отсутствующие файлы, пока не завершит их скачивание, дополнительно можно настроить такие параметры:
- альтернативный URL для скачивания (не проксирования) файлов.
Если на ориджине у вас настроено ограничение скорости отдачи файла, рекомендуем создать отдельный virthost или location {} без такого ограничения, и задать здесь именно его, для ускорения импорта файлов. - настройки генерации nginx_securelink токена (если ваш ориджин защищен модулем SecureLink для Nginx).
Так как CDN нигде не показывает реальный URL вашего ориджина и проверяет собственные параметры защиты — в использовании nginx_securelink на ориджине нет необходимости, советуем отключить его, для устранения потенциальных проблем импорта файлов. - частота запросов для активации импорта. По умолчанию импорт инициируется при первом запросе, но можно исключить из автоимпорта редкозапрашиваемые файлы, задав минимальное количество запросов в минуту, либо минимальный интервал в секундах между двумя запросами, чтобы считать файл подлежащим импорту в CDN. Таким образом вы можете оптимизировать затраты, уменьшив используемый CDN сторедж.
- минимальный размер файла для активации импорта
- список подлежащих импорту расширений
- шаблоны для исключения определенных имен файлов из импорта. (Проксирование на эти файлы будет осуществляться).
¶ Настройка автоимпорта Video CDN
Для настройки автоимпорта, выберите соответствующую вкладку:
Связь с Default settings (Настройки по умолчанию) сверху отмечена соответствующим статусом — Linked with Default settings (Привязано к настройкам по умолчанию). Для отвязки от настроек по умолчанию, нажмите на Linked with Default settings или сделайте изменение нужного вам параметра.
Чтобы восстановить настройку по умолчанию, нажмите на статус Unlinked from Default settings (Не привязано к настройкам по умолчанию) и она вернётся к своим первоначальным значениям.
Default settings (Настройки по умолчанию) — глобальные настройки, которые устанавливаются в разделе Default settings и автоматически применяются ко всем созданным Video CDN ресурсам в вашем аккаунте.
.jpg)
Также для каждого Video CDN ресурса на вкладке Auto Import вы можете задать свои Fetch settings (Настройки запросов к другим источникам):
.jpg)
Настройки Fetch URL и Fetch URL signature доступны только, если в качестве Auto Import источника выбраны Rsync URL или Swift URL, для Cloud Storage (Облачное хранилище) недоступны!
Подробное описание Default settings (Настроек по умолчанию) для Fetch всех ваших Video CDN ресурсов, доступно в разделе: Как управлять настройками по умолчанию для Fetch?
¶ Импорт через облако
Используйте этот метод для последующего HLS-стриминга, для задействования нескольких источников контента и в других случаях, требующих обязательного наличия файла в сторедже.
На вкладке Автоимпорта выберите облачное хранилище как источник импорта
Укажите название бакета (без пробелов и специальных символов), выберите протокол и нажмите “Создать новый бакет” в модальном окне.
В появившемся окне настроек бакета, опционально вы можете назвать папку нового бакета, а также убрать папки из пути к файлу, передвинув соответствующий переключатель, как на изображении выше.
Вам также доступны дополнительные настройки периодичности сканирования, минимального возраста импортируемого файла и исключение определенных папок при сканировании для автоимпорта, как изображено ниже:
Настройки Fetch не доступны для автоимпорта из облачного хранилища.
¶ Импорт c помощью скрипта
¶ Параметры скрипта import_files.pl
Настройки работы скрипта прописываются в конфиг-файле, пояснения по всем поддерживаемым параметрам можно посмотреть в исходном коде скрипта ниже, либо запустив его без параметров. Для работы скрипта необходим логин-пароль для доступа к API Video CDN — его можно настроить в панели управления Websa.
В одном конфиг-файле можно настроить обработку только одной директории. Для обработки нескольких папок используйте отдельные конфиг-файлы.
¶ Протоколы
Скрипт может сканировать не только локальную папку, но и сетевые сервисы, поддерживающие рекурсивный листинг папок, сейчас это протоколы rsync:// , swift:// и s3://.
¶ Скачать скрипт import_files.pl
v. 24.04.29
40.85 кб
¶ Импорт через Rsync Daemon
- Запустите rsync daemon со следующей конфигурацией:
[some_string]
path = /home/client/videos.domain.com
comment = videos
list = false
secrets file = /etc/rsyncd/rsyncd.secret
auth users = some_user
(some_string - на ваше усмотрение, будет использована как rsync-URL, как показано ниже)
- Добавьте следующую запись в
/etc/rsyncd/rsyncd.secret:
some_user:some_password
(задайте пользователя и пароль вместо some_user и some_password)
- Установите значение 600 в строке
/etc/rsyncd/rsyncd.secret (chmod 600 /etc/rsyncd/rsyncd.secret) - Передайте техподдержке значения some_user:some_password,
а также rsync-URL в следующем формате:rsync://yourhost.example.com/some_string/илиrsync://<IP>/some_string/
гдеIP- IP-адрес вашего хоста.
На вкладке Rsync или Swift USR в настройках автоимпорта ресурса вставьте rsync-ссылку в соответствующее поле и нажмите галочку справа для добавления источника, как выделено на изображении выше.
¶ Проксирование ресурса
Когда импорт настроен через Proxy, первый запрос на отсутствующий в CDN файл проксируется на ориджин. При первичном запросе файл помещается в очередь на скачивание. Через некоторое время CDN скачивает и начинает отдавать файл напрямую. В качестве ориджина может быть использован виртуальный HTTP-хост защищённый логином-паролем.
При этом способе импорта, вам не нужно предварительно заливать в CDN все файлы для отдачи, однако он связан с повышением трафика на ваш сторедж, особенно в начале использования.
Возрастание трафика на ваш сторедж будет зависеть от общего уровня трафика в CDN.
При импорте через HTTP-ориджин, можно задать лимит общего занимаемого в CDN места (сумма размеров файлов без учета копий). При превышении лимита файлы будут удаляться начиная с наименее популярных до достижения долимитного значения.
Для настройки проксирования выберите соответствующую вкладку:
Проксирование ресурса по умолчанию отключено.
Чтобы отобразить настраиваемые параметры проксирование ресурса, переместите тогл в состояние “включено” как изображено ниже:
По умолчанию, к вашему ресурсу будут применены дефолтные настройки подписи URL для прокси.
Чтобы задать для данного ресурса индивидуальные настройки, кликните по полю “Linked with default settings”, откорректируйте необходимые параметры URL signing и сохраните изменения.