Передача данных между Google Диском и Google Cloud Storage с помощью Google Colab

Филипп Лайс

10 июля 2019 г. · чтение 3 мин.

Изображение для сообщения

Google Colab отлично подходит для небольших экспериментов с Python и машинным обучением. Но доступ к данным может быть сложным, особенно если вам нужны большие данные, такие как изображения, аудио или видео файлы. Самый простой подход — сохранить данные на вашем Google Диске и получить к ним доступ из Colab, но Google Диск имеет тенденцию создавать тайм-ауты, когда у вас есть большое количество файлов в одной папке.

Более надежным и масштабируемым является Облачное хранилище Google, где вам также будет проще делиться данными с коллегами. Но, к сожалению, нет собственного способа переноса данных с Google Диска в Google Cloud Storage без необходимости загружать и загружать их снова. Однако с помощью Google Colab мы можем передавать файлы довольно легко.

Монтирование Google Диска в Colab

Подключить собственный Google Диск довольно просто. Просто импортируйте инструменты привода и запустите команду mount. Вам будет предложено пройти аутентификацию с помощью токена, который вы создаете с помощью Google Auth API. После того, как вы вставили токен, ваш диск будет подключен к указанному пути.

 from google.colab import drive 
drive.mount ('/content/drive')

Image for post

Настройка сегмента Google Cloud Storage

Далее нам нужно создать проект Google Cloud Storage. Перейдите в диспетчер ресурсов и создайте новый проект.

 Изображение для сообщения

 Изображение для сообщения

Изображение для сообщения

Подключение к сегменту GCS

После настройки корзины вы можете подключить Colab к GCS с помощью Google Auth API и gsutil. Сначала вам нужно аутентифицировать себя так же, как вы это делали для Google Диска, затем вам нужно установить идентификатор проекта, прежде чем вы сможете получить доступ к своей корзине (-ам). Идентификатор проекта отображается в диспетчере ресурсов или URL-адресе, когда вы управляете своими сегментами.

 from google.colab import auth 
auth.authenticate_user () project_id = 'nifty-depth- 246308 '
! Gcloud config set project {project_id}
! Gsutil ls

Это подключится к вашему проекту и выведет список всех сегментов. Затем вы можете скопировать данные из или в GCS с помощью команды gsutil cp . Обратите внимание, что содержимое вашего Google Диска находится не в папке /content/drive напрямую, а в подпапке Мой диск . Если вы копируете более нескольких файлов, используйте параметр -m для gsutil, так как он включит многопоточность и значительно ускорит процесс копирования.

  bucket_name = 'medium_demo_bucket_190710'! gsutil -m cp -r/content/drive/My  Drive/Data/* gs://{bucket_name}/

Вот и все. Теперь процесс запущен, и вы можете время от времени проверять, завершен ли он. Я создал записную книжку Colab с примером кода, приведенным здесь: https://colab.research.google.com/drive/1Xc8E8mKC4MBvQ6Sw6akd_X5Z1cmHSNca

Дополнительную информацию можно найти в документации Colab здесь и в документации gsutil здесь.

Для будущих проектов просто аутентифицируйте записную книжку Colab и перенесите файлы из корзины в локальную файловую систему. Затем вы можете запускать все эксперименты на локальной копии.



1. Загружайте и храните файлы на Диске

Начало работы с Диском

Далее: 2 . Доступ к своим файлам на Диске
Хотите получить больше от Приложения Google для работы или учебы? Подпишитесь на бесплатную пробную версию Google Workspace

На Google Диске можно хранить любой файл: изображения, рисунки, видео и т. д. . Вам нужно сохранить файл на Диске только на одном устройстве, и он будет автоматически доступен на всех остальных ваших устройствах. Есть три способа перенести файлы на Диск.

В этом разделе вы узнаете, как:

1.1 Загружать файлы на Диск в Интернете
1.2 Хранение файлов на рабочем столе
1. 3 Загружайте файлы со своего телефона или планшета

1.1. Загружайте файлы на Диск через Интернет

  1. Перейти на Диск.
  2. Щелкните Новый Загрузка файла или Загрузка папки и затем выберите файл или папку, которую хотите загрузить.
  3. Нажмите

Если вы используете последнюю версию Chrome или Firefox, вы можете просто перетащить файлы прямо со своего компьютера на страницу Диска в браузере.

Если вы загружаете файл, соответствующий имя существующего файла, Диск добавит его как новую версию вместо создания дубликата. Чтобы просмотреть предыдущую версию этого файла, вы можете управлять версиями.

Когда вы видите Загрузка завершена , ваши файлы успешно загружены и доступны в любом браузере. или устройство, на котором установлен Диск.

1.2 Store файлы на рабочем столе

Примечание. Если вы используете резервное копирование и синхронизацию, вместо Google Диска для ПК см. раздел Резервное копирование и синхронизация файлов с Диском.

Если вы хотите работать с файлами со своего рабочего стола, установите Диск для ПК. Ваши файлы хранятся в облаке, и вы получаете к ним доступ по запросу. Это освобождает место на жестком диске вашего компьютера, экономит пропускную способность сети и сокращает время ожидания файлов для синхронизации. Вы также можете сделать файлы на Диске доступными в автономном режиме, и они будут синхронизироваться с облаком, когда вы снова подключитесь к сети.

После установки Диска для настольных ПК вы получаете доступ к Моему диску через Мой компьютер (Microsoft Windows) или Finder (Apple Mac), как любую обычную папку. Затем вы можете переместить свои файлы на Диск, где они синхронизируются с облаком и освободят место на вашем компьютере.

(Если вы позже решите удалить Диск для ПК, ваши файлы на Диске не будут К ним по-прежнему можно получить доступ с Диска в Интернете.)

Диск для ПК доступен только в том случае, если ваш администратор включил его для вашей организации или группы.

Дополнительные сведения см. В разделе «Что можно делать с Диском для ПК».

Установите Диск для ПК:

  1. На своем компьютере перейдите в раздел «Использовать Диск для ПК на работе или в школе» и следуйте инструкциям по установке, чтобы загрузить и установить Диск для ПК.
  2. В правом нижнем углу (Windows) или вверху справа (Mac) щелкните Диск для ПК. Откройте Google Диск.

Когда вы устанавливаете Диск для рабочего стола на свой компьютер, он создает диск в «Мой компьютер» или место в Finder с именем Google Диск для рабочего стола. Здесь отображаются все ваши файлы на Диске.

Перемещение файлов в папку :

  1. Решите, какие файлы вы хотите хранить на Диске.
  2. (Необязательно) Организуйте файлы в папках так, как вы хотите, чтобы они отображались на Диске.
  3. Щелкните Диск для ПК.
  4. Нажмите «Открыть папку на диске» .
  5. Переместите файлы и папки в папку. С этого момента эти файлы существуют в папке Диска и синхронизируются с другими устройствами, на которых также установлен Диск.

Если ваше интернет-соединение прерывается или вам нужно перейти в автономный режим во время синхронизации, Диск для ПК продолжит работу с того места, где был остановлен, когда вы снова подключитесь к сети.

  1. Нажмите «Диск» для рабочего стола.
  2. Нажмите «Настройки» Пауза Синхронизация .

В режиме паузы Диск для ПК не загружает локальные изменения на Диск, а новые версии файлов становятся доступными офлайн не будет загружен. Нажмите Возобновить синхронизацию , чтобы начать резервное копирование синхронизации.

1.3. Загрузка файлов со своего телефона или планшета

Вы также можете использовать приложение «Диск» для хранения файлов на вашем Android или Apple. Устройство iOS. (Если вы позже решите удалить приложение, ваши файлы на Диске не пострадают, и к ним по-прежнему можно будет получить доступ с Диска в Интернете.)

  1. В зависимости от вашего устройства выберите один из следующих вариантов:
    • Телефон или планшет Android: Нажмите Google Play .
    • Устройства iOS: коснитесь App Store .
  2. Найдите и установите диск .
  3. Откройте приложение, содержащее файл, который вы хотите загрузить, нажмите Поделиться , а затем нажмите Диск .

К началу

Google, Google Workspace и связанные с ними знаки и логотипы являются товарными знаками Googl. е ООО. Все остальные названия компаний и продуктов являются товарными знаками компаний, с которыми они связаны.
Далее: 2 . Получите доступ к своим файлам на Диске
Было ли это полезно?
Как мы можем это улучшить?
Оцените статью
clickpad.ru
Добавить комментарий