Картинки разбираем заказы: увеличить заказы ресторана доставки и бесплатное продвижение в Delivery Club — разбираем кейсы общепита — Еда на vc.ru

Разбор ответов на HTTP-запросы | ПланФикс

Сейчас мы вас приятно удивим 🙂

Мы заметили, что в последнее время наши пользователи всё чаще пытаются извлечь из комментария задачи различные данные. И когда они понимают, что это сделать непросто, а порой невозможно, очень расстраиваются. Например, быстро получить курс валют для расчетов с контрагентами, статус почтового отправления клиента или счет на оплату из платежного сервиса.

Дело в том, что до сегодняшнего дня поступающая в ПланФикс информация из других сервисов и систем приходила одним общим блоком, который можно было увидеть в комментарии к задаче. По факту ПланФикс не умел понимать эти данные, выделять из них нужную информацию, чтобы использовать её при дальнейших расчетах.

Опытные пользователи ПланФикса решали такую задачку с помощью сторонних сервисов: Integromat, ApiX-Drive, Zapier. Это временное, но не универсальное решение. В итоге мы решили сделать ПланФикс более дружелюбным по отношению к другими системам и сервисам.

Новые элементы интерфейса

Мы внесли капельку изменений: добавили новые элементы интерфейса в настройки автоматических сценариев. Теперь обо всём по порядку.

Послать HTTP-запрос

Теперь в ПланФиксе можно отправлять не только POST, но и GET-запросы. Поэтому мы переименовали действие, отвечающее за отправку запросов. Теперь в выпадающем списке его можно найти по названию «Послать HTTP-запрос»:

Новое имя для старого действия.
По клику картинка откроется в новом окне и большем размере.

Блок авторизации

Добавили к настройке запросов блок с авторизацией. Он часто необходим для работы с API платежных систем. Чуть позже на примере покажу, как это работает. Мы расположили блок авторизации вот тут:

Блок авторизации для POST-запросов.
По клику картинка откроется в новом окне и большем размере.

Разобрать полученный ответ

Пожалуй, это самая долгожданная доработка. Теперь с её помощью ПланФикс понимает, какую информацию ему присылают сторонние сервисы:

Галочка разбора полученного ответа.
По клику картинка откроется в новом окне и большем размере.

Если перейти в настройки, вы увидите уже привычный интерфейс, который работает по тому же принципу, как при разборе почты:

Блок с настройками разбора полученного ответа.
По клику картинка откроется в новом окне и большем размере.

Примеры GET и POST запросов

Ниже приведу несколько примеров, которые продемонстрируют работу нового функционала.

GET-запрос: получение курса валют

Теперь получить информацию о курсе валют прямо в ПланФикс стало значительно проще. Рассмотрим настройки на примере ЦБ РФ. Будем использовать XML-данные, которые Центробанк отдаёт по ссылке:

http://www.cbr.ru/scripts/XML_daily.asp

Настраиваем кнопку:

Пример настройки кнопки для получения курса валют.
По клику картинка откроется в новом окне и большем размере.

Разбираем ответ от банка:

Разбор ответа от ЦБ РФ.
По клику картинка откроется в новом окне и большем размере.

Обратите внимание, разбор ответа происходит так:

• В инфоблоки кладем нужные данные из ответа банка.
• Затем в текущую задачу добавляем комментарий с нужной информацией. Делаем это в качестве контрольной меры. Можно и не добавлять.
• На последнем шаге данные из инфоблока дублируем в соответствующие поля задачи, чтобы можно было их использовать в дальнейших расчетах.

После клика по кнопке в задаче видим следующее:

Курс валют в полях задачи.
По клику картинка откроется в новом окне и большем размере.

POST-запрос: трекинг посылок

Благодаря разбору ответов на HTTP-запросы, теперь можно отслеживать посылки в транспортных компаниях. Например, давайте получим статус посылки от украинской компании «Новая Почта».

Для этого добавим в задачу два поля типа строка —  «ТТН» и «Номер телефона». Далее, используя API «Новой Почты» настраиваем кнопку:

Настройка POST-запроса для отслеживания посылки.
По клику картинка откроется в новом окне и большем размере.

{
    "modelName": "TrackingDocument",
    "calledMethod": "getStatusDocuments",
    "methodProperties": {
        "Documents": [
            {
                "DocumentNumber": "{{Задача.ТТН}}",
                "Phone":"{{Задача.Номер телефона}}"
            }
        ]
    }
}

Разбор ответа выглядит так:

Разбор ответа от транспортной компании.
По клику картинка откроется в новом окне и большем размере.

В итоге в задаче видим дату и статус отправления:

Комментарий с полученным статусом посылки.
По клику картинка откроется в новом окне и большем размере.

Сложные примеры: предварительная аутентификация и авторизация

Теперь разберем примеры с предварительной аутентификацией. Они достаточно сложные в понимании, но мы уверены, вы во всём сможете разобраться.

POST-запрос в СДЭК: получаем информацию о номере заказа через аутентификацию по токену

Например, чтобы работать с API транспортной компании СДЭК, в начале необходимо получить токен и добавить его в заголовок к основному запросу.

Схема работы такая:

Отправка предварительного POST-запроса - Получение токена в ответ - Добавление токена в заголовок основного запроса - Отправка основного запроса.

Вот как это можно настроить в ПланФиксе.

Шаг № 1 — Отправляем предварительный запрос в СДЭК, проходим аутентификацию:

Проходим аутентификацию в СДЭК.
По клику картинка откроется в новом окне и большем размере.

Шаг № 2 — разбираем ответ на предварительный запрос — получаем токен. И тут же отправляем в СДЭК основной запрос для получения информации о номере заказа:

Получаем токен и формируем основной запрос.
По клику картинка откроется в новом окне и большем размере.

Обратите внимание, полученный токен добавлен в заголовок основного запроса.

Шаг № 3 — разбираем полученную информацию от СДЭК о номере заказа и добавляем её в нужное поле:

Разбираем ответ от СДЭК о номере заказа.
По клику картинка откроется в новом окне и большем размере.

POST-запрос в ЮКассу: автоматическое получение ссылки на оплату через базовую авторизацию

Для общения ПланФикса и ЮКассы будем использовать базовую авторизацию, иначе нельзя. Пример, который настроим, позволит автоматически формировать ссылку на оплату и отправлять её клиенту.

Шаг № 1 — формируем запрос с платежной информацией для ЮКассы и проходим базовую авторизацию:

Отправляем данные в ЮКассу.
По клику картинка откроется в новом окне и большем размере.

{
        "amount": {
          "value": "{{Задача.Возможная сумма сделки}}",
          "currency": "RUB"
        },

       "payment_method_data": {
          "type": "bank_card"
        },

        "confirmation": {
          "type": "redirect",
          "return_url": "https://mysite.ru/after_payment"
        },
        "capture": true,
        "description": "Заказ в Рога и Копыта"
}

Шаг № 2 — разбираем полученный ответ и добавляем ссылку на оплату в задачу:

Разбираем ответ ЮКассы.
По клику картинка откроется в новом окне и большем размере.

Что теперь

Теперь вам будет гораздо проще получать информацию в ПланФикс из других систем: курсы валют, статусы почтовых отправлений, ссылки на оплату. Уверен, примеры выше — это всего лишь мизерная часть необъятных возможностей, которые открылись перед вами с появлением разбора ответов на HTTP-запросы.

Кстати, мы ждём от вас историй о том, как вы будете использовать новую возможность в своей работе. Поделитесь опытом, нам очень интересно 🙂

А ещё не забывайте о наших социальных сетях: Facebook, ВКонтакте, Telegram, Twitter и YouTube-канал. Там периодически появляются новости о доработках и новинках. Подпишитесь, чтобы ничего не пропустить.

Как оформить профиль в Instagram правильно и красиво / Skillbox Media

Когда пользователь открывает аккаунт в Instagram, он видит верхнюю часть профиля. Она называется шапкой и состоит из картинки (аватара), имени аккаунта и текстовой части (описания). В шапке нужно донести тематику аккаунта: детская одежда, домашние животные, SMM, строительство коттеджей или новинки в IT-технологиях.

Скорее, пользователь не подпишется и не будет читать посты, если не поймёт по шапке, какие услуги или товары вы предлагаете, что полезного он найдёт в вашем аккаунте.

Из шапки профиля @minidino.rf понятно, что компания производит и продаёт детскую одежду, а также доставляет её по всей России.

Цель аватара — привлечь внимание и запомниться.

Публичным личностям — например, блогерам, бизнес-тренерам и другим специалистам, которые продвигают личный бренд, — советую размещать на аватар собственную фотографию. Рекомендую выбирать четкую контрастную фотографию по грудь или пояс. (Если в полный рост, то сложно скомпоновать в круге.)

Отредактировать изображения для аватара можно в различных приложениях и онлайн-сервисах, например, Nebi (Android, iOS), Pixlr (Android, iOS, веб).

На аватаре лицо актрисы Ирины Горбачёвой хорошо видно, фотография чёткая.

Компаниям и брендам советую размещать на аватар логотип. Так пользователи точно поймут, на какой профиль они попали.

Аватар компании Pepsi легко узнаваем. Вы точно будете знать, в профиле какой компании находитесь.

Если профиль Instagram принадлежит нано-, микро- или малому бизнесу (ИП), рекомендую разместить на аватаре чёткую фотографию товара. Например, кондитеру — фотографию торта, производителю ёлочных игрушек ручной работы — игрушку на ёлку.

По аватару этого профиля сразу понятно, что компания печёт торты.

Не рекомендую использовать на аватаре:

• нечёткие тёмные изображения;
• мелкий нечитабельный шрифт на логотипе;
• светлые цвета букв на светлом фоне или тёмные — на тёмном;
• стоковые картинки.

Пример неудачного аватара — мелкая надпись, её трудно прочесть.

Имя аккаунта находится на первой строчке в описании профиля. Его длина не должна превышать 30 символов.

Имя индексируется Instagram, то есть пользователь может найти ваш аккаунт в поиске приложения или сайта. Поэтому рекомендую указывать ключевые слова, которые помогут ему в этом.

Например, компания из Москвы занимается ремонтом ноутбуков. Тогда в названии можно просто написать: «Ремонт ноутбуков, Москва». Не советую дублировать латинское название компании, если оно указано в нике. Лучше указать дополнительную информацию, по которой вас смогут найти в поиске.

Если в поиск Insagram ввести «Ремонт ноутбуков», то в результатах покажутся профили с соответствующим именем.

Если вы продвигаете личный бренд, то в имени аккаунта можно указать фамилию, имя, профессию или никнейм (например, если вы Тимати или Оксимирон :-).

Здесь указаны фамилия и имя, а также профессия. Этот профиль можно найти по ключевым словам «Анастасия Парфенова» и «стилист».

Описание профиля не может быть больше 150 символов. В настройках Instagram это поле называется «О себе».

Укажите здесь самую важную информацию:

• город;
• адрес и часы работы, если есть офлайн-точка;
• способы связи: телефон (WhatsApp, Telegram, Viber), e-mail;
• сайт, если есть. Над ссылкой разместите призыв к действию, например: «Перейти на сайт»;

Если хотите знать, сколько пользователей переходит по ссылке из шапки профиля, используйте UTM-метки. Тогда количество переходов можно увидеть в отчетах системы веб-аналитики (Яндекс.Метрика, Google Analytics).

• Если какая-то скидка или акция действует только на сайте, сообщите об этом: «Узнать о скидке на сайте»;
• Список услуг или категорий товаров. К примеру, в аккаунте образовательного проекта можно указать, какие предметы/профессии тут изучают;
• Оффер. Например, «Доставим пиццу за 30 минут» или «Закажите 3 пары обуви по цене 2»;
• Информацию о доставке, если есть, и оплате товаров/услуг.

Используйте эмодзи, если хочется интереснее оформить список и сообщить дополнительную информацию.

Из описания аккаунта понятно, что компания занимается продажей одежды для детей от одного года, доставляет за два дня. Заказать можно на сайте. Не хватает информации о регионах доставки.Из описания понятно, что компания занимается продажей столов и стульев, доставляет по всей России. Указан телефон для связи.

В шапке Instagram можно указать только одну ссылку. Если у вас несколько сайтов или нужно, чтобы пользователи переходили в мессенджеры, используйте сервисы мультиссылок (например Taplink).

Как привести семейный фотоархив в порядок | Статьи

Традиции семейных фотоархивов сложились очень давно и можно с уверенностью сказать, будут жить долго. Просмотр старых снимков, или напротив – самых свежих фотографий из отпуска всегда занимает солидную долю времени на встречах друзей или родственников. В это занятие обычно непроизвольно втягиваются все присутствующие на вечеринке. Удивительно милое занятие – рассматривать самих себя в детстве на чёрно-белых снимках. К сожалению, вид у этих архивов часто непрезентабельный: в лучшем случае — неподъёмные альбомы в пыльной бархатной обложке, а то и вовсе картонные коробки (не менее пыльные), доверху набитые старыми снимками. Часто сюжеты дублируются: папа был фотолюбителем творческим и распечатывал кадры (в тёмной ванной с красной лампой) на разной фотобумаге – искал варианты. Разобраться с таким архивом – дело непростое и нескорое. Однако придётся этим заняться, если хотите обеспечить архиву современный вид и достойное существование вместо хранения на пыльной антресоли. Новейшие технологии позволяют дать старым ветхим снимкам вторую жизнь, заметно улучшив их качество. Модернизировав свою галерею, Вы сможете:

• Сохранить самые важные и интересные моменты в стильной красочной фотокниге;
• Из лучших снимков составить историю нескольких поколений Вашей семьи;
• Поделиться с близкими тёплыми радостными воспоминаниями;
• Буквально за минуты оформить стильные фотоподарки для родных и друзей.

Лёгкую, почти невесомую фотокнигу приятно прихватить с собой на дружескую вечеринку или встречу с родителями. Красочная фотокнига как деталь интерьера прекрасно будет выглядеть на журнальном столике или в спальне. Приятно случайно наткнуться на неё, полистать за чашечкой кофе милые сердцу странички. Как это осуществить?

Разбираем и сортируем фото

Это за Вас никто не сделает. Нужно выбрать время, набраться терпения и приступить. Главное начать. Первым делом внимательно отсматриваем всё наследство и стараемся определить ценность каждого снимка. Из дубликатов и очень похожих снимков оставляем самый лучший, остальные откладываем в сторону.

Попробуйте сразу рассортировывать снимки по тематике. Одна стопка – главные события жизни: первое совместное фото, свадьба, медовый месяц, переезд в новую квартиру, путешествие, рождение детей, садик, школа и т.п. Другая – семейная сага: дедушки-бабушки, родители. Родословная, одним словом. Фото прочих родственников и друзей семьи можно отложить в отдельную группу и после обработки подарить – им будет очень приятно.

Наверняка обнаружится много фотографий, на которых изображены неизвестные Вам люди. Не спешите их выбрасывать, отложите в отдельный файл. Покажите их потом старшим членам семьи, возможно, это близкие им люди, и снимки очень ценные. В результате такой ревизии у Вас образуется несколько пакетов снимков, готовых к обработке.

Что дальше?

Дальше с отобранными фотографиями можно поступить следующим образом:

• Отснять нужные снимки на телефон или камеру;
• Отсканировать изображения;
• Собрать снимки в конверт и отнести в ближайший ЦО «Фотосферы».

Если Вы решили снимать самостоятельно, старайтесь придерживаться следующих правил:

• Лучшее освещение — естественное. Прямой солнечный свет не годится – невозможно избежать бликов на глянцевой поверхности. Так что выбирайте такое место у окна, где свет мягкий и рассеянный;
• После фотографирования снимки желательно предварительно обработать. Для iPhone это довольно качественно может выполнить приложение VSCO. Плагин «Четкость» заметно улучшит контраст, резкость и четкость Ваших кадров, но одновременно ощутимо увеличит размер файлов. Поэтому не удивляйтесь, что процесс обработки и отправки изображений замедлится. В приложении имеется очень полезная функция – «копирование правки». Она позволит обработку одного снимка распространить на все остальные. Перед отправкой ещё раз просмотрите все кадры, добавьте некоторым, если нужно, насыщенности (цветным) или резкости (чёрно-белым).

Сканирование, оцифровка, ретушь

Если Вы решили доверить старые фотографии нам, то с помощью профессионального оборудования мы придадим им совершенно иной уровень качества. Мы покадрово отсканируем Ваш архив, одновременно переводя картинку в цифровой формат. В процессе сканирования электроника автоматически очистит изображения от небольших дефектов: пыли, пигментных точек, мелких царапин.

Для более серьёзных дефектов потребуется ретушь фото, цена которой в «Фотосфера» Вас приятно удивит. После обработки старые снимки будут выглядеть так, будто выполнены только вчера. В процессе ретуши наши специалисты по желанию клиента могут придать изображениям совершенно новые свойства: заменить фон, раскрасить ч/б фото, выполнить фотомонтаж или коллаж.

Если у Вас в архиве сохранились ч/б плёнки, негативы или слайды, не ломайте голову, как с ними поступить – несите к нам. Мы сумеем их отсканировать и оцифровать. В дальнейшем с этими цифровыми файлами можно будет сделать что угодно: заказать фотоальбом или напечатать фотокнигу онлайн, приготовить к празднику фотоподарки на заказ и многое другое. К юбилею родителей, золотой свадьбе дедушки и бабушки мы предлагаем особенную услугу – печать фото на дереве.

Семейная фотокнига своими руками

Заказать фотокнигу – лучший способ вдохнуть новую жизнь в семейный архив. Новые материалы и технологии позволят ещё нескольким поколениям Ваших наследников хранить в памяти свои истоки. Количество разворотов (не более 10), формат страниц и вариант оформления Вы определяете сами. Это можно сделать в студии «Фотосфера» (где можно посмотреть образцы фотокниг), а можно и удалённо создать фотоальбом онлайн на нашем сайте. В зависимости от того, какого формата и размера будет выбранная фотокнига, цена отразится в калькуляторе. Красивая, стильная, качественно напечатанная книга может стать важной эмоционально окрашенной деталью жизненного пространства Вашей квартиры и замечательным оригинальным подарком Вашим близким.

Ваши творческие идеи совместно с нашим многолетним опытом помогут создать по-настоящему качественный фотоархив. Мы в этом твёрдо уверены.

Приемы :: Планета Excel

Обновляемый курс валют в Excel

Как использовать функции ВЕБСЛУЖБА (WEBSERVICE) и ФИЛЬТР.XML (FILTERXML) для загрузки мгновенно обновляемого курса любой валюты на любой интервал дат.

Динамические гиперссылки между таблицами

Как сделать удобные динамические гиперссылки, чтобы быстро переходить из одной таблицы в другую — к заданному значению в строке и столбце. Что-то типа ВПР, но возвращающая ссылку, а не значение.

Поиск ключевых слов в тексте

Как быстро найти в исходном тексте все ключевые слова из справочника и вывести их рядом с каждой ячейкой данных через заданный символ-разделитель. Попутно разбираемся с буферизацией запросов в Power Query с помощью функции Table.Buffer для ускорения обработки.

Разделение таблицы по листам

Как разобрать данные из одной таблицы сразу на несколько листов по заданному критерию. Разбираем два способа — с обновлением (через Power Query) и без (только VBA).

Поиск последнего вхождения (инвертированный ВПР)

Все стандартные функции поиска (ВПР, ГПР, ПОИСКПОЗ и т.д.) ищут только сверху-вниз и слева-направо. Что же делать, если нужно реализовать обратный поиск совпадений, т.е. искать не первое, а последнее вхождение требуемого значения в списке?

Распределяем список по наборам

Как разделить список по наборам неодинакового размера — разбор 3 способов: вручную через сводную, запросом в Power Query и функциями динамических массивов.

Вафельная диаграмма в Excel

2 способа построить в Excel вафельную диаграмму (waffle-chart) для наглядной визуализации прогресса по проекту или любых других KPI.

Массовая замена текста формулами

Как с помощью формулы произвести массовую замену одного текста (или его фрагмента) на другой по имеющейся таблице подстановок (справочнику).

Регулярные выражения (RegExp) в Power Query

Как добавить поддержку регулярных выражений (RegExp) в Power Query для реализации поиска и извлечения фрагментов текста по гибким шаблонам и маскам.

Производственный календарь в Excel

Как при помощи Power Query сделать в Excel «вечный» производственный календарь — автоматически обновляющийся список нерабочих дней за все годы для использования в своих расчетах.

ВПР и числа-как-текст

Как научить функцию ВПР (VLOOKUP) искать значения, когда в исходных данных встречаются «числа-как-текст», что приводит к ошибкам #Н/Д.

Ад Условного Форматирования

Что такое «Ад Условного Форматирования», когда и почему он возникает? Как с ним бороться вручную и при помощи специального макроса?

Самый быстрый ВПР

Тест скорости 7 разных вариантов реализации поиска и подстановки данных из одной таблицы в другую: ВПР, ИНДЕКС+ПОИСКПОЗ, ПРОСМОТРХ, СУММЕСЛИ и т.д. Кто будет самым быстрым?

Выпадающий список с быстрым поиском

Как создать выпадающий список, где при вводе нескольких первых символов автоматически будет фильтроваться содержимое, сужая круг поиска и отбирая только те элементы, которые содержат введённый фрагмент.

Динамические массивы в Excel

Подробный разбор революционно нового инструмента Excel — динамических массивов (Dynamic Arrays). Логика их работы, нюансы, плюсы и минусы, совместимость со старыми версиями.

Как открыть новый Excel в отдельном окне

5 способов запустить новый независимый экземпляр Microsoft Excel, чтобы не ждать, пока в предыдущем выполнится пересчет формул, выполнение долгого макроса и т.д.

Дубликаты внутри ячейки

Как бороться с повторами в тексте внутри ячейки: обнаруживать их, выделять цветом или удалять. С помощью формул, макросов или запросов Power Query.

Суперсила Мгновенного заполнения (Flash Fill)

Подробный разбор вариантов применения одного из самых удивительных, но малоизвестных инструментов — Мгновенного заполнения (Flash Fill). Поможет для обработки текста: нарезки, склейки, исправления регистра, добавления или удаления слов, извлечения чисел из текста и многого другого.

Генератор фраз из заданных фрагментов

Как быстро сгенерировать все возможные фразы, состоящие из заданных наборов слов в любом порядке, используя Декартово произведение множеств с помощью формул или Power Query.

Параметризация путей к данным в Power Query

При пересылке файлов с запросами Power Query они очень часто перестают работать, т.к. путь к исходным данным на другом ПК меняется. Как решить эту проблему и превратить путь в параметр (переменную), чтобы наш запрос работал на любом компьютере?

Запуск макроса по времени

Как запускать нужные вам макросы в определенное время, с определенной частотой или по расписанию? Например, автоматически обновлять тяжелый и медленный отчет каждое утро в 5:00?

Новые типы данных в Excel 2016

Подробный разбор особенностей использования двух новых типов данных География (Geography) и Акции (Stocks), появившихся в Microsoft Excel 2016.

Нечеткий текстовый поиск с Fuzzy Lookup в Excel

Как использовать бесплатную надстройку Fuzzy Lookup для нечеткого поиска ближайших текстовых соответствий в двух таблицах на примере поиска совпадающих адресов.

правильная последовательность этапов от профессионалов

Не паникуйте, сейчас мы вам всё расскажем.

Для человека, который сталкивается с капитальным ремонтом впервые, это, и вправду задача непростая и важно не наделать типичных ошибок. Не очень понятно, что тут главное, а что второстепенное, а между тем, последовательность этапов ремонта на кухне – крайне важна.

Если «стартануть» не так, то велика вероятность, что вам просто не хватит денег закончить основные вещи, так как вы потратитесь на ерунду, немного не рассчитав стоимость работ, например. Кстати, ранее мы уже публиковали обзор средних цен ремонтных работ по РФ, а также план ремонта маленькой кухни.

С чего точно не надо начинать?

Давайте мы вам сразу расскажем, о чем точно не стоит и помышлять, пока вы не сделаете нужный демонтаж и не рассчитаете точно, сколько потратите на мастеров.

1. 1. Ни в коем случае не покупайте стройматериалы! Ни на пол, ни на стены, ни дверные полотна.

   Ну очень частая ситуация, когда в процессе ремонта, желая перенести одну перегородочку, сносят её полностью, допустим, так как уже видят наглядно, как это может выглядеть. А стройматериал-то уже закуплен и вы начинаете с досадой кусать локти. Кусаете и понимаете, что вам бы сейчас вместо этого лишнего кафеля, куда больше пригодилась барная стойка. Но денег на неё уже нет…

   Поэтому – не спешите. Строймаркеты работают ежедневно, никто у вас перед носом ничего не расхватает, поэтому, повода для преждевременной покупки – нет.

2. 2. И, думаем, не стоит говорить даже – не заказывайте мебель. В процессе ремонта вы можете передумать раз пять, а если купите что-то заранее, то вам уже придётся «плясать» от такого дорогостоящего приобретения.

   Некоторые стараются закупить мебель и стройматериал сразу, чтобы не растратить лишнего. Но, мы бы вам советовали, просто взять и положить деньги в банк, на месячный депозит, если уж так переживаете «не вписаться».

Ну а теперь давайте перейдём к тому, с чего-таки стоит начинать.

Тут у вас два пути: экономный или для богатых. Если у вас второй случай, то тогда ваш первый шаг – вызов дизайнера, который нарисует вам проект и рассчитает стройматериал.

Но, надо сказать, мероприятие это настолько…для богатых, что может стоить ровно столько, сколько вся кухонная мебель.

Так что, мы вам рекомендуем поверить в собственные силы и выбрать всё-таки самостоятельный подход. Это не так и сложно, более того, менее суетливо.

Не стоит думать, что если вы наняли дизайнера, вам не надо будет ничего делать.

Да он замучает вас звонками и предложениями поездок, чтобы показать материал, варианты мебели или освещения.

Вы выигрываете, разве что в том, что вас будут водить за ручку и подводить к тем материалам, которые уже выбраны. И далеко не факт, что вы их одобрите сходу, кстати.

Но, давайте всё-таки перейдём к тому пути, который исключает вызов дизайнера.

Причем, он один для всех, практически, нет разницы, в частном доме вы или в квартире, в хрущевке или новостройке.

Какие главные этапы на самом старте перед ремонтом?

В этом блоке мы вам перечислим вкратце всю пошаговую программу с чего начать ремонт, а ниже уже распишем каждый этап и объясним, почему последовательность именно такова.

1. Внимательное изучение в интернете этапов работ, которые вы планируете произвести. Вам надо почитать обо всём, на что вы планируете тратить деньги. Без этой базы, каждый второй мастер попытается вас «обуть», содрать денег больше, чем надо, а работу сделать более халтурно и просто.

Поэтому – на первом этапе – запасаемся теорией и информацией. Знания – сила! Читайте обо всём, начиная от электрики, сечений проводов до шпаклёвки и декоративной отделки.

Вы должны знать лучше мастеров, как это всё делается, сколько стоит и как должно выглядеть в итоге. Только в таком случае вам сделают работу качественно и за релевантные деньги.

2. Прозвон мастеров и определение примерной вилки цен по всем видам работ, которые вы хотите произвести.

Навскидку, стандарт таков (это не последовательность, а пока просто перечень):

• Демонтаж перегородок и дверей
• Демонтаж напольного покрытия
• Демонтаж и чистка (размывка) стен
• Грязные потолочные работы (чистка, выравнивание, шпатлевка)
• Установка нового окна (обычно, демонтаж старого входит в стоимость)
• Сантехнические работы
• Электротехнические работы
• Замена радиатора отопления
• Выравнивание пола (стяжка)
• Укладка «фартука» на рабочую стенку кухни
• Установка водопроводного крана и раковины
• Малярные работы на стенах (выравнивание, шпатлевка, «паутинка»)
• Покраска стен (или поклейка обоев)
• Оформление потолка (покраска или монтаж подвесного)
• Укладка напольного покрытия и установка плинтуса
• Крепление багета на потолок
• Установка осветительных приборов

Вот, в общем-то и все стартовые работы, которые предполагает капитальный ремонт. У вас, может, будут другие идеи: вместо шпаклёванного потолка вы захотите из гипсокартона, фигурный или, может, натяжной.

Но, тут не суть. Вы просто должны посчитать сначала работу, а уже потом, отталкиваться от той суммы, что выйдет.

И главное, не забывайте самый важнейший момент: спрашивайте у мастеров, которые будут делать ту или иную работу, что именно надо купить для то или иного этапа. Допустим, что надо на укладку кафеля? – кафель, клей, крестики, финишная затирка.

Что надо для монтажа «откосов»? — профиль, гипсокартон, утеплитель, алюминиевые уголки. И всё в таком духе.

И так по каждому-каждому пункту, вплоть до гвоздика!

Не стесняйтесь спрашивать мастеров и сверяйте их список с тем, что пишут в интернете. Мастера могут упустить какой-то момент, они тоже люди.

Если вы не просчитаете каждую заклёпку, то вас ждёт впереди много неожиданностей и расстройств. На каждый этап работ надо закупать основной и дополнительный материал, а его-то как раз мало кто учитывает. А он недешевый!

И не досчитав в таком моменте, ваш лимит денег может закончиться быстрей, чем вы думаете и останетесь вы один на один с ведром шпаклёвки… А это страшно для новичка, поверьте.

Нет, конечно, если вы сам по себе мастер и имеете опыт, то эта рекомендация вас не касается. Мы говорим о «простых смертных», которые и близко не стояли со шпателем, раствором и дрелью.

3. Составление списка примерных расходных материалов — после того, как вы побеседуете с мастерами, вы уже будете иметь в руках большую половину списка. Но вы подумайте ещё немного и впишите туда то, что не обсуждалось с мастерами: окно, радиатор, люстру, светильники, кафель, мебель.

4. Четвертый шаг – поездка в гипермаркет стройматериалов и примерный просчёт в деньгах того, что вам может быть надо.

Внимание! Первым делом присматривайте и записывайте цену на основное (гипсокартон, шпаклёвку, проводку, трубы), а потом только переходите в раздел декора.

Почему так? А потому, что это очень и очень соблазнительный отдел магазина. И вам, ну просто непременно, захочется купить чего-то эдакого. И вы загоритесь этим, да. А потом пойдёте в раздел важных вещей, поймёте, что вам не очень-то хватает и решите немножечко сэкономить на качестве плитки или обоев…

В общем, если вы будете соблюдать именно эту последовательность, то вы избежите досады и неприятного чувства, когда чего-то хочется, но колется.

5. Далее – вы возвращаетесь домой и спите, положив заветный список под подушку. Почему так? А потому, что за ночь, вы непременно прокрутите в голове ещё триста пятьдесят три варианта и передумаете! И будете чрезвычайно довольны, что не купили вчера воон тот ламинат.

6. Теперь уже вы можете набрать мастеров, которых вы выбрали ранее, и обговорить дату, когда они приступят к работам. В этот же момент надо достать свой кошелёк и отложить сразу деньги, которые вы им должны будете отдать за работу.

Обязательно так сделайте! Если вы немного не рассчитаете, то придётся стоять хлопать глазами перед ремонтниками и канючить об отсрочке платежа. Это ужасно и несолидно. Не доводите себя до такого позора из-за элементарной безалаберности.

7. После этого можете смело отправляться в магазин и покупать то, что вам понадобится в первую очередь. А, если, строймаркет находится от вас далеко, то можете купить заранее материал на все виды работ. Тратьте спокойно, деньги на работу и мебель у вас уже отложены.

Ну а теперь, давайте же рассмотрим именно порядок ремонтных работ на кухне, чтобы вы были в курсе, каких мастеров вызывать первыми, а каких – в самом конце.

Этапы ремонта кухни

1. Демонтаж старых дверей, перегородок, кафеля, пола

Это всё – самые грязные работы. Тут у вас будет много пыли и мусора, также – много шума: отбойные молотки, перфораторы и прочее.

Самый важный момент, который вы должны не забыть на этом этапе – вывоз мусора. Его будет просто несметное количество, если вы капитально ремонтируете кухню советского вида, например.

Скорей всего вам придётся ломать стяжку на полу, так как, в старых домах, от старости, она трескается или пропитывается потёками из труб… Также большой объём мусора выходит, если снимать старый кафель со стены (ведь раньше считалось хорошим тоном умастить всю кухню плиткой).

Обращаем ваше внимание на то, что договариваться о сборе мусора в мешки – надо заранее, а также уточнить, входит ли в цену демонтажа его погрузка в машину и сколько такая машина будет стоить.

И про мелочь не забывайте – мешки. Они, вроде, стоят недорого, но когда их надо пятьдесят, то начинаешь понимать, что не так уж они доступны.

2. Подготовка стен и потолков

Тут речь о подготовительных работах, то есть, очистке поверхностей от старой краски, шпаклёвки, обоев и прочего, что может мешать добраться до бетона.

Это также грязные работы, которые надо сделать в первую очередь, чтобы потом не пачкать (и не отмывать, следовательно) не вовремя установленные новые радиаторы, окна, трубы…

3. Постройка или перенос перегородок

И это тоже не самая чистая работа, если речь идёт о кирпиче. Если вы хотите делать перегородку из гипсокартона (чего мы вам не рекомендуем, из-за чрезмерной хлипкости), то его лучше тоже ставить именно на этом этапе.

4. Установка нового окна

Ну, тут, как говорится, без комментариев. Вызывайте замерщика, через пару дней вам привезут окна и тут же демонтируют старые. Не забудьте купить монтажной пены, если мастера скажут.

Важно! Не обрывайте пока защитную плёнку с профиля рамы, так как, на окна ещё будет попадать грязь, шпаклёвка, грунт, краска и т.п.

Может, у вас сейчас в голове возник логичный вопрос: а зачем тогда ставить окна сейчас, если можно потом, когда всё чисто будет?

Нельзя потом, потому что при демонтаже старой рамы, выпадают большие куски проёма, и вам надо будет заново делать откосы.

5. Электрика

Тут вам надо сделать замену проводов и пометить все выходы, где будет техника.

Также, на этом этапе «выводятся» розетки, выключатели, выходы к осветительным приборам. Именно «выводятся», а вот сами крышки вы на них оденете уже потом, когда стены будут отделаны полностью.

Народная прорабская мудрость гласит — много розеток не бывает.

Крайне важно, чтобы у вас уже было четкое понимание, где будет стоять холодильник, будет ли телевизор на кухне и какая техника будет встроенной.

6. Вода и трубы

Теперь очередь сантехника. Он сделает вам новую разводку труб, поставит вентили, краны, заглушки и всё-всё, что вам понадобиться на новой кухне.

Не забывайте сделать «выходы» к бытовой технике: машинке стиральной и посудомоечной.

7. Где будет радиатор?

Часто, в домах старой постройки, радиатор стоит очень неудобно и не к месту. Вы можете его перенести, «дорастив» трубы и поставить заглушки.

Сам радиатор вы повесите тогда, когда всё будет чисто, потому что именно сейчас нет никакой нужды его устанавливать, чтобы потом с трудом отмывать от строительной пыли и капель стройматериала.

8. Укладка кафеля на «фартук»

Учтите, что на этом этапе делаем только фартук (не пол, даже, если он тоже кафельный) и только из плитки.

Если фартук у вас из других материалов, допустим, пластика или стекла, то его надо ставить уже после того, как будут выполнены чистовые работы.

Кафель можно отмыть всегда, но это одно. Его ставят до чистовой шпаклёвки затем, чтобы с помощью раствора сформировать красивые и аккуратные бока, которые переходят на стену.

9. Работы по гипсокартону

Сюда входят откосы, в первую очередь и остальное, где у вас предполагается использование этого материала.

Например: подвесные потолки, фигурные полки из гипсокартона, короба для электричества по периметру потолка, короба-карнизы и прочее.

Не исключено, что часть этих работ (перегородки из ГКЛ, фальш-стены) могут быть сделаны и на более ранних этапах.

10. Расшивка углов и щелей

Это важный этап, и вы должны проследить за мастерами. Расшивка углов и щелей означает, что мастер должен полностью расчистить те места, где раствор в углах или швах уже осыпается.

Если углы хорошо не зачистить, то у шпаклёвщика не выйдет сделать идеально ровный угол комнаты. Последствия такой недоработки потом «аукнутся» при поклейке обоев и установке мебели.

11. Стартовое выравнивание потолка, стен и откосов

Если у вас потолок не очень ровный, то прежде, чем шпаклевать его начисто, его надо выровнять. Как правило, если перекос небольшой, то «вытягивают» его шпаклёвочной массой, с применением армосетки.

Перед тем, как приступать к шпаклёвке, необходимо прогрунтовать стену. Лучше не экономить и пройтись пару раз, будет чище, а значит, адгезия материала будет лучше.

Важно: сохнет стартовый слой шпаклевки не так уже и быстро. Иногда может понадобиться три-четыре дня (в зависимости от слоя).

Очень важно следить за тем, чтобы мастера использовали в местах, где надо делать большой слой шпаклёвки — армирующую сетку («паутинку»), иначе, у вас пойдут трещины по потолку и стенам ровно в тот момент, когда они закончат работу, попрощаются с вами и хлопнут дверью. Это утрированно, конечно, но суть вы поняли.

12. Наклейка потолочного багета (если он будет)

Именно сейчас надо клеить багеты на шпаклевку. Не забывайте этого, потому как, плинтус, наклеенный потом, на клей «Дракон» — смотрится просто ужасно.

13. Финишное покрытие шпаклёвкой

Тут вы можете использовать простую шпаклёвку, а можете, так называемую силиконовую. Очень хорошая вещь, кстати. Она хоть и стоит гораздо дороже, зато поверхность выходит белая и гладкая, как яичко.

От обычной финишной такого эффекта не будет.

14. Заливка стяжки

Ну и наконец, мы подошли к завершающему этапу черновых работ – полу. Заливайте стяжку и пока отдыхайте, пока пол окончательно не высохнет. Процесс это долгий, но спешить никак нельзя.

Почему пол делается в конце? А потому, что рабочие при шпаклёвке постоянно таскают железные лестницы, козлы, а это всё может повредить свежую стяжку и оставить на ней вмятины.

15. Оформление потолка

Тут может быть или покраска, или оклейка обоями. Если у вас натяжной потолок, то его тоже надо ставить именно сейчас, так как следующим шагом будет покраска стен.

Ведь крашенные стены пачкать совсем не хочется, а мастера по натяжным потолкам могут это нечаянно сделать.

16. Установка кухонной двери

Именно в этот момент ставят двери, так как от краски, которой вы будете красить стены, их уберечь несложно, а вот от той, что капает с потолка – ну никак вообще.

Поэтому, самым лучшим решением будет ставить дверь сразу после покраски потолка.

Важная деталь: не ставьте наличники. Когда полностью покрасите стены, тогда окончательно соберёте дверь.

17. Покраска стен

Очень многих интересует: что первое, отделка стен или укладка пола?

Наш ответ – стены, если у вас покраска, так как, работа это грязная и капли зальют пол.

Если же обои, то надо сначала делать пол, чтобы было где расстелить полотно, для промазки его клеем.

18. Вешаете радиатор

Трубы у вас уже подготовлены, и никакой сварки не надо. Просто вешаете радиатор, это чистая работа (если речь о современных, конечно).

Если, вдруг, вы ставите чугунные, то их надо устанавливать до шпаклёвки стен, так как будет применяться сварка и не факт, что рабочие сберегут стену.

19. Теперь очередь пола

И тут тоже не имеет значение, какой вид покрытия вы используете. Если ламинат, не забывайте о подложке, потому как стук ламината – штука очень противная. По остальным материалам ориентируйтесь на советы мастеров и производителя.

Если пол у вас кафельный, то процесс высыхания может занять пару дней. И только после этого можно переходить к следующему этапу.

Далее нужно установить плинтуса. Это касается деревянных полов, линолеума и ламината. На кафельные полы плинтуса отдельного не надо, он формируется мастером, в процессе укладки плитки.

20. Установка осветительных приборов

В общем, занимаемся окончательным подведением света всех видов, а заодно и карниза, так как, обычно для крепления современных люстр нужна дрель. А коль уж она в руках у мастера, почему бы не убить двух зайцев?

Также, можете установить технику, чтобы вы могли уже делать замеры и заказывать кухонную мебель.

21. Установка кухонной мебели, раковины и столешницы

Все эти вещи делаются одновременно, практически. Всё равно кухню будете ставить не вы, а мастера, поэтому, вам и не надо знать, в какой последовательности что-то делается на этом, завершающем этапе.

Тем не менее, мы настоятельно рекомендуем присутствовать при монтаже всего этого, дабы проконтролировать, чтобы установщики всё сделали правильно. Особенно это касается качества установки каркаса гарнитура и его фасадов. Всё должно быть идеально равно.

22. Бытовая техника

Также сейчас подключается бытовая техника (до этого она была просто установлена на место, как вы помните). Сложности могут возникнуть только при установке встроенного холодильника. Там нужно будет повозиться, чтобы поставить его в нишу и навесить фасады. Остальные же приборы вы можете подключить своими руками, трудностей тут нет.

23. Делаем генеральную уборку

Большую часть мусора уберут рабочие, но, поверьте, вам после них еще будет много работы. На кухне должна быть идеальная чистота, поэтому на это дело у вас уйдет не меньше целого дня.

Но вас должно радовать, что ремонт уже закончен и осталось совсем чуть-чуть.

24. Обставляем кухню

Теперь можно заносить обеденный стол и стулья, диванчик, если он будет. Распаковывайте коробки с посудой и кухонной утварью и наполняйте новенький гарнитур.

На окна вешаете занавески, ставите комнатные растения, вешаете картины или другой декор. Ну и не забудьте наполнить холодильник 🙂

Вот и всё! Ваша кухня готова и можете звать гостей! Мы вам рассказали максимально точный план действий с нуля и подробней расписать просто нельзя. Очень надеемся, что информация окажется вам полезной.

Дизайн-проект ванной комнаты — готовые проекты, ремонт и отделка, фото примеры

Профессиональные строители и дизайнеры относят ванные комнаты к числу «сложных» помещений, так как в проектировании ванной есть множество нюансов.

Готовый дизайн-проект ванной комнаты должен учитывать удобство и красоту. Утром здесь принимают бодрящий душ, вечером – расслабляющую ванну.

Проект Виктории Женжевской

Основную идею нового оформления нужно разработать до ремонта. Разумеется, ремонтировать просторное помещение проще. Не нужно долго думать о размещении сантехники, мебели и бытовых предметов. С маленькой ванной сложнее.

Создавая дизайн-проект ремонта ванной комнаты, не стоит ограничиваться в выборе стиля. Ванная может гармонировать с другими комнатами или быть обособленной. Оптимальный проект поможет скрыть недостатки. Разрабатывая концепт, важно учесть детали: от подсветки потолка до элементов декора.

Проект Юлии Шевелевой

Первые вопросы «на старте» ремонта касаются выбора материалов, сантехники и мебели. Сколько бы интересных задумок ни возникало, выбрать придется одну.

Стиль интерьера

У каждого стиля свои правила. И чтобы не запутаться в идеях, стоит прежде всего опираться на собственный вкус.

Проект Алены Литвиенко

Классический

В отделке много позолоченных элементов, зеркал в массивных резных рамах и невесомых хрустальных светильников. Предметы обстановки в классическом стиле требуют много места.

Для отделки обычно выбирается крупная плитка, имитирующая мрамор. Для контраста подойдет кафель с растительными орнаментами.

В палитре много светлых тонов, золотой и серебряной патины. Классика больше подходит для просторных комнат. Массивная обстановка и позолота неуместны в малогабаритной квартире.

Проект Марины Трач

Кантри

В деревенской обстановке много внешней небрежности. Мебель — деревянная, с грубой отделкой. В ванной ставятся шкафчики, тумбы, пеналы из цельного дерева с влагоустойчивой пропиткой. Сама ванна может быть классической, на изящных ножках. Гармонично смотрятся душевые кабины из стекла.

В кантри-ванной стены оформляются камнем или плиткой, имитирующей дерево.

Основу цветовой композиции составляют натуральные тона – древесный, терракотовый, зеленый и другие. Шторы пестрых расцветок станут отличным дополнением обстановки.

Проект Ольги Вдовиной

Этника

Стиль передает колорит определенной местности. Кому-то по душе экзотика дальних стран, а кто-то тоскует по деревне. Например, русская этника – это дерево грубой обработки или имитация бруса.

Деревянная мебель в народном стиле, наоборот, изящна и красиво украшена изразцами. Впрочем, уместно и простое исполнение шкафчиков, пеналов и тумб.

Дизайн дополнит отделка керамической плиткой с характерными расписными узорами и светлый пол. Уместны лепка и глиняные элементы декора. Этника может быть аутентичной, смешанной, акцентной. Выбор – за владельцами.

Проект Лины Князевой

Современный

Основные качества – лаконичность и рациональность. Вариант идеален для маленьких ванных.

Шкафчики, тумбы под раковину, пеналы и сантехника — строгих форм.

В современном дизайне чаще встречается отделка кафелем, керамической плиткой. В основе цветовой гаммы – белый цвет. Для комбинирования можно использовать нейтральные светлые тона, а также различные варианты серого и коричневого цветов.

Хай-тек

Стиль во многом похож на современный, однако у него есть ряд особенностей. Формы могут быть строгими или плавными. Интерьер похож на обстановку из фантастического фильма.

Отделка строгая. Материалы — штукатурка, плитка с лаконичным дизайном. Допускается сделать акцентную стену под кирпичную кладку.

В колористике доминирует белый цвет, но отделка дополняется темными (лиловым, синим, красным и черным) оттенками.

Проект Кристины Шикиной

Минимализм

Лаконичный и функциональный проект. В интерьере используются закрытые системы хранения, которые заменяют привычные шкафчики. Из мебели можно оставить тумбу с раковиной и зеркало.

Крупная керамическая плитка может контрастировать в отделке со светлым кафелем под шлифованный камень. Декор из металла и закаленного стекла зрительно увеличивает пространство.

Используется сантехническая керамика разных оттенков – белая, черная, металлик и другие.

Проект Виктории Ломидзе

Восточные стили

Направление, которое основывается на впечатлениях от далеких путешествий. Обстановка может ограничиваться тумбой с раковиной в необычном исполнении и плетеными стульчиками. Восточный колорит подчеркнет раковина в виде чаши с росписью.

Чтобы передать колорит экзотических стран, используются тематические рисунки на кафеле. Например, сложные переплетения растительных орнаментов напомнят индийские джунгли, а национальные узоры станут гармоничным дополнением интерьера.

Отделка в пастельной и светло-коричневой цветовых гаммах. Узоры могут быть более яркими – фиолетовыми, синими, голубыми и серыми.

Проект Виктории Королевой

Экостиль

В интерьере используются только натуральные материалы: камень может сочетаться с металлом, деревом и стеклом. Отличным решением станет накладная раковина из камня.

Палитра также основана на природных оттенков. Даже в ванной комнате могут стоять живые растения: можно посадить плетущиеся лианы, приспособленные к условиям влажного тропического климата. Вариант наилучшим образом подходит для оформления загородных домов и коттеджей.

Проект Ирины Новиковой

Скандинавский

Несмотря на внешнюю лаконичность, скандинавский дизайн весьма сложен.

Белая мебель в характерном исполнении – она должна быть удобной, без изысков. Шкафчики и полочки могут быть деревянными, металлическими и пластиковыми.

В отделка: штукатурка, обои под покраску, декоративная кирпичная кладка, окрашенная в белый цвет.

Палитра основана на белом цвете, который могут дополнять бежевые, бледно-желтые оттенки и холодные тона голубого, синего и серого.

Проект Лины Князевой

Чертежи и бюджет

Определившись с дизайном, можно приступать к составлению чертежей. В комплект входят:

• схемы планировки,
• развертки стен,
• разводка электрики,
• схемы сантехнической разводки.

Следующий этап – составление сметы. Бюджет ремонта зависит от стоимости отделки, сантехники и мебели.

Правила планировки

Возможности современного дизайна ограничены лишь рамками человеческой изобретательности. Даже самая маленькая ванная может преобразиться на глазах. Главное – учитывать правила.

Зрительное восприятие

Цветовая палитра меняет пространственное восприятие. Поэтому при оформлении маленьких ванных используются светлые тона, которые визуально расширяют пространство.

Темные оттенки подойдут для просторных помещений, где нет недостатка в квадратных метрах. В сети есть множество примеров готовых дизайн-проектов отделки ванных комнат с фото. При этом ничто не мешает владельцам квартиры проявлять собственную фантазию.

Проект Ирины Новиковой

Влагостойкие материалы

В большинстве случаев не рекомендуется использовать натуральное дерево. В условиях повышенной влажности дорогостоящий материал теряет форму. Если хочется использовать именно деревянную мебель, нужно выбирать дорогие модели. Они обработаны специальными составами, которые блокируют поры. Вода не поникает в структуру дерева и такая мебель долго служит.

Натяжной потолок

Натяжной потолок устанавливают, когда есть риск, что соседи сверху затопят квартиру. Полотно потолка прогнется, но не пропустит воду. Большая доля вероятности, что удастся спасти отделку и мебель.

Угловая ванна

Для самых крохотных ванных комнат промышленность выпускает угловые ванны, с которыми можно сэкономить драгоценное пространство.

Проект Проект Марины Калининой и Антона Попова

Отделка

Пространство под ванной можно закрыть кафельным экраном. Но нужно продумать доступ к сантехнике, если вдруг понадобиться их ремонтировать. Возможно, хватит сантехнического люка. Как альтернатива, можно установить раздвижной экран.

Размещение полотенцесушителя

Независимо от размеров ванной комнаты действует одно правило: нельзя размещать полотенцесушитель за дверью.

Какие материалы подходят

Готовый дизайн-проект ванной должен учитывать специфику помещения. В условиях повышенной влажности и постоянных перепадов температур используются специальные материалы, которые должны:

• долго служить;
• быть прочными;
• выглядеть оригинально и привлекательно;
• быть практичными.

Проект Марины Николаевой

Каждый элемент обстановки должен быть простым в уходе. Важным критерием является влагонепроницаемость. В зависимости от проекта для оформления можно использовать разные материалы:

• влагостойкий гипсокартон;
• металл с антикоррозионной обработкой;
• керамогранит и керамическую плитку;
• натуральный и искусственный камень;
• традиционную мозаику и 3D-плашки;
• натяжную пленку и сайдинг для внутренней отделки.

Дизайн нестандартных ванных

Сложнее сделать уютную ванную, если планировка комнаты нестандартная. Создание дизайна следует начать традиционно – с разработки проекта. Это может быть простой, даже примитивный рисунок на бумаге. Важно правильно соблюсти пропорции.

В вопросе сложного проектирования необходима наглядность. Только прорисовав все линии, можно увидеть общую схему возможных дизайнерских решений. Специалисты рекомендуют соблюдать следующий порядок действий:

• начертить схему Г-образной ванной;
• обозначить дверные и оконные проемы;
• указать места размещения сантехники;
• предусмотреть использование сантехнических новинок.

Расположение ванны

При разработке дизайн-проекта Г-образной ванной комнаты могут возникать трудности с размещением ванны. Можно рассмотреть современные угловые конструкции, которые впишутся в пространство.

Угловая ванна – компромисс между полным отказом от ванны и стандартной прямоугольной ванны. Покупая угловую ванну, вы изначально должны определиться с местом ее размещения. Разумеется, это будет угол. Однако выбор подходящего угла Г-образной ванной зависит от особенностей планировки.

Сегодня производители предлагают угловые ванны разных конфигураций и форм:

• Овальные – со скругленным краем.
• Квадратные – стандартного вида.
• Круглые – подходящие для просторных ванных.
• Изогнутой формы – с прямым углом и краем сложной формы.

В условиях нехватки места можно полностью отказаться от ванны. Отличной альтернативой станет аккуратная душевая кабина.

Если финансовые возможности не позволяют приобрести душевую кабину, можно купить стандартный стационарный душ с лотком для слива.

Отделка и освещение

Отделка ванной комнаты Г-образной формы также позволит создать эффект расширения пространства. В этом помогут отделка в светлых тонах и мозаичные панно.

Хороший вариант освещения — равномерная подсветка лампочками, встроенными в подвесной потолок. Стоит также предусмотреть дополнительное освещение в зоне умывальника и зеркала.

Проект Евгения и Марии Латышевых

Работа с недостатками

Ванную Г-образной формы можно визуально поделить на зоны, например, при помощи отделки. Контрастная облицовка создаст зрительные границы.

Существуют маленькие хитрости ремонта, которые позволяют эффективно использовать нестандартную геометрию Г-образной ванной. Можно замуровать водопроводную систему в стены, оставить снаружи только краны и кнопки. Даже самое крохотное помещение будет выглядеть больше.

Особый эффект создают большие зеркала. Разместив пару зеркал в углу Г-образной ванной комнаты, можно сделать стены «незаметными».

Выбирая мебель нестандартных размеров и планировки, следует уделить внимание тщательному подбору предметов. Интерьер должен быть гармоничным. Дополнительным способом корректировки неудобной планировки является использование подвесных шкафов и тумб, позволяющее освободить пол и зону установки сантехники.

Проект Марии Крыловой

Задача для профи

Заказав готовый дизайн-проект ванной комнаты, можно значительно ускорить процесс ремонта. Готовый документ достаточно просто принести в магазин и показать продавцу. Он быстро подберет подходящий мебельный гарнитур и набор сантехники под проект.

Для профессионального дизайнера создание дизайн-проекта является обычной повседневной работой. Специалист четко следует отработанному плану составления набросков, списков и чертежей. Все требования заранее излагаются на бумаге, чтобы ничего не упустить.

Проект Василисы Павловой

Документ разрабатывается в соответствии с выбранной идеей оформления. Готовый дизайн-проект четко описывает:

• главные акценты и важные элементы дизайна;
• определенные работы с недостатками планировки;
• точки подключения коммуникаций и места установки мебели.

Специалист быстро справится с проектом и поможет воплотить самые сложные решения. Профессионал зафиксирует габариты комнаты, составит смету на покупку сантехники мебели и отделочных материалов.

Проект Артема Горенечева

Воплощение идеи

Если реализация дизайн-проекта не вызывает энтузиазма, лучше доверить работу профессионалам. Специалисты справятся с задачей быстро и умело.

Самая большая сложность заключается в выполнении сантехнических работ. Когда сантехника демонтирована, поздно решать вопросы с эскизами, чертежами и подсчетами денежных расходов. Все должно быть подготовлено к началу работ.

Также владельцу нужно учесть, что на время ремонта в квартире не будет доступа в туалету и ванной комнате.

Проект Тамары Романенковой

Если у хозяина дома есть свой взгляд на идею создания интерьера, ему нужно потрудиться. Сначала нужно переложить концепцию на бумагу.
Сделать это без соответствующей подготовки будет непросто. Нужно понимать, что должно получиться, и как добиться должного результата.

Непрофессионалу проще обратиться с уникальной идеей в специализированную дизайнерскую фирму. Дизайнеры учтут все авторские пожелания. Профессиональный подход позволит избежать технических ошибок и отточить выбранный проект до мельчайших деталей.

Проект Дарьи Бикуновой

Дизайнеры знают, как правильно использовать технические новинки в интерьере. Ванная комната будет не только красивой, но и удобной. Специалисты учтут функциональность и эргономику. Возможности современного дизайна позволяют создать уникальный дизайн-проект на любой бюджет.

———————-

Если вы профессионально занимаетесь дизайном интерьера, смотрите также:

7 ошибок перепланировки. Мелочи, из-за которых может рухнуть проект

Правовые аспекты авторского надзора и комплектации

Комплектация объекта — остаться в живых

Двигатели Mitsubishi Galant: особенности, слабые места, ремонт

Среднеразмерные автомобили Mitsubishi Galant выпускались в 1969–2012 гг., за это время появилось 9 поколений модели. Хотя производство линейки прекращено 5 лет назад, автомобили последних поколений продолжают активно эксплуатировать, а ремонт или замена двигателя «Митсубиси Галант» остаются востребованной услугой.

Среднеразмерные автомобили Mitsubishi Galant выпускались в 1969–2012 гг., за это время появилось 9 поколений модели. Хотя производство линейки прекращено 5 лет назад, автомобили последних поколений продолжают активно эксплуатировать, а ремонт или замена двигателя «Митсубиси Галант» остаются востребованной услугой.

Особенности двигателей «Митсубиси Галант»

Разные поколения автомобилей Mitsubishi Galant комплектовались 4-цилиндровыми рядными (I4) двигателями таких серий:

• Saturn (4G3) – бензиновые объемом 1,3, 1,4, 1,5, 1,6, 1,7, 1,8 л мощностью от 87 до 125 л. с.;
• Astron (4G5/4D5). Модель 4G52 – бензиновый ДВС объемом 2 л с модификациями мощностью 100 и 125 л. с. Ряд модификаций модели 4D55 – дизельные атмосферные и турбированные моторы объемом 2,3 л, мощностью от 65 до 95 л. с.;
• Sirius (4G6/4D6). Бензиновые 4G62 – 1,8 л, 4G63T – турбированный, 2 л, 4G64 – 2,4 л, 4G67 – 1,8 л., 4G69 – 2,4 л, дизельные — 4D65 – 1,8 л, 4D68 – 2 л.

Также на ряде моделей устанавливали 6-цилиндровые двигатели V-образной компоновки (V6):

• 6A11 – 1,8 л/133 л. с.;
• 6A12 – 2 л, существовало несколько модификаций с разной мощностью – 143–148, 170–177, 197 л. с., самым мощным в этой линейке (237 л. с.) был двигатель с двойной турбиной;
• 6A13 – 2,5 л, 161–173 л. с. и модель с двойной турбиной – 276 л. с.;
• 6G72 – 3 л/195 л. с. для рынка США.

Самые известные двигатели из числа использовавшихся на Mitsubishi Galant – это 2-литровые 4G63. С 1989 по 2003 на автомобилях Galant устанавливались различные модификации этого двигателя. С 1987 начато производство DOHC версий с 2 распредвалами, двигатели с 1 распредвалом (SOHC) продолжали выпускать до 1993 года. Турбированный вариант 4G63T в 1988–92 гг. использовался на Mitsubishi Galant VR-4 и принес этой модели ряд побед в международных ралли.

В двигателе 4G63 использовалась технология MCA-Jet, аббревиатура MCA в переводе на русский расшифровывается как «Митсубиси Чистый Воздух». Так обозначались моторы с пониженным выхлопом вредных веществ. Первый двигатель MCA появился в 1977 г., 4G63 –модифицированная версия. Его отличительная особенность – наличие на каждом цилиндре третьего клапана небольшого размера. Эти клапаны обеспечивали дополнительный приток воздуха в камеру сгорания, благодаря чему достигалось более быстрое движение и полное сгорание топливно-воздушной смеси. После появления двигателей с 4 клапанами на цилиндр система MCA-Jet устарела, но на протяжении десятилетия она оставалась прогрессивной.

Существовало более 10 модификаций двигателя 4G63, некоторыми из них оснащались автомобили Mitsubishi Galant на протяжении 4 поколений. На фото модификация с 2 распредвалами и 16 клапанами.

В настоящее время востребованы в основном двигатели на Mitsubishi Galant 8–9 поколений, их характеристики приведены в таблице:

Типовые проблемы, неполадки и их причины

Двигателям Mitsubishi разных серий присущи различные уязвимости. С какой поломкой придется столкнуться владельцу, зависит от того, какой двигатель установлен на «Митсубиси Галант».

Серия Sirius (4G63, 4G64):

• часто заклинивает балансировочные валы, что приводит к обрыву их ремня, такая поломка может спровоцировать обрыв привода ГРМ. Проблема возникает, если подшипникам валов не хватает смазки. Предотвратить ее можно, покупая качественное масло и регулярно контролируя его уровень. Ремни также нуждаются в ревизии и периодической замене;
• опоры (подушки) быстро изнашиваются, что проявляется повышенной вибрацией. Поэтому нужна регулярная проверка и замена подушек по мере надобности, особенно подвержена износу левая опора крепления двигателя «Митсубиси Галант»;
• на холостом ходу часто плавают обороты. Это связано с загрязнением форсунок, дроссельной заслонки, выходом из строя регулятора холостого хода и датчика температуры. Для предотвращения такой неполадки нужно регулярно прочищать систему и проверять исправность мелких компонентов;
• после 50 тыс. км пробега может требоваться замена гидрокомпенсаторов, быстрее они выходят из строя в турбированных двигателях. Использование некачественного масла и его несвоевременная замена приводят к ускоренному износу гидрокомпенсаторов;
• маслоприемник насоса в этих моделях расположен почти вплотную к стенке картера. Поэтому удар по поддону может спровоцировать деформацию маслоприемника, насос перестанет получать масло и снабжать им все движущиеся детали мотора. Предотвратить такие ситуации поможет защита картера двигателя «Митсубиси Галант».

Серия 4G9 (4G93, 4G94):

• стук двигателя обычно связан с износом гидрокомпенсаторов и устраняется путем их замены, использование качественного масла продлевает их ресурс;
• склонность к нагарообразованию и высокий расход масла (по народному – жор). По мере увеличения пробега расход масла растет, для решения этой проблемы требуется замена маслосъемных колец и колпачков;
• плавающие обороты обычно вызваны загрязнением фильтра топливного насоса высокого давления и дроссельной заслонки, нужна их чистка;
• если двигатель глохнет на горячую, скорее всего, неисправен и нуждается в замене регулятор холостого хода.

Стук двигателя – неприятный сюрприз

У двигателей серии 6G7 Cyclone V6 (6G72, 6G75) и 6A1 (6A13) часто встречаются те же проблемы, что у рядных 4-цилиндровых серии 4G9 – стук, жор масла, плавающие обороты. Вызваны они теми же причинами, к стуку двигателя может приводить не только износ гидрокомпенсаторов, но и поворот шатунных вкладышей. Вообще двигатели V6 надежнее рядных, у них меньше «врожденных» болезней, но в силу своей конструкции они менее удобны в обслуживании. Сложнее менять свечи, а в замене они нуждаются часто, если автомобиль заправляют российским бензином. Пропуски зажигания часто вызваны отложениями на электродах. Также затруднен доступ к ремню ГРМ.

Главный враг двигателей – некачественные ГСМ. Особенно чувствительны к грязному топливу моторы с прямым впрыском (GDI). Распространенная проблема двигателей этого типа – загрязнение моторного масла сажей. Сажа активно образуется, когда двигатель работает в переходном режиме. Закупориваются каналы, по которым распространяется смазка, сажа попадает во впускной коллектор и выводит из строя клапаны и свечи. Если каждые 50–40 тыс. км не прочищать впускной коллектор, двигатель чадит, расходует больше бензина, ухудшается тяга. Крайне важно в двигателях с GDI менять ремень ГРМ, не дожидаясь его обрыва. Иначе поршни, имеющие днище нестандартной формы, столкнутся с клапанами и деформируют их.

Основные виды ремонтных работ

Двигатели автомобилей Mitsubishi Galant могут нуждаться в замене таких деталей и расходников:

• гидрокомпенсаторы;
• маслосъемные кольца и маслоотражающие колпачки;
• ремень или цепь ГРМ, прокладки роликов натяжителя, сами ролики;
• прокладки клапанной крышки, ГБЦ, сальники двигателя, коленвала, распредвала, фильтр двигателя, масляный и топливный фильтры;
• регулятор холостого хода, различные датчики.

Если из строя выходит топливный или масляный насос, менять его не обязательно, можно попытаться отремонтировать. Трещина, к примеру, заваривается. При замене свечей в V-образных двигателях рекомендуется осматривать фланец впускного коллектора и при необходимости шлифовать его.

При регулярном текущем обслуживании, чистке, замене расходников, использовании качественного бензина и масла двигатель «Митсубиси Галант» может долго служить без капремонта. На то, что он нуждается в капитальном ремонте, указывает совокупность таких признаков:

• повышенный расход топлива и масла;
• шумы при работе двигателя;
• падение мощности;
• нестабильные обороты.

Если проблемы не удалось устранить после оптимизации настроек, нужен ремонт, в ходе которого могут выполняться такие работы, как:

• восстановление зеркал цилиндров путем расточки или хонингования и подбор поршней ремонтного размера вместо родных;
• замена поршневых колец, коренных и шатунных подшипников;
• по необходимости – проточка шеек коленвала;
• обслуживание клапанов;
• восстановительный ремонт стартера и генератора.

Если текущее обслуживание и мелкий ремонт автовладелец может выполнить самостоятельно, то капитальный лучше доверить профессионалам. При недостатке квалификации и опыта даже схема двигателя «Митсубиси Галант» не поможет без ошибок выполнить его ремонт.

Параллельно с капитальным ремонтом двигателя рекомендуется осуществлять ремонт и обслуживание охлаждающей системы, замену шлангов, приводных ремней, водяного насоса, термостата, чистку и ремонт радиатора. Может потребоваться замена радиатора системы охлаждения, подушки двигателя, масляного насоса. В зависимости от состояния блока цилиндров его иногда рентабельнее поменять целиком, чем перебирать и восстанавливать. Если больше 50 % деталей двигателя нуждается в замене, проще и дешевле не ремонтировать его, а заменить восстановленным или контрактным.

Покупка восстановленного двигателя – довольно рискованное решение, нужна уверенность в квалификации мастера, который занимался восстановлением агрегата, и в качестве деталей, которые при этом использовались. Контрактный двигатель для Mitsubishi Galant с японской авторазборки надежнее. Японцы не перегружают свои авто, заправляют их качественными ГСМ, на разборки часто попадают автомобили с небольшим пробегом, и ресурс снятых с них двигателей достаточно велик. После снятия и перед продажей контрактные двигатели тестируют на стенде.

Поскольку ресурс ряда двигателей Mitsubishi Galant превышает 400 тыс. км, многим владельцам этих авто вообще не приходится сталкиваться с необходимостью ремонта или замены мотора. Но нужно помнить, что несвоевременная замена масла, использование некачественного бензина, пренебрежение регулярным техобслуживанием значительно сокращает ресурс даже самых надежных двигателей.

Вставить данные из рисунка

С помощью функции «Данные из изображения» вы можете вставлять данные из вырезки экрана в буфер обмена, в файл изображения со своего компьютера или с камеры iPhone.

Важно: Поддерживаются только следующие наборы символов: английский, боснийский, хорватский, чешский, датский, голландский, финский, французский, немецкий, венгерский, итальянский, норвежский, польский, португальский, румынский, сербский, словацкий, словенский, испанский. , Шведский и турецкий.

Как это работает

1. Захват данных из изображения. Есть три метода:

   Метод	ступеней	подсказок
   Использовать существующий файл изображения	Щелкните Данные> Данные из рисунка> Рисунок из файла .	Изображение должно отображать только те данные, которые вы хотите импортировать. При необходимости обрежьте изображение. Избегайте изображений, на которых данные изображены под углом — перспектива должна быть прямой и сфокусированной.Если возможно, подумайте о том, чтобы исправить перспективу с помощью элементов управления iPhone.
   Сделать скриншот	Сделайте снимок экрана таблицы, затем щелкните Данные> Данные из рисунка> Рисунок из буфера обмена .
   Отсканируйте данные с помощью iPhone (требуется, чтобы iPhone был настроен на использование камеры Continuity.)	В Excel щелкните ячейку правой кнопкой мыши и выберите Сканировать документы . Направьте камеру iPhone на данные. Отрегулируйте освещение и фокус, затем нажмите кнопку, чтобы сделать снимок. Внесите дополнительные изменения в изображение, затем нажмите Сохранить .	Сканируемый документ должен быть максимально хорошо освещен. Убедитесь, что вы сканируете только те данные, которые хотите импортировать. Не сканируйте под углом — целитесь прямо в данные. При необходимости используйте элементы управления iPhone, чтобы внести изменения в отсканированное изображение.

2. После того, как вы сделали снимок, диалоговое окно «Данные из изображения» покажет, как Excel анализирует изображение на предмет данных.

3. Просмотрите результаты, внесите необходимые исправления в данные и нажмите Вставить данные .

Сценарии для опробования

• Импорт данных из файла образца изображения Щелкните правой кнопкой мыши следующее изображение и сохраните локальную копию, затем щелкните Данные> Данные из изображения> Изображение из файла и следуйте инструкциям на экране, чтобы преобразовать изображение в данные.

• Отсканируйте данные из книги или журнала Если вы видите интересные данные в книге и хотите использовать их в Excel, это отличный способ пропустить набор текста. Если у вас iPhone, щелкните правой кнопкой мыши в Excel на Mac и выберите «Сканировать документы». Ваш iPhone загорится. Затем вы можете сфотографировать данные и, следуя инструкциям на экране, быстро перенести данные в Excel.

• Снимок экрана с таблицей с веб-сайта Если вы когда-либо пытались скопировать и вставить некоторые данные с веб-сайта, вы, вероятно, заметили, что форматирование после вставки выглядит иначе, чем на веб-сайте. Вместо этого попробуйте сделать снимок экрана таблицы (нажав SHIFT + CTRL + CMD + 4 на Mac), затем выберите Данные> Данные из рисунка> Рисунок из буфера обмена .Затем следуйте инструкциям на экране.

• Сфотографируйте некоторые напечатанные данные Возможно, вы хотите перенести данные из своих предыдущих налоговых деклараций в Excel, а у вас есть только распечатанные копии. Просто сделайте снимок каждого из них, перенесите изображения на свой Mac (OneDrive отлично подходит для этого). Затем щелкните «Данные »> «Данные из рисунка»> «Рисунок из файла » и следуйте инструкциям на экране, чтобы преобразовать изображение в данные.

Начало работы

Откройте Excel на своем телефоне или планшете и нажмите кнопку Вставить данные из изображения , чтобы начать работу

Затем сузьте область данных, пока не увидите, что они обведены красной рамкой, затем нажмите кнопку захвата.При необходимости вы можете использовать ручки изменения размера по краям изображения, чтобы сначала обрезать его до нужного размера.

Мощный AI-движок

Excel обработает изображение и преобразует его в таблицу. Когда он впервые импортирует ваши данные, он даст вам возможность исправить любые проблемы, обнаруженные в процессе преобразования. Нажмите Игнорировать , чтобы перейти к следующей проблеме, или Изменить , чтобы исправить проблему.

Нажмите Вставьте , когда вы закончите, и Excel завершит процесс преобразования и отобразит ваши данные.

Поддерживаемые языки

Важно: Поддерживаются только следующие наборы символов: английский, боснийский, хорватский, чешский, датский, голландский, финский, французский, немецкий, венгерский, итальянский, норвежский, польский, португальский, румынский, сербский, словацкий, словенский, испанский. , Шведский и турецкий.

См. Также

Получить Office для Android

Видео: начало работы с Excel для Android

Справка по Excel для Android

Как организовать фотографии: правила именования (и многое другое!) Для ваших цифровых изображений

Хотите знать, как вы когда-нибудь найдете ту фотографию, которая вам нужна, среди множества потрясающих изображений? Мы здесь, чтобы помочь разрушить ужасно растрепанную библиотеку фотографий с идеями для соглашений об именах и организационными предложениями.

Вот шаги, которые вам нужно сделать, чтобы все ваши фотографии были на месте. Попробуйте их с любым решением для хранения, которое вы используете — будь то папки в Hub (облачное хранилище PicMonkey, которое позволяет повторно редактировать ваши фотографии и проекты), приложение для организации фотографий на вашем компьютере, внешний диск и т. Д. — и никогда не боретесь чтобы снова найти фотографию.

1. Зачем нужно систематизировать фотографии?

Прежде чем приступить к переименованию файлов изображений и настройке папок в Hub, подумайте о своей конечной цели.Потратьте минуту на то, чтобы подумать о том, что вам действительно нужно, позже поможет вам разобраться в своей самой мечтательной системе организации и соглашениях об именах.

Вот несколько популярных причин навести порядок:

• Улучшение рабочего процесса — например, неотредактированные или отредактированные изображения.

• Сортировка личных и деловых изображений.

• Создание вашего бренда и необходимость систематизировать основные ресурсы, изображения кампании и т. Д.

• Работаем над изображениями для разных клиентов и хотят, чтобы их рабочие места были разделены.

Не беспокойтесь о полном определении вашей организационной системы прямо сейчас — она, скорее всего, изменится, как только вы начнете называть свои изображения. Просто подумайте о том, что вам нужно, несколько минут, и позже вам будет легче разработать свою систему и соглашения об именах.

2. Соберите все изображения в одном месте

Обычно рекомендуется убедиться, что у вас есть все ингредиенты, прежде чем вы начнете готовить, и та же идея применима к организации фотографий.Объединение изображений, уже имеющихся на вашем компьютере, флеш-накопителе, телефоне и т. Д., Позволяет лучше понять, с чем вы работаете, и разработать эффективную систему.

Вы также можете собрать эти фотографии IRL и отсканировать их для создания цифровых файлов (возможно, старые семейные фотографии, которые вы хотите восстановить, реликвии тех времен, когда безраздельно властвовали одноразовые фотоаппараты, фотографии школьных классов и т. Д.).

Если вы систематизируете свои фотографии в PicMonkey’s Hub, вы можете быстро добавлять файлы изображений со своего компьютера в Hub.Просто нажмите на большой знак плюса на главной странице, где написано «Редактировать новое изображение», и выберите изображения.

3. Назовите свои изображения

Теперь начинается самое интересное! Если ваши фотографии были загружены с камеры или вашего телефона, они, вероятно, будут иметь имена, похожие на IMG_0001, и их можно выровнять по дате. Эти идентификаторы по умолчанию сообщают вам, что этот файл является изображением и где оно находится в порядке снятых вами изображений.

Это неплохая информация, но она, вероятно, не дает вам достаточно информации об изображении.И прокрутка бесконечного списка файлов «IMG_0001, IMG_0002», полагаясь на миниатюры, чтобы сказать вам, что на самом деле представляет собой изображение, может быть достаточно, чтобы вы вообще отказались от фотосъемки.

Условные обозначения для места и даты

Какая информация вам нужна в имени файла? Это будет варьироваться в зависимости от тех личных организационных потребностей, которые вы придумали в начале этого приключения, но есть вероятность, что вы, вероятно, захотите знать, где и когда были сделаны ваши снимки. Часто используемый простой способ включить эту информацию в заголовок выглядит следующим образом: [Место] _ [дата].jpg .

Обычно лучше переходить от общего к частному, поэтому большинство дат выражается как ГГГГММДД . В зависимости от того, где вы живете, вы можете указать месяц и день как YYYYDDMM . Используйте то, что вам больше нравится. Кроме того, если вы знаете, что у вас будет куча фотографий с мероприятия или места, сначала начните с этой информации. Поскольку мы знаем, что у нас будет много фотографий из нашей поездки в Сиэтл в апреле 2017 года, мы сохраним эту информацию в начале имени файла и присвоим каждой фотографии номер.

Итак, если этот снимок очаровательного щенка в шляпе для вечеринок был сделан в Сиэтле 26 апреля 2017 года, мы могли бы назвать его Seattle_20170426_1 . Вы также можете сделать это имя файла более ярким и выразить его как Seattle-2017-04-26-1 или использовать популярное подчеркивание ( Seattle_2017_04_26_1 ). Прочерки, подчеркивания и пробелы помогают облегчить анализ информации, но учтите, что они сделают ваш заголовок длиннее. Кроме того, пробелы (а иногда и подчеркивания) могут вызывать проблемы с организацией файлов при передаче между MacOS и Windows или более старыми версиями Windows или Linux из-за того, как компьютер читает файл.

Если вы хотите узнать содержимое изображения по имени файла, добавьте сокращенный дескриптор и / или сократите имя местоположения. Ключ к именам файлов изображений заключается в том, чтобы поместить в них нужную информацию, не делая их слишком длинными. Компьютеры обычно ограничивают заголовки примерно 255 символами, но некоторым программам не нравятся имена файлов, длина которых превышает 30 символов, и общепринято считать, что имена должны содержать около 15 символов или меньше, если вы собираетесь поделиться своим файлом. Более длинные имена файлов также имеют тенденцию к усечению с помощью многоточия, из-за чего вы щелкаете, чтобы увидеть полное имя, и тем самым замедляет прокрутку.Мы могли бы назвать это изображение Seattle_20170426_Puppy или Sea_20170426_Puppy .

Соглашения об именах для версий и размеров

Если вы создаете изображения, которым может потребоваться несколько разных размеров или которые могут потребоваться изменения после получения отзывов от клиентов или коллег, вы, вероятно, захотите отметить эту информацию в заголовке.

Версии обычно обозначаются буквой V и числом. Эта информация идет после дескриптора изображения или проекта и символа подчеркивания.Кроме того, информация о дате может быть, а может и не быть такой же важной, поэтому не стесняйтесь опускать ее или отмечать только год, если она вам не поможет.

Например, когда творческая группа PicMonkey работает над изображениями для содержания нашего блога, дизайнеры обычно называют свои изображения [идентификатор сообщения в блоге] _ [идентификатор изображения] _V [номер версии] . Итак, Organize_Puppy_V2 будет второй версией изображения щенка для этой статьи. Когда изображение проверено и завершено, вы можете указать «Final» или «F» вместо номера версии.Некоторые дизайнеры PicMonkey предпочитают исключить номер версии и поместить окончательное изображение в папку с надписью «Final» или «Deliverables».

Если вы хотите сохранить исходное изображение (предварительно отредактированное), добавление слова «Оригинал» (или, лично любимого автора, «OG») в месте номера версии поможет вам вспомнить, что это такое.

Чтобы отметить разные размеры одного и того же изображения, чаще всего используется соглашение [размер] и пиксели для «пикселей». Как и номер версии, эта информация обычно указывается в конце имени файла.Например, 600-пиксельная версия нашего изображения щенка может называться Organize_Puppy_600px .

Если это место, которое вы редактируете, а не определенное количество пикселей, вы тоже можете это отметить. В PicMonkey мы хотим, чтобы каждое из наших сообщений в блоге выглядело потрясающе, когда ссылка публикуется в социальных сетях, поэтому мы создаем оптимизированные изображения функций для Facebook, Twitter и т. Д. Они используют соглашение об именах [идентификатор сообщения в блоге — аббревиатура в социальной сети] . Итак, для этого поста изображения, оптимизированные для Facebook и Twitter, называются Organize_FB и Organize_TWEET .

4. Создайте файловую систему и переместите свои изображения

Мы неправильно процитируем здесь принцип KISS: держите [свою файловую систему] простыми, умные штаны! Вспомните те конечные цели, о которых вы думали на первом этапе, и начните группировать свои изображения. Не поддавайтесь искушению создать непередаваемый лабиринт из папок и подпапок или миллион папок — сложно что-то найти, когда есть 17 вариантов того, где это могло бы быть. Разрабатывая файловую систему, спросите себя: «А что может быть проще?»

Если вы хотите сохранить активы бренда, такие как версии вашего логотипа, цветовую палитру и т. Д.в целом одна папка под названием «Активы бренда» подойдет. Фото из отпуска? Используйте местоположение, год и месяц. Названия клиентов или проектов, а также названия маркетинговых кампаний в сочетании с датами также делают отличные названия папок или папок.

Такие имена, как «Для редактирования», «Ожидает утверждения» и «Завершено», могут помочь вам оставаться организованным и наладить рабочий процесс. Если это то, что вам нужно, подумайте о различных этапах, через которые проходят ваши изображения, и о том, что для вас имеет смысл. Затем обязательно переместите файлы через каждую часть процесса.

После того, как ваша система настроена, переместите ваши фотографии в соответствующее место. То, как вы это сделаете, будет зависеть от используемой вами системы, но обычно вы можете выбрать несколько файлов на своем компьютере, удерживая клавишу Command или Shift . Некоторые программы позволяют добавлять теги к изображениям при их импорте.

5. Запишите свою систему и соглашения об именах

Ваша организационная система работает только в том случае, если вы ее придерживаетесь. Обратите внимание на предпочитаемое вами соглашение об именах и, при необходимости, файловую систему, это поможет вам быстро вспомнить его позже.Это означает, что у вас будет меньше соблазна ввести случайное имя файла и прикрепить фотографию в том месте, где вы никогда не сможете ее найти.

Присвоение имен и сохранение изображений сразу после их загрузки или редактирования — самый простой способ сохранить порядок. Если это не ваша чашка Эрла Грея, попробуйте создать папку или папку под названием «Чтобы организовать» и установите время, чтобы вернуться к ней.

Три способа хранения и доступа к большому количеству изображений в Python — Real Python

Почему вы хотите узнать больше о различных способах хранения изображений и доступа к ним в Python? Если вы сегментируете несколько изображений по цвету или определяете лица одно за другим с помощью OpenCV, вам не о чем беспокоиться.Даже если вы используете Python Imaging Library (PIL) для рисования на нескольких сотнях фотографий, вам все равно это не нужно. Хранение изображений на диске в виде файлов .png или .jpg является одновременно подходящим и целесообразным.

Однако все больше и больше количество изображений, необходимых для данной задачи, становится все больше и больше. Такие алгоритмы, как сверточные нейронные сети, также известные как свёрточные сети или CNN, могут обрабатывать огромные наборы данных изображений и даже учиться на них. Если вам интересно, вы можете узнать больше о том, как использовать свертки для ранжирования селфи или анализа настроений.

ImageNet — это широко известная общедоступная база данных изображений, созданная для обучения моделей таким задачам, как классификация, обнаружение и сегментация объектов, и она состоит из более 14 миллионов изображений.

Подумайте, сколько времени потребуется, чтобы загрузить их все в память для обучения партиями, возможно, сотни или тысячи раз. Продолжайте читать, и вы убедитесь, что это займет довольно много времени — по крайней мере, достаточно, чтобы оставить свой компьютер и заняться многими другими делами, пока вы хотите, чтобы вы работали в Google или NVIDIA.

В этом руководстве вы узнаете о:

• Сохранение изображений на диске в виде файлов .png файлов
• Хранение изображений в базах данных с отображением в память Lightning (LMDB)
• Хранение изображений в иерархическом формате данных (HDF5)

Вы также изучите следующее:

• Почему стоит рассмотреть альтернативные методы хранения
• Каковы различия в производительности при чтении и записи отдельных изображений
• Каковы различия в производительности при чтении и записи многих изображений
• Сравнение трех методов с точки зрения использования диска

Если ни один из методов хранения не зазвенел, не волнуйтесь: для этой статьи все, что вам нужно, — это достаточно прочная основа на Python и базовое понимание изображений (что они действительно состоят из многомерных массивов чисел). ) и относительной памяти, например, разница между 10 МБ и 10 ГБ.

Приступим!

Настройка

Вам понадобится набор данных изображений для экспериментов, а также несколько пакетов Python.

Набор данных для игры с

Мы будем использовать набор данных изображений Канадского института перспективных исследований, более известный как CIFAR-10, который состоит из 60 000 цветных изображений 32×32 пикселя, принадлежащих различным классам объектов, таким как собаки, кошки и самолеты. Относительно, CIFAR не очень большой набор данных, но если бы мы использовали полный набор данных TinyImages, вам потребовалось бы около 400 ГБ свободного дискового пространства, что, вероятно, было бы ограничивающим фактором.

Кредиты для набора данных, описанного в главе 3 этого технического отчета, принадлежат Алексу Крижевски, Виноду Наиру и Джеффри Хинтону.

Если вы хотите следовать примерам кода в этой статье, вы можете скачать CIFAR-10 здесь, выбрав версию Python. Вы пожертвуете 163 МБ дискового пространства:

Изображение: А. Крижевский

Когда вы загрузите и разархивируете папку, вы обнаружите, что файлы не являются удобочитаемыми файлами изображений. Фактически они были сериализованы и сохранены партиями с помощью cPickle.

Хотя мы не будем рассматривать pickle или cPickle в этой статье, кроме извлечения набора данных CIFAR, стоит упомянуть, что модуль Python pickle имеет ключевое преимущество, заключающееся в возможности сериализации любого объекта Python без какого-либо дополнительный код или преобразование с вашей стороны. У него также есть потенциально серьезный недостаток, заключающийся в том, что он создает угрозу безопасности и плохо справляется с очень большими объемами данных.

Следующий код распаковывает каждый из пяти пакетных файлов и загружает все изображения в массив NumPy:

  импортировать numpy как np
импортный рассол
from pathlib import Path

# Путь к разархивированным данным CIFAR
data_dir = Путь ("данные / cifar-10-batches-py /")

# Функция Unpickle, предоставляемая хостами CIFAR
def unpickle (файл):
    с open (file, "rb") как fo:
        dict = рассол.load (fo, encoding = "байты")
    ответный диктат

изображения, метки = [], []
для пакета в data_dir.glob ("data_batch_ *"):
    batch_data = unpickle (партия)
    для i, flat_im в перечислении (batch_data [b "data"]):
        im_channels = []
        # Каждое изображение сглаживается, с каналами в порядке R, G, B
        для j в диапазоне (3):
            im_channels.append (
                flat_im [j * 1024: (j + 1) * 1024] .reshape ((32, 32))
            )
        # Восстановить исходное изображение
        images.append (np.dstack ((im_channels)))
        # Сохраняем этикетку
        label.append (batch_data [b "ярлыки"] [i])

print ("Загруженный обучающий набор CIFAR-10:")
print (f "- np.shape (изображения) {np.shape (изображения)}")
print (f "- np.shape (ярлыки) {np.shape (ярлыки)}")
  

Все изображения теперь находятся в ОЗУ в переменной images , с соответствующими метаданными в метках , и вы можете ими управлять. Затем вы можете установить пакеты Python, которые вы будете использовать для трех методов.

Настройка хранения изображений на диске

Вам необходимо настроить в своей среде метод сохранения и доступа к этим изображениям с диска по умолчанию. В этой статье предполагается, что в вашей системе установлен Python 3.x, и вы будете использовать Pillow для обработки изображений:

В качестве альтернативы, если хотите, вы можете установить его с помощью Anaconda:

  $ conda install -c conda-forge подушка
  

Примечание. PIL — это исходная версия библиотеки изображений Python, которая больше не поддерживается и несовместима с Python 3.Икс. Если вы ранее установили PIL , обязательно удалите его перед установкой Pillow , поскольку они не могут существовать вместе.

Теперь вы готовы к хранению и чтению изображений с диска.

Начало работы с LMDB

LMDB, иногда называемая «базой данных Lightning», расшифровывается как Lightning Memory-Mapped Database, потому что она быстрая и использует файлы, отображенные в памяти. Это хранилище ключей и значений, а не реляционная база данных.

С точки зрения реализации, LMDB представляет собой дерево B +, что в основном означает, что это древовидная структура графа, хранящаяся в памяти, где каждый элемент значения ключа является узлом, а узлы могут иметь много дочерних элементов.Узлы на одном уровне связаны друг с другом для быстрого обхода.

Критически важно, чтобы ключевые компоненты дерева B + соответствовали размеру страницы операционной системы хоста, обеспечивая максимальную эффективность при доступе к любой паре «ключ-значение» в базе данных. Поскольку высокая производительность LMDB в значительной степени зависит от этой конкретной точки, было показано, что эффективность LMDB зависит от базовой файловой системы и ее реализации.

Другой ключевой причиной эффективности LMDB является то, что он отображен в память.Это означает, что он возвращает прямые указатели на адреса в памяти как ключей, так и значений , без необходимости копировать что-либо в память, как это делают большинство других баз данных.

Те, кто хочет немного углубиться в детали внутренней реализации деревьев B +, могут прочитать эту статью о деревьях B +, а затем поиграть с этой визуализацией вставки узла.

Если B + деревья вас не интересуют, не волнуйтесь. Вам не нужно много знать об их внутренней реализации, чтобы использовать LMDB.Мы будем использовать привязку Python для библиотеки LMDB C, которую можно установить через pip:

У вас также есть возможность установки через Anaconda:

  $ conda install -c conda-forge python-lmdb
  

Убедитесь, что вы можете импортировать lmdb из оболочки Python, и все готово.

Начало работы с HDF5

HDF5 означает формат иерархических данных, формат файла, называемый HDF4 или HDF5. Нам не нужно беспокоиться о HDF4, поскольку HDF5 — это текущая поддерживаемая версия.

Интересно, что HDF возникла в Национальном центре суперкомпьютерных приложений как портативный компактный формат научных данных. Если вам интересно, широко ли он используется, ознакомьтесь с рекламной аннотацией NASA о HDF5 из их проекта Earth Data.

HDF-файлы состоят из двух типов объектов:

1. Наборы данных
2. Группы

Наборы данных — это многомерные массивы, а группы состоят из наборов данных или других групп. Многомерные массивы любого размера и типа могут храниться как набор данных, но размеры и тип должны быть единообразными в пределах набора данных.Каждый набор данных должен содержать однородный N-мерный массив. Тем не менее, поскольку группы и наборы данных могут быть вложенными, вы все равно можете получить необходимую неоднородность:

Как и другие библиотеки, вы можете поочередно установить через Anaconda:

  $ conda install -c conda-forge h5py
  

Если вы можете импортировать h5py из оболочки Python, все настроено правильно.

Сохранение одного изображения

Теперь, когда у вас есть общий обзор методов, давайте сразу перейдем к количественному сравнению основных задач, которые нас волнуют: сколько времени занимает чтение и запись файлов и сколько дисковой памяти будет использоваться. Это также послужит базовым введением в то, как работают методы, с примерами кода их использования.

Когда я говорю о «файлах», я обычно имею в виду их множество. Однако важно проводить различие, поскольку некоторые методы могут быть оптимизированы для разных операций и количества файлов.

В целях экспериментов, мы можем сравнить производительность между различными количествами файлов, в 10 раз от одного изображения до 100 000 изображений. Поскольку наши пять пакетов CIFAR-10 добавляют до 50 000 изображений, мы можем использовать каждое изображение дважды, чтобы получить 100 000 изображений.

Чтобы подготовиться к экспериментам, вам нужно создать папку для каждого метода, которая будет содержать все файлы базы данных или изображения, и сохранить пути к этим каталогам в переменных:

  из пути импорта pathlib

disk_dir = Путь ("данные / диск /")
lmdb_dir = Путь ("данные / lmdb /")
hdf5_dir = Путь ("данные / hdf5 /")
  

Путь не создает автоматически папки для вас, если вы специально не попросите его:

  disk_dir.mkdir (родители = True, exist_ok = True)
lmdb_dir.mkdir (родители = True, exist_ok = True)
hdf5_dir.mkdir (родители = True, exist_ok = True)
  

Теперь вы можете перейти к проведению реальных экспериментов с примерами кода, показывающими, как выполнять основные задачи с помощью трех различных методов. Мы можем использовать модуль timeit , который включен в стандартную библиотеку Python, чтобы помочь рассчитать время экспериментов.

Хотя основная цель этой статьи не состоит в изучении API различных пакетов Python, полезно иметь представление о том, как они могут быть реализованы.Мы рассмотрим общие принципы вместе со всем кодом, используемым для проведения экспериментов по хранению.

Сохранение на диск

Нашими входными данными для этого эксперимента является одно изображение изображение , которое в настоящее время находится в памяти как массив NumPy. Вы хотите сначала сохранить его на диск как изображение .png и назвать его, используя уникальный идентификатор изображения image_id . Это можно сделать с помощью пакета Pillow , который вы установили ранее:

  из изображения импорта PIL
импорт csv

def store_single_disk (изображение, image_id, метка):
    "" "Сохраняет одно изображение в виде файла.png на диске.
        Параметры:
        ---------------
        изображение массив изображений, (32, 32, 3) для хранения
        image_id целочисленный уникальный идентификатор изображения
        этикетка изображение этикетка
    "" "
    Image.fromarray (изображение) .save (каталог_диска / f "{image_id} .png")

    с открытым (disk_dir / f "{image_id} .csv", "wt") как csvfile:
        писатель = csv.writer (
            csvfile, delimiter = "", quotechar = "|", цитата = csv.QUOTE_MINIMAL
        )
        Writer.writerow ([ярлык])
  

Это сохраняет изображение.Во всех реалистичных приложениях вы также заботитесь о метаданных, прикрепленных к изображению, которые в нашем примере набора данных являются меткой изображения. Когда вы сохраняете изображения на диск, есть несколько вариантов сохранения метаданных.

Одно из решений — закодировать метки в имени изображения. Это имеет то преимущество, что не требует дополнительных файлов.

Однако у него также есть большой недостаток: он заставляет вас иметь дело со всеми файлами всякий раз, когда вы делаете что-либо с ярлыками. Хранение этикеток в отдельном файле позволяет вам поиграть только с этикетками, не загружая изображения.Выше я сохранил метки в отдельных файлах .csv для этого эксперимента.

Теперь перейдем к выполнению той же задачи с LMDB.

Сохранение в LMDB

Во-первых, LMDB — это система хранения значений ключей, в которой каждая запись сохраняется в виде массива байтов, поэтому в нашем случае ключи будут уникальным идентификатором для каждого изображения, а значением будет само изображение. Предполагается, что как ключи, так и значения будут строками , поэтому обычно используется сериализация значения в виде строки, а затем десериализация при чтении обратно.

Вы можете использовать pickle для сериализации. Любой объект Python может быть сериализован, поэтому вы также можете включить метаданные изображения в базу данных. Это избавляет вас от необходимости прикреплять метаданные обратно к данным изображения, когда мы загружаем набор данных с диска.

Вы можете создать базовый класс Python для изображения и его метаданных:

  класс CIFAR_Image:
    def __init __ (я, изображение, метка):
        # Размеры изображения для реконструкции - не обязательно
        # для этого набора данных, но некоторые наборы данных могут включать изображения
        # различных размеров
        себя.каналы = image.shape [2]
        self.size = image.shape [: 2]

        self.image = image.tobytes ()
        self.label = label

    def get_image (сам):
        "" "Возвращает изображение в виде массива numpy." ""
        изображение = np.frombuffer (self.image, dtype = np.uint8)
        вернуть image.reshape (* self.size, self.channels)
  

Во-вторых, поскольку LMDB отображается в памяти, новые базы данных должны знать, сколько памяти они должны использовать. В нашем случае это относительно просто, но в других случаях это может стать серьезной проблемой, о чем вы подробнее узнаете в следующем разделе.LMDB называет эту переменную map_size .

Наконец, операции чтения и записи с LMDB выполняются в транзакциях . Вы можете думать о них, как о традиционных базах данных, состоящих из группы операций с базой данных. Это может показаться уже значительно более сложным, чем версия на диске, но подождите и продолжайте читать!

Помня об этих трех моментах, давайте посмотрим на код для сохранения одного изображения в LMDB:

  импорт lmdb
импортный рассол

def store_single_lmdb (изображение, image_id, метка):
    "" "Сохраняет одно изображение в LMDB.Параметры:
        ---------------
        изображение массив изображений, (32, 32, 3) для хранения
        image_id целочисленный уникальный идентификатор изображения
        этикетка изображение этикетка
    "" "
    map_size = image.nbytes * 10

    # Создать новую среду LMDB
    env = lmdb.open (str (lmdb_dir / f "single_lmdb"), map_size = map_size)

    # Начать новую транзакцию записи
    с env.begin (write = True) как txn:
        # Все пары ключ-значение должны быть строками
        значение = CIFAR_Image (изображение, метка)
        key = f "{image_id: 08}"
        txn.put (key.encode ("ascii"), pickle.dumps (значение))
    env.close ()
  

Примечание. Рекомендуется рассчитать точное количество байтов, которое займет каждая пара «ключ-значение».

Для набора данных изображений разного размера это будет приблизительное значение, но вы можете использовать sys.getsizeof () , чтобы получить разумное приближение. Имейте в виду, что sys.getsizeof (CIFAR_Image) вернет только размер определения класса, который равен 1056, , а не размеру созданного объекта.

Функция также не сможет полностью вычислить вложенные элементы, списки или объекты, содержащие ссылки на другие объекты.

В качестве альтернативы вы можете использовать pympler , чтобы сэкономить некоторые вычисления, определяя точный размер объекта.

Теперь вы готовы сохранить образ в LMDB. Наконец, давайте посмотрим на последний метод, HDF5.

Хранение с HDF5

Помните, что файл HDF5 может содержать более одного набора данных. В этом довольно тривиальном случае вы можете создать два набора данных, один для изображения и один для его метаданных:

  импорт h5py

def store_single_hdf5 (изображение, image_id, метка):
    "" "Сохраняет одно изображение в файл HDF5.Параметры:
        ---------------
        изображение массив изображений, (32, 32, 3) для хранения
        image_id целочисленный уникальный идентификатор изображения
        этикетка изображение этикетка
    "" "
    # Создайте новый файл HDF5
    file = h5py.File (hdf5_dir / f "{image_id} .h5", "w")

    # Создаем набор данных в файле
    набор данных = файл.create_dataset (
        "изображение", np.shape (изображение), h5py.h5t.STD_U8BE, data = image
    )
    meta_set = file.create_dataset (
        «мета», np.shape (метка), h5py.h5t.STD_U8BE, data = label
    )
    файл.близко()
  

h5py.h5t.STD_U8BE указывает тип данных, которые будут храниться в наборе данных, который в данном случае представляет собой 8-разрядные целые числа без знака. Вы можете увидеть полный список предопределенных типов данных HDF здесь.

Примечание: Выбор типа данных сильно повлияет на время выполнения и требования к хранилищу HDF5, поэтому лучше выбрать минимальные требования.

Теперь, когда мы рассмотрели три метода сохранения одного изображения, перейдем к следующему шагу.

Эксперименты по хранению одного изображения

Теперь вы можете поместить все три функции для сохранения одного изображения в словарь, который можно будет вызвать позже во время экспериментов по времени:

  _store_single_funcs = dict (
    disk = store_single_disk, lmdb = store_single_lmdb, hdf5 = store_single_hdf5
)
  

Наконец, все готово для проведения эксперимента по времени. Давайте попробуем сохранить первое изображение из CIFAR и соответствующую ему этикетку и сохранить его тремя разными способами:

  из timeit import timeit

store_single_timings = dict ()

для метода в ("disk", "lmdb", "hdf5"):
    t = времяit (
        "_store_single_funcs [метод] (изображение, 0, метка)",
        setup = "image = images [0]; label = label [0]",
        число = 1,
        globals = globals (),
    )
    store_single_timings [метод] = t
    print (f "Метод: {метод}, Использование времени: {t}")
  

Примечание: Пока вы играете с LMDB, вы можете увидеть ошибку MapFullError: mdb_txn_commit: MDB_MAP_FULL: Максимальный размер карты среды достиг .Важно отметить, что LMDB не , а перезаписывает уже существующие значения, даже если у них одинаковый ключ.

Это способствует быстрому времени записи, но также означает, что если вы сохраните изображение более одного раза в одном файле LMDB, то вы израсходуете размер карты. Если вы запускаете функцию сохранения, обязательно сначала удалите все существующие файлы LMDB.

Помните, что нас интересует время выполнения, отображаемое здесь в секундах, а также использование памяти:

Здесь можно сделать два вывода:

1. Все методы тривиально быстрые.
2. Что касается использования диска, LMDB использует больше.

Очевидно, несмотря на то, что LMDB имеет небольшое преимущество в производительности, мы не убедили никого, почему бы просто не хранить изображения на диске. В конце концов, это удобочитаемый формат, и вы можете открывать и просматривать их в любом браузере файловой системы! Что ж, пора взглянуть на другие изображения…

Хранение большого количества изображений

Вы видели код для использования различных методов хранения для сохранения одного изображения, поэтому теперь нам нужно настроить код, чтобы сохранить много изображений, а затем запустить эксперимент с заданным временем.

Настройка кода для множества изображений

Сохранение нескольких изображений в виде файлов .png так же просто, как многократный вызов store_single_method () . Но это неверно для LMDB или HDF5, поскольку вам не нужен отдельный файл базы данных для каждого изображения. Скорее вы хотите поместить все изображения в один или несколько файлов.

Вам нужно будет немного изменить код и создать три новые функции, которые принимают несколько изображений: store_many_disk () , store_many_lmdb () и store_many_hdf5 :

  store_many_disk (изображения, ярлыки):
    "" "Сохраняет массив изображений на диск
        Параметры:
        ---------------
        изображения массив изображений, (N, 32, 32, 3) для сохранения
        метки метки массив, (N, 1) для сохранения
    "" "
    num_images = len (изображения)

    # Сохраняем все изображения по одному
    для i, изображение в перечислении (изображения):
        Изображение.fromarray (изображение) .save (каталог_диска / f "{i} .png")

    # Сохраняем все метки в файл csv
    с открытым (disk_dir / f "{num_images} .csv", "w") как csvfile:
        писатель = csv.writer (
            csvfile, delimiter = "", quotechar = "|", цитата = csv.QUOTE_MINIMAL
        )
        для метки в этикетках:
            # Обычно это больше, чем одно значение в строке
            Writer.writerow ([ярлык])

def store_many_lmdb (изображения, ярлыки):
    "" "Сохраняет массив изображений в LMDB.
        Параметры:
        ---------------
        изображения массив изображений, (N, 32, 32, 3) для сохранения
        метки метки массив, (N, 1) для сохранения
    "" "
    num_images = len (изображения)

    map_size = num_images * изображения [0].нбайт * 10

    # Создайте новую БД LMDB для всех изображений
    env = lmdb.open (str (lmdb_dir / f "{num_images} _lmdb"), map_size = map_size)

    # То же, что и раньше, но давайте запишем все изображения за одну транзакцию
    с env.begin (write = True) как txn:
        для i в диапазоне (num_images):
            # Все пары ключ-значение должны быть строками
            значение = CIFAR_Image (изображения [i], ярлыки [i])
            key = f "{i: 08}"
            txn.put (key.encode ("ascii"), pickle.dumps (значение))
    env.close ()

def store_many_hdf5 (изображения, ярлыки):
    "" "Сохраняет массив изображений в HDF5.Параметры:
        ---------------
        изображения массив изображений, (N, 32, 32, 3) для сохранения
        метки метки массив, (N, 1) для сохранения
    "" "
    num_images = len (изображения)

    # Создайте новый файл HDF5
    file = h5py.File (hdf5_dir / f "{num_images} _many.h5", "w")

    # Создаем набор данных в файле
    набор данных = файл.create_dataset (
        "изображения", np.shape (изображения), h5py.h5t.STD_U8BE, данные = изображения
    )
    meta_set = file.create_dataset (
        "мета", np.shape (метки), h5py.h5t.STD_U8BE, data = label
    )
    file.close ()
  

Чтобы вы могли хранить более одного файла на диске, метод файлов изображений был изменен, чтобы перебирать каждое изображение в списке. Для LMDB цикл также необходим, поскольку мы создаем объект CIFAR_Image для каждого изображения и его метаданных.

Наименьшая корректировка выполняется методом HDF5. На самом деле, корректировки практически нет! Файлы HFD5 не имеют ограничений на размер файла, кроме внешних ограничений или размера набора данных, поэтому все изображения были помещены в один набор данных, как и раньше.

Затем вам нужно будет подготовить набор данных для экспериментов, увеличив его размер.

Подготовка набора данных

Перед повторным запуском экспериментов давайте сначала удвоим размер набора данных, чтобы мы могли протестировать до 100 000 изображений:

  отсечки = [10, 100, 1000, 10000, 100000]

# Давайте удвоим наши изображения, чтобы у нас было 100000
images = np.concatenate ((изображения, изображения), ось = 0)
метки = np.concatenate ((метки, метки), ось = 0)

# Убедитесь, что у вас действительно есть 100 000 изображений и этикеток.
печать (нп.форма (изображения))
печать (np.shape (этикетки))
  

Теперь, когда изображений достаточно, пришло время для эксперимента.

Эксперимент по хранению большого количества изображений

Как и при чтении многих изображений, вы можете создать словарь, обрабатывающий все функции, с помощью store_many_ и запустить эксперименты:

  _store_many_funcs = dict (
    disk = store_many_disk, lmdb = store_many_lmdb, hdf5 = store_many_hdf5
)

from timeit импорт timeit

store_many_timings = {"диск": [], "lmdb": [], "hdf5": []}

для отсечки в отсеках:
    для метода в ("disk", "lmdb", "hdf5"):
        t = времяit (
            "_store_many_funcs [метод] (изображения_, метки_)",
            setup = "images_ = images [: cutoff]; labels_ = label [: cutoff]",
            число = 1,
            globals = globals (),
        )
        store_many_timings [метод].добавить (т)

        # Распечатать метод, время отсечки и прошедшее время
        print (f "Метод: {метод}, Использование времени: {t}")
  

Если вы следуете и запускаете код самостоятельно, вам нужно немного расслабиться в ожидании и подождать, пока 111 110 изображений будут сохранены на вашем диске трижды каждое в трех разных форматах. Вам также придется попрощаться с примерно 2 ГБ дискового пространства.

А теперь момент истины! Как долго все это сохранялось? Картинка стоит тысячи слов:

Первый график показывает нормальное, нескорректированное время хранения, подчеркивая резкую разницу между хранением на .png и файлы LMDB или HDF5.

Второй график показывает log таймингов, подчеркивая, что HDF5 запускается медленнее, чем LMDB, но с большим количеством изображений выходит немного впереди.

Хотя точные результаты могут отличаться в зависимости от вашей машины, именно поэтому стоит подумать о LMDB и HDF5. Вот код, который сгенерировал приведенный выше график:

  импортировать matplotlib.pyplot как plt

def plot_with_legend (
    x_range, y_data, legend_labels, x_label, y_label, title, log = False
):
    "" "Отображает один график с несколькими наборами данных и соответствующими легендами.Параметры:
        --------------
        x_range список списков, содержащих x данные
        y_data список списков, содержащих значения y
        legend_labels список меток легенды строк
        x_label метка оси x
        y_label метка оси y
    "" "
    plt.style.use ("seaborn-whitegrid")
    plt.figure (figsize = (10, 7))

    если len (y_data)! = len (legend_labels):
        поднять TypeError (
            «Ошибка: количество наборов данных не соответствует количеству этикеток."
        )

    all_plots = []
    для данных метка в zip (y_data, legend_labels):
        если журнал:
            temp, = plt.loglog (x_range, data, label = label)
        еще:
            temp, = plt.plot (x_range, data, label = label)
        all_plots.append (временный)

    plt.title (заголовок)
    plt.xlabel (x_label)
    plt.ylabel (y_label)
    plt.legend (handles = all_plots)
    plt.show ()

# Получение данных о времени магазина для отображения
disk_x = store_many_timings ["диск"]
lmdb_x = store_many_timings ["lmdb"]
hdf5_x = store_many_timings ["hdf5"]

plot_with_legend (
    отсечки
    [disk_x, lmdb_x, hdf5_x],
    ["PNG-файлы", "LMDB", "HDF5"],
    «Количество изображений»,
    "Секунды для хранения",
    «Срок хранения»,
    журнал = Ложь,
)

plot_with_legend (
    отсечки
    [disk_x, lmdb_x, hdf5_x],
    ["PNG-файлы", "LMDB", "HDF5"],
    «Количество изображений»,
    "Секунды для хранения",
    "Срок хранения журнала",
    log = True,
)
  

А теперь перейдем к повторному чтению изображений.

Чтение одного изображения

Во-первых, давайте рассмотрим случай чтения одного изображения обратно в массив для каждого из трех методов.

Чтение с диска

Из трех методов LMDB требует больше всего усилий при чтении файлов изображений из памяти из-за этапа сериализации. Давайте рассмотрим эти функции, которые считывают одно изображение для каждого из трех форматов хранения.

Сначала прочтите отдельное изображение и его мета из .png и файл .csv :

  def read_single_disk (image_id):
    "" "Сохраняет один образ на диск.
        Параметры:
        ---------------
        image_id целочисленный уникальный идентификатор изображения

        Возврат:
        ----------
        изображение массив изображений, (32, 32, 3) для хранения
        ярлык связанных метаданных, int label
    "" "
    image = np.array (Image.open (disk_dir / f "{image_id} .png"))

    с открытым (disk_dir / f "{image_id} .csv", "r") как csvfile:
        читатель = csv.читатель (
            csvfile, delimiter = "", quotechar = "|", цитата = csv.QUOTE_MINIMAL
        )
        label = int (следующий (читатель) [0])

    возврат изображения, метка
  

Чтение из LMDB

Затем прочтите то же изображение и мета из LMDB, открыв среду и запустив транзакцию чтения:

  1def read_single_lmdb (image_id):
 2 "" "Сохраняет одно изображение в LMDB.
 3 параметра:
 4 ---------------
 5 image_id integer уникальный идентификатор изображения
 6
 7 возвратов:
 8 ----------
 9 изображений массива изображений, (32, 32, 3) для сохранения
10 метаданных связанных метаданных, int label
11 "" "
12 # Откройте среду LMDB
13 env = lmdb.open (str (lmdb_dir / f "single_lmdb"), readonly = True)
14
15 # Начать новую транзакцию чтения
16 с env.begin () как txn:
17 # Кодируйте ключ так же, как мы его сохранили
18 data = txn.get (f "{image_id: 08}". Encode ("ascii"))
19 # Помните, что загружается объект CIFAR_Image
20 cifar_image = pickle.loads (данные)
21 # Получить соответствующие биты
22 изображение = cifar_image.get_image ()
23 label = cifar_image.label
24 env.close ()
25
26 возвращаемое изображение, этикетка
  

Вот пара моментов, которые следует избегать в приведенном выше фрагменте кода:

• Строка 13: Флаг readonly = True указывает, что запись в файл LMDB не будет разрешена до завершения транзакции.На жаргоне базы данных это эквивалентно блокировке чтения.
• Строка 20: Чтобы получить объект CIFAR_Image, вам нужно отменить шаги, которые мы предприняли, чтобы обработать его, когда писали его. Здесь может помочь get_image () объекта.

На этом завершается чтение образа из LMDB. Наконец, вы захотите сделать то же самое с HDF5.

Чтение из HDF5

Чтение из HDF5 очень похоже на процесс записи.Вот код для открытия и чтения файла HDF5 и анализа того же изображения и метаданных:

  def read_single_hdf5 (image_id):
    "" "Сохраняет одно изображение в HDF5.
        Параметры:
        ---------------
        image_id целочисленный уникальный идентификатор изображения

        Возврат:
        ----------
        изображение массив изображений, (32, 32, 3) для хранения
        ярлык связанных метаданных, int label
    "" "
    # Откройте файл HDF5
    file = h5py.File (hdf5_dir / f "{image_id} .h5", "r +")

    изображение = np.массив (файл ["/ изображение"]). astype ("uint8")
    label = int (np.array (файл ["/ meta"]). astype ("uint8"))

    возврат изображения, метка
  

Обратите внимание, что доступ к различным наборам данных в файле осуществляется путем индексации объекта файла с использованием имени набора данных, которому предшествует косая черта /. Как и раньше, вы можете создать словарь, содержащий все функции чтения:

  _read_single_funcs = dict (
    disk = read_single_disk, lmdb = read_single_lmdb, hdf5 = read_single_hdf5
)
  

Подготовив этот словарь, вы готовы к проведению эксперимента.

Эксперимент по чтению одиночного изображения

Вы можете ожидать, что эксперимент по чтению одного изображения даст несколько тривиальные результаты, но вот код эксперимента:

  из timeit import timeit

read_single_timings = dict ()

для метода в ("disk", "lmdb", "hdf5"):
    t = времяit (
        "_read_single_funcs [метод] (0)",
        setup = "image = images [0]; label = label [0]",
        число = 1,
        globals = globals (),
    )
    read_single_timings [метод] = t
    print (f "Метод: {метод}, Использование времени: {t}")
  

Вот результаты эксперимента по чтению одиночного изображения:

Немного быстрее читать файлы .png и .csv непосредственно с диска, но все три метода работают тривиально быстро. Следующие эксперименты намного интереснее.

Чтение множества изображений

Теперь вы можете настроить код для одновременного чтения нескольких изображений. Скорее всего, это действие, которое вы будете выполнять чаще всего, поэтому производительность во время выполнения имеет важное значение.

Настройка кода для множества изображений

Расширяя вышеперечисленные функции, вы можете создавать функции с read_many_ , которые можно использовать для следующих экспериментов. Как и раньше, интересно сравнить производительность при чтении разного количества изображений, которые повторяются в приведенном ниже коде для справки:

  def read_many_disk (num_images):
    "" "Читает изображение с диска.
        Параметры:
        ---------------
        num_images количество изображений для чтения

        Возврат:
        ----------
        изображения массив изображений, (N, 32, 32, 3) для сохранения
        обозначает связанные метаданные, int label (N, 1)
    "" "
    изображения, метки = [], []

    # Перебрать все идентификаторы и прочитать каждое изображение одно за другим
    для image_id в диапазоне (num_images):
        изображений.append (np.array (Image.open (disk_dir / f "{image_id} .png")))

    с открытым (disk_dir / f "{num_images} .csv", "r") как csvfile:
        reader = csv.reader (
            csvfile, delimiter = "", quotechar = "|", цитата = csv.QUOTE_MINIMAL
        )
        для строки в читателе:
            label.append (int (строка [0]))
    вернуть изображения, ярлыки

def read_many_lmdb (num_images):
    "" "Читает изображение из LMDB.
        Параметры:
        ---------------
        num_images количество изображений для чтения

        Возврат:
        ----------
        изображения массив изображений, (N, 32, 32, 3) для сохранения
        обозначает связанные метаданные, int label (N, 1)
    "" "
    изображения, метки = [], []
    env = lmdb.открыть (str (lmdb_dir / f "{num_images} _lmdb"), readonly = True)

    # Начать новую транзакцию чтения
    с env.begin () как txn:
        # Прочитать все изображения за одну транзакцию с одной блокировкой
        # При необходимости мы можем разделить это на несколько транзакций
        для image_id в диапазоне (num_images):
            data = txn.get (f "{image_id: 08}". encode ("ascii"))
            # Помните, что это объект CIFAR_Image
            # который сохраняется как значение
            cifar_image = pickle.loads (данные)
            # Получить соответствующие биты
            изображений.добавить (cifar_image.get_image ())
            label.append (cifar_image.label)
    env.close ()
    вернуть изображения, ярлыки

def read_many_hdf5 (num_images):
    "" "Считывает изображение из HDF5.
        Параметры:
        ---------------
        num_images количество изображений для чтения

        Возврат:
        ----------
        изображения массив изображений, (N, 32, 32, 3) для сохранения
        обозначает связанные метаданные, int label (N, 1)
    "" "
    изображения, метки = [], []

    # Откройте файл HDF5
    файл = h5py.Файл (hdf5_dir / f "{num_images} _many.h5", "r +")

    images = np.array (файл ["/ images"]). astype ("uint8")
    label = np.array (файл ["/ meta"]). astype ("uint8")

    вернуть изображения, ярлыки

_read_many_funcs = dict (
    disk = read_many_disk, lmdb = read_many_lmdb, hdf5 = read_many_hdf5
)
  

С функциями чтения, хранящимися в словаре, как и с функциями записи, вы готовы к эксперименту.

Эксперимент по чтению большого количества изображений

Теперь вы можете запустить эксперимент для считывания большого количества изображений:

  из timeit import timeit

read_many_timings = {"диск": [], "lmdb": [], "hdf5": []}

для отсечки в отсеках:
    для метода в ("disk", "lmdb", "hdf5"):
        t = времяit (
            "_read_many_funcs [метод] (num_images)",
            setup = "num_images = cutoff",
            число = 1,
            globals = globals (),
        )
        read_many_timings [метод].добавить (т)

        # Распечатать метод, время отсечки и прошедшее время
        print (f "Метод: {method}, Кол-во изображений: {cutoff}, Использование времени: {t}")
  

Как и раньше, вы можете построить график результатов эксперимента чтения:

Верхний график показывает нормальное, нескорректированное время чтения, показывая резкую разницу между чтением из файлов .png, и LMDB или HDF5.

Напротив, график внизу показывает log таймингов, выделяя относительные различия с меньшим количеством изображений.А именно, мы можем видеть, как HDF5 начинает отставать, но с большим количеством изображений становится стабильно быстрее, чем LMDB, с небольшим отрывом.

Используя ту же функцию построения графика, что и для таймингов записи, мы имеем следующее:

  disk_x_r = read_many_timings ["диск"]
lmdb_x_r = read_many_timings ["lmdb"]
hdf5_x_r = read_many_timings ["hdf5"]

plot_with_legend (
    отсечки
    [disk_x_r, lmdb_x_r, hdf5_x_r],
    ["PNG-файлы", "LMDB", "HDF5"],
    «Количество изображений»,
    "Секунды чтения",
    "Время Читать",
    журнал = Ложь,
)

plot_with_legend (
    отсечки
    [disk_x_r, lmdb_x_r, hdf5_x_r],
    ["PNG-файлы", "LMDB", "HDF5"],
    «Количество изображений»,
    «Секунды чтения»,
    "Время чтения журнала",
    log = True,
)
  

На практике время записи часто менее критично, чем время чтения. Представьте, что вы тренируете глубокую нейронную сеть на изображениях, и только половина всего вашего набора данных изображений помещается в оперативную память сразу. Каждая эпоха обучения сети требует всего набора данных, а модели требуется несколько сотен эпох, чтобы сойтись. По сути, вы будете считывать половину набора данных в память каждую эпоху.

Есть несколько уловок, которые люди используют, например, тренируют псевдо-эпохи, чтобы сделать это немного лучше, но идею вы поняли.

Теперь снова посмотрим на график считывания выше.Разница между 40-секундным и 4-секундным временем чтения внезапно становится разницей между ожиданием вашей модели шесть часов, чтобы тренироваться, или сорока минутами!

Если мы посмотрим время чтения и записи на одном графике, мы получим следующее:

Вы можете построить все тайминги чтения и записи на одном графике, используя ту же функцию построения графика:

  plot_with_legend (
    отсечки
    [disk_x_r, lmdb_x_r, hdf5_x_r, disk_x, lmdb_x, hdf5_x],
    [
        "Читать PNG",
        "Прочитать LMDB",
        "Читать HDF5",
        "Написать PNG",
        "Написать LMDB",
        "Написать HDF5",
    ],
    «Количество изображений»,
    "Секунды",
    "Хранение журналов и время чтения",
    журнал = Ложь,
)
  

Когда вы сохраняете изображения как .png , существует большая разница между временем записи и чтения. Однако с LMDB и HDF5 разница гораздо менее заметна. В целом, даже если время чтения более важно, чем время записи, есть веские аргументы в пользу хранения изображений с использованием LMDB или HDF5.

Теперь, когда вы увидели преимущества LMDB и HDF5 в производительности, давайте рассмотрим еще один важный показатель: использование диска.

Учитывая использование диска

Скорость - не единственный показатель производительности, который может вас заинтересовать.Мы уже имеем дело с очень большими наборами данных, поэтому дисковое пространство также является очень актуальной проблемой.

Предположим, у вас есть набор данных изображений размером 3 ТБ. Предположительно, они уже есть где-то на диске, в отличие от нашего примера CIFAR, поэтому, используя альтернативный метод хранения, вы, по сути, делаете их копию, которая также должна быть сохранена. Это даст вам огромный выигрыш в производительности при использовании образов, но вам нужно будет убедиться, что на вашем диске достаточно места.

Сколько места на диске используют различные методы хранения? Вот дисковое пространство, используемое для каждого метода для каждого количества изображений:

Я использовал команду Linux du -h -c имя_папки / * для вычисления использования диска в моей системе.Этот метод имеет некоторое приближение из-за округления, но вот общее сравнение:

  # Используемая память в КБ
disk_mem = [24, 204, 2004, 20032, 200296]
lmdb_mem = [60, 420, 4000, 39000, 393000]
hdf5_mem = [36, 304, 2900, 29000, 293000]

X = [disk_mem, lmdb_mem, hdf5_mem]

ind = np.arange (3)
ширина = 0,35

plt.subplots (figsize = (8, 10))
plots = [plt.bar (ind, [row [0] для строки в X], width)]
для i в диапазоне (1, len (отсечки)):
    plots.append (
        plt.bar (
            ind, [row [i] для строки в X], width, bottom = [row [i - 1] для строки в X]
        )
    )

plt.ylabel ("Память в КБ")
plt.title («Дисковая память, используемая методом»)
plt.xticks (ind, ("PNG", "LMDB", "HDF5"))
plt.yticks (np.arange (0, 400000, 100000))

plt.legend (
    [plot [0] для сюжета в сюжетах], («10», «100», «1,000», «10,000», «100,000»)
)
plt.show ()
  

И HDF5, и LMDB занимают больше места на диске, чем при сохранении с использованием обычных изображений .png . Важно отметить, что использование и производительность дисков LMDB и HDF5 сильно зависят от различных факторов, включая операционную систему и, что более важно, размер хранимых вами данных.

LMDB получает свою эффективность за счет кэширования и использования размеров страниц ОС. Вам не нужно понимать его внутреннюю работу, но обратите внимание, что с изображениями большего размера, вы получите значительно большее использование диска с LMDB, , потому что изображения не помещаются на листовых страницах LMDB, обычном месте хранения в дереве. , и вместо этого у вас будет много страниц переполнения. Полоса LMDB на приведенном выше графике вылетит за пределы графика.

Наши изображения 32x32x3 пикселя относительно малы по сравнению со средними изображениями, которые вы можете использовать, и они обеспечивают оптимальную производительность LMDB.

Хотя мы не будем исследовать это здесь экспериментально, по моему собственному опыту с изображениями 256x256x3 или 512x512x3 пикселей, HDF5 обычно немного более эффективен с точки зрения использования диска, чем LMDB. Это хороший переход к заключительному разделу, качественному обсуждению различий между методами.

Обсуждение

Есть и другие отличительные особенности LMDB и HDF5, о которых стоит знать, и также важно кратко обсудить некоторые критические замечания в отношении обоих методов.Несколько ссылок включены вместе с обсуждением, если вы хотите узнать больше.

Параллельный доступ

Ключевое сравнение, которое мы не тестировали в экспериментах выше, - это одновременное чтение и запись. Часто с такими большими наборами данных вы можете захотеть ускорить свою работу за счет распараллеливания.

В большинстве случаев вам не интересно читать части одного и того же изображения одновременно, но вам, , захочется прочитать сразу несколько изображений.При таком определении параллелизма сохранение на диск в виде файлов .png фактически обеспечивает полный параллелизм. Ничто не мешает вам читать сразу несколько изображений из разных потоков или записывать сразу несколько файлов, если имена изображений разные.

Как насчет LMDB? В среде LMDB может быть несколько читателей одновременно, но только один писатель, и писатели не блокируют читателей. Вы можете узнать больше об этом на веб-сайте технологии LMDB.

Несколько приложений могут обращаться к одной и той же базе данных LMDB одновременно, и несколько потоков одного процесса также могут одновременно обращаться к LMDB для чтения.Это позволяет сократить время чтения: если вы разделите весь CIFAR на десять наборов, то вы можете настроить десять процессов для каждого чтения в одном наборе, и это разделит время загрузки на десять.

HDF5 также предлагает параллельный ввод-вывод, позволяя одновременное чтение и запись. Однако в реализации блокировка записи сохраняется, и доступ является последовательным, если у вас нет параллельной файловой системы.

Есть два основных варианта, если вы работаете с такой системой, которые более подробно обсуждаются в этой статье HDF Group по параллельному вводу-выводу.Это может быть довольно сложно, и самый простой вариант - разумно разделить набор данных на несколько файлов HDF5, чтобы каждый процесс мог обрабатывать один файл .h5 независимо от других.

Документация

Если вы Google lmdb , по крайней мере, в Соединенном Королевстве, третьим результатом поиска будет IMDb, база данных фильмов в Интернете. Это не то, что вы искали!

На самом деле, есть один основной источник документации для привязки LMDB к Python, который размещен на Read the Docs LMDB.Хотя пакет Python даже не достиг версии> 0.94, он широко используется и считается стабильным.

Что касается самой технологии LMDB, на веб-сайте технологии LMDB есть более подробная документация, которая может показаться немного похожей на изучение исчисления во втором классе, если только вы не начнете со страницы «Приступая к работе».

Для HDF5 есть очень четкая документация на сайте документации h5py, а также полезная запись в блоге Кристофера Ловелла, которая представляет собой отличный обзор того, как использовать пакет h5py .Книга О’Рейли, Python и HDF5 также является хорошим началом.

Хотя LMDB и HDF5 не так документированы, как, возможно, оценили бы новички, они имеют большие сообщества пользователей, поэтому более глубокий поиск в Google обычно дает полезные результаты.

Более критический взгляд на реализацию

В системах хранения нет утопии, и у LMDB и HDF5 есть свои подводные камни.

Ключевым моментом для понимания LMDB является то, что новые данные записываются без перезаписи или перемещения существующих данных. Это проектное решение, которое позволяет очень быстро считывать данные, свидетелями которых вы стали в наших экспериментах, а также гарантирует целостность и надежность данных без дополнительной необходимости ведения журналов транзакций.

Помните, однако, что вам нужно было определить параметр map_size для распределения памяти перед записью в новую базу данных? Вот где LMDB может стать проблемой. Предположим, вы создали базу данных LMDB, и все замечательно. Вы терпеливо ждали, пока ваш огромный набор данных будет упакован в LMDB.

Затем, позже вы вспоминаете, что вам нужно добавить новые данные. Даже с буфером, который вы указали в map_size , вы можете легко ожидать увидеть ошибку lmdb.MapFullError . Если вы не хотите переписывать всю базу данных с обновленным map_size , вам придется сохранить эти новые данные в отдельном файле LMDB. Несмотря на то, что одна транзакция может охватывать несколько файлов LMDB, наличие нескольких файлов по-прежнему может быть проблемой.

Кроме того, в некоторых системах есть ограничения на то, сколько памяти может быть востребовано за один раз.По моему собственному опыту работы с системами высокопроизводительных вычислений (HPC), это оказалось крайне неприятным и часто заставляло меня предпочитать HDF5 над LMDB.

И LMDB, и HDF5, только запрошенный элемент считывается в память сразу. В LMDB пары ключ-единица считываются в память одна за другой, а в HDF5 к объекту набора данных можно получить доступ как к массиву Python, с индексированием набора данных [i] , диапазонов, набора данных [i: j] и другой набор данных сращивания [i: j: interval] .

Из-за способа оптимизации систем и в зависимости от вашей операционной системы порядок доступа к элементам может повлиять на производительность.

По моему опыту, в целом верно, что для LMDB вы можете получить лучшую производительность при последовательном доступе к элементам по ключу (пары ключ-значение хранятся в памяти, упорядоченные в алфавитно-цифровом порядке по ключу), а для HDF5 доступ к большим диапазонам будет работать лучше, чем чтение каждого элемента набора данных один за другим, используя следующее:

  # Немного медленнее
для i в диапазоне (len (набор данных)):
    # Считываем i-е значение в наборе данных по одному
    do_something_with (набор данных [i])

# Это лучше
data = набор данных [:]
для d в данных:
    do_something_with (d)
  

Если вы рассматриваете выбор формата хранения файлов для написания своего программного обеспечения, было бы упущением не упомянуть «Уход от HDF5» Сирилла Россанта о подводных камнях HDF5 и ответ Конрада Хинсена «HDF5 и будущее управления данными». который показывает, как можно избежать некоторых ловушек в его собственных сценариях использования с множеством меньших наборов данных, а не с несколькими огромными.Обратите внимание, что относительно небольшой набор данных по-прежнему имеет размер в несколько ГБ.

Интеграция с другими библиотеками

Если вы имеете дело с действительно большими наборами данных, весьма вероятно, что вы будете делать с ними что-то важное. Стоит подумать о библиотеках глубокого обучения и об интеграции с LMDB и HDF5.

Прежде всего, все библиотеки поддерживают чтение изображений с диска в виде файлов .png и , если вы конвертируете их в массивы NumPy ожидаемого формата.Это верно для всех методов, и мы уже видели выше, что считывать изображения в виде массивов относительно просто.

Вот несколько самых популярных библиотек глубокого обучения и их интеграция с LMDB и HDF5:

• Caffe имеет стабильную, хорошо поддерживаемую интеграцию LMDB и прозрачно обрабатывает этап чтения. Слой LMDB также можно легко заменить базой данных HDF5.

• Keras использует формат HDF5 для сохранения и восстановления моделей.Это означает, что TensorFlow тоже может.

• TensorFlow имеет встроенный класс LMDBDataset , который предоставляет интерфейс для чтения входных данных из файла LMDB и может создавать итераторы и тензоры в пакетах. У TensorFlow , а не , есть встроенный класс для HDF5, но можно написать, унаследовав от класса Dataset . Я лично использую специальный класс, который разработан для оптимального доступа для чтения в зависимости от того, как я структурирую свои файлы HDF5.

• Theano изначально не поддерживает какой-либо конкретный формат файла или базу данных, но, как было сказано ранее, может использовать что угодно, если оно считывается как N-мерный массив.

Хотя это далеко не исчерпывающая информация, мы надеемся, что это даст вам почувствовать интеграцию LMDB / HDF5 некоторыми ключевыми библиотеками глубокого обучения.

Несколько личных идей о хранении изображений в Python

В своей повседневной работе, анализируя терабайты медицинских изображений, я использую как LMDB, так и HDF5, и понял, что при любом способе хранения предусмотрительность имеет решающее значение .

Часто модели необходимо обучать с помощью k-кратной перекрестной проверки, которая включает разбиение всего набора данных на k-наборы (k обычно равно 10) и k обучаемых моделей, каждая из которых использует свой k-набор в качестве тестового набора. Это гарантирует, что модель не переобладает набором данных или, другими словами, не может делать хорошие прогнозы на основе невидимых данных.

Стандартный способ создания k-набора - поместить равное представление каждого типа данных, представленных в наборе данных, в каждый k-набор.Таким образом, сохранение каждого k-набора в отдельном наборе данных HDF5 обеспечивает максимальную эффективность. Иногда один k-набор не может быть загружен в память сразу, поэтому даже упорядочение данных в наборе данных требует некоторой предусмотрительности.

В случае LMDB я точно так же тщательно планирую заранее, прежде чем создавать базы данных. Перед сохранением изображений стоит задать несколько хороших вопросов:

• Как сохранить изображения, чтобы большинство операций чтения были последовательными?
• Какие хорошие ключи?
• Как я могу рассчитать хороший map_size , предвидя возможные будущие изменения в наборе данных?
• Насколько большой может быть одна транзакция и как следует разделять транзакции?

Независимо от метода хранения, когда вы имеете дело с большими наборами данных изображений, небольшое планирование имеет большое значение.

Заключение

Вы добрались до конца! Теперь вы получили представление о большой теме с высоты птичьего полета.

В этой статье вы познакомились с тремя способами хранения и доступа к большому количеству изображений в Python и, возможно, имели возможность поиграть с некоторыми из них. Весь код для этой статьи находится в записной книжке Jupyter здесь или в скрипте Python здесь. Бегите на свой страх и риск, так как несколько ГБ дискового пространства будут занимать маленькие квадратные изображения автомобилей, лодок и т. Д.

Вы видели доказательства того, как различные методы хранения могут существенно повлиять на время чтения и записи, а также несколько плюсов и минусов трех методов, рассмотренных в этой статье.Хотя хранение изображений в виде файлов .png и может быть наиболее интуитивно понятным, использование таких методов, как HDF5 или LMDB, дает большие преимущества в производительности.

Не стесняйтесь обсуждать в разделе комментариев отличные методы хранения, не описанные в этой статье, такие как LevelDB, Feather, TileDB, Badger, BoltDB или что-нибудь еще. Не существует идеального метода хранения, и лучший метод зависит от вашего конкретного набора данных и вариантов использования.

Дополнительная литература

Вот несколько ссылок, относящихся к трем методам, описанным в этой статье:

Вы также можете оценить «Анализ систем хранения изображений для масштабируемого обучения глубоких нейронных сетей» Лим, Янга и Паттона.В этой статье рассматриваются эксперименты, аналогичные описанным в этой статье, но в гораздо большем масштабе, с учетом холодного и теплого кеша, а также других факторов.

Сервисы Flickr: Flickr API: flickr.photos.search

Возвращает список фотографий, соответствующих некоторым критериям. Будут возвращены только фотографии, видимые вызывающему пользователю. Чтобы вернуть частные или полу-частные фотографии, вызывающий должен быть аутентифицирован с разрешениями «читать» и иметь разрешение на просмотр фотографий. Звонки без аутентификации возвращают только общедоступные фотографии.

Аутентификация

Этот метод не требует аутентификации.

Аргументы

api_key (обязательно)

Ваш ключ приложения API. Подробнее см. Здесь.

user_id (необязательно)

NSID пользователя, фото которого нужно искать. Если этот параметр не передан, будут просматриваться все общедоступные фотографии. Значение «я» будет искать по фотографиям вызывающего пользователя аутентифицированные вызовы.

бирки (опционально)

Список тегов, разделенных запятыми. Фотографии с одним или несколькими из перечисленных тегов будут возвращены. Вы можете исключить результаты, соответствующие термину, поставив перед ним символ -.

tag_mode (дополнительно)

Либо «любой» для комбинации тегов ИЛИ, либо «все» для комбинации тегов. Если не указано иное, по умолчанию используется «любой».

текст (необязательно)

Бесплатный текстовый поиск.Фотографии, название, описание или теги которых содержат текст, будут возвращены. Вы можете исключить результаты, соответствующие термину, поставив перед ним символ -.

min_upload_date (необязательно)

Минимальная дата загрузки. Фотографии с датой загрузки, большей или равной этому значению, будут возвращены. Дата может быть в форме отметки времени unix или даты и времени mysql.

max_upload_date (необязательно)

Максимальная дата загрузки.Фотографии с датой загрузки, меньшей или равной этому значению, будут возвращены. Дата может быть в форме отметки времени unix или даты и времени mysql.

min_taken_date (необязательно)

Минимальная дата съемки. Фотографии с датой съемки, большей или равной этому значению, будут возвращены. Дата может быть в форме даты и времени в MySQL или в формате unix.

max_taken_date (необязательно)

Максимальная дата съемки.Фотографии с датой съемки, меньшей или равной этому значению, будут возвращены. Дата может быть в форме даты и времени в MySQL или в формате unix.

лицензия (опционально)

Идентификатор лицензии для фотографий (возможные значения см. В методе flickr.photos.licenses.getInfo). Несколько лицензий можно разделять запятыми.

сортировать (опционально)

Порядок сортировки возвращенных фотографий. По умолчанию используется date-posted-desc (если вы не выполняете радиальный географический запрос, и в этом случае сортировка по умолчанию выполняется по возрастанию расстояния от указанной точки).Возможные значения: дата-отправлено-по возрастанию, дата-опубликовано-по-убыванию, дата-взято-по-возрастанию, дата-снятие-по-убыванию, интерес-по-убыванию, интересность-по-возрастанию и релевантность.

privacy_filter (дополнительно)

Возвращать фотографии только с определенным уровнем конфиденциальности. Это применимо только при совершении аутентифицированного вызова для просмотра ваших фотографий. Допустимые значения:

• 1 публичное фото
• 2 приватных фото видно друзьям
• Семья видит 3 частных фото
• 4 приватных фото, видимых родным и близким
• 5 приватных фото

bbox (дополнительно)

Разделенный запятыми список из 4 значений, определяющих граничную рамку области, в которой будет выполняться поиск.

4 значения представляют нижний левый угол поля и верхний правый угол, minimum_longitude, minimum_latitude, maximum_longitude, maximum_latitude.

Долгота имеет диапазон от -180 до 180, широта от -90 до 90. По умолчанию -180, -90, 180, 90, если не указано иное.

В отличие от стандартных запросов к фотографиям, запросы гео (или ограничивающей рамки) возвращают только 250 результатов на страницу.

Для гео-запросов требуется какой-то ограничивающий агент, чтобы база данных не плакала.По сути, это похоже на проверку «поисков без параметров» для запросов без географического компонента.

Тег, например, считается ограничивающим агентом, как и параметры min_date_taken и min_date_upload, определяемые пользователем. Если ограничивающий фактор не передан, мы возвращаем только фотографии, добавленные за последние 12 часов (хотя мы можем расширить ограничение в будущем).

точность (дополнительно)

Записанный уровень точности информации о местоположении.Текущий диапазон 1-16:

• Мировой уровень - 1
• Страна ~ 3
• Регион ~ 6
• Город ~ 11
• улица ~ 16

Если не указано иное, по умолчанию используется максимальное значение.

safe_search (дополнительно)

Настройка безопасного поиска:

• 1 для сейфа.
• 2 для умеренных.
• 3 для ограниченного доступа.

(Обратите внимание: неавторизованные вызовы могут видеть только безопасный контент.)

content_type (необязательно)

Настройка типа содержимого:

• 1 только для фотографий.
• 2 только для скриншотов.
• 3 только для «прочего».
• 4 с фотографиями и скриншотами.
• 5 за скриншоты и «прочее».
• 6 для фотографий и «прочее».
• 7 для фотографий, скриншотов и прочего (всего).

machine_tags (дополнительно)

Помимо передачи полностью сформированного машинного тега, существует специальный синтаксис для поиска по определенным свойствам:

• Найдите фотографии с помощью пространства имен 'dc': "machine_tags" => "dc:"
• Найдите фотографии с заголовком в пространстве имен 'dc': "machine_tags" => "dc: title ="
• Найти фотографии с названием "mr.camera "в пространстве имен 'dc': " machine_tags "=>" dc: title = \ "mr. camera \"
• Найдите фотографии со значением "mr. Camera": "machine_tags" => "*: * = \" mr. камера \ ""
• Найдите фотографии с заголовком в любом пространстве имен: "machine_tags" => "*: title ="
• Найдите фотографии с заголовком в любом пространстве имен, значение которого - "mr. Camera": "machine_tags" => "*: title = \" mr. камера \ ""
• Найдите фотографии в пространстве имен 'dc', значение которых равно "mr.camera ": " machine_tags "=>" dc: * = \ "mr. camera \" "

Можно запросить несколько машинных тегов, передав список, разделенный запятыми. Количество машинных тегов, которые вы можете передать в одном запросе, зависит от режима тега (И или ИЛИ), с которым вы запрашиваете. Запросы «И» ограничены (16) машинными тегами. Запросы "ИЛИ" ограничены
к (8).

machine_tag_mode (дополнительно)

Либо «любой» для комбинации тегов ИЛИ, либо «все» для комбинации тегов.Если не указано иное, по умолчанию используется «любой».

group_id (необязательно)

Идентификатор группы, в которой выполняется поиск. Если указано, будут возвращены только совпадающие фотографии, размещенные в пуле группы.

контактов (дополнительно)

Найдите свои контакты. Либо «all», либо «ff» только для друзей и семьи. (Экспериментальный)

woe_id (опционально)

32-битный идентификатор, однозначно представляющий пространственные объекты.(не используется, если присутствует аргумент bbox).
Для запросов

Geo требуется какой-то ограничивающий агент, чтобы база данных не плакала. По сути, это похоже на проверку «поисков без параметров» для запросов без географического компонента.

Тег, например, считается ограничивающим агентом, как и параметры min_date_taken и min_date_upload, определяемые пользователем. Если ограничивающий фактор не передан, мы возвращаем только фотографии, добавленные за последние 12 часов (хотя мы можем расширить ограничение в будущем).

place_id (необязательно)

Идентификатор места на Flickr. (не используется, если присутствует аргумент bbox).
Для запросов

Geo требуется какой-то ограничивающий агент, чтобы база данных не плакала. По сути, это похоже на проверку «поисков без параметров» для запросов без географического компонента.

Тег, например, считается ограничивающим агентом, как и параметры min_date_taken и min_date_upload, определяемые пользователем. Если ограничивающий фактор не передан, мы возвращаем только фотографии, добавленные за последние 12 часов (хотя мы можем расширить ограничение в будущем).

носитель (дополнительно)

Фильтрация результатов по типу носителя. Возможные значения: все (по умолчанию), фото или видео

has_geo (дополнительно)

Любая фотография, на которую был нанесен геотег, или, если значение "0", любая фотография, имеющая , а не , была привязана к геотегу.
Для запросов

Geo требуется какой-то ограничивающий агент, чтобы база данных не плакала.По сути, это похоже на проверку «поисков без параметров» для запросов без географического компонента.

Тег, например, считается ограничивающим агентом, как и параметры min_date_taken и min_date_upload, определяемые пользователем. Если ограничивающий фактор не передан, мы возвращаем только фотографии, добавленные за последние 12 часов (хотя мы можем расширить ограничение в будущем).

geo_context (необязательно)

Геоконтекст - это числовое значение, представляющее географическую привязку фотографии за пределами широты и долготы.Например, вы можете найти фотографии, сделанные «в помещении» или «на улице».

Текущий список идентификаторов контекста:

• 0 , не определен.
• 1 , в помещении.
• 2 , на улице.

Geo-запросы требуют какого-то ограничивающего агента, чтобы база данных не плакала. По сути, это похоже на проверку «поисков без параметров» для запросов без географического компонента.

Тег, например, считается ограничивающим агентом, как и параметры min_date_taken и min_date_upload, определяемые пользователем. Если ограничивающий фактор не передан, мы возвращаем только фотографии, добавленные за последние 12 часов (хотя мы можем расширить ограничение в будущем).

lat (дополнительно)

Допустимая широта в десятичном формате для выполнения радиальных гео-запросов.
Для запросов

Geo требуется какой-то ограничивающий агент, чтобы база данных не плакала. По сути, это похоже на проверку «поисков без параметров» для запросов без географического компонента.

Тег, например, считается ограничивающим агентом, как и параметры min_date_taken и min_date_upload, определяемые пользователем. Если ограничивающий фактор не передан, мы возвращаем только фотографии, добавленные за последние 12 часов (хотя мы можем расширить ограничение в будущем).

lon (дополнительно)

Допустимая долгота в десятичном формате для выполнения радиальных гео-запросов.
Для запросов

Geo требуется какой-то ограничивающий агент, чтобы база данных не плакала. По сути, это похоже на проверку «поисков без параметров» для запросов без географического компонента.

Тег, например, считается ограничивающим агентом, как и параметры min_date_taken и min_date_upload, определяемые пользователем. Если ограничивающий фактор не передан, мы возвращаем только фотографии, добавленные за последние 12 часов (хотя мы можем расширить ограничение в будущем).

радиус (дополнительно)

Допустимый радиус, используемый для гео-запросов, больше нуля и меньше 20 миль (или 32 километров) для использования с точечными гео-запросами. Значение по умолчанию - 5 (км).

радиус_единиц (опционально)

Единица измерения при выполнении радиальных гео-запросов. Допустимые варианты: mi (мили) и km (километры). По умолчанию это «км».

is_commons (необязательно)

Ограничьте область поиска только фотографиями, которые являются частью проекта Flickr Commons.По умолчанию - false.

in_gallery (Необязательно)

Ограничить область поиска только фотографиями, находящимися в галерее? По умолчанию - false, искать по всем фотографиям.

is_getty (дополнительно)

Ограничьте область поиска только фотографиями, которые продаются на Getty. По умолчанию - false.

дополнительные принадлежности (дополнительно)

Разделенный запятыми список дополнительной информации для выборки для каждой возвращенной записи.В настоящее время поддерживаются следующие поля: описание , лицензия , date_upload , date_taken , имя_владельца , icon_server , original_format , last_update , geo o_dims , просмотров , media , path_alias , url_sq , url_t , url_s , url_q , url_m _n url_m _n url_m _n url_m , url_m _n url_m _n url_m _n url_m _n url_m _n url_m _n url , url_o

на_странице (дополнительно)

Количество возвращаемых фотографий на странице.Если этот аргумент опущен, по умолчанию используется значение 100. Максимально допустимое значение - 500.

стр. (дополнительно)

Страница результатов, которые нужно вернуть. Если этот аргумент опущен, по умолчанию используется 1.

Пример ответа

Этот метод возвращает стандартный список фотографий xml:

Чтобы сопоставить элементов с URL-адресами, прочтите документацию по URL-адресам.

Обратите внимание, что Flickr вернет не более первых 4000 результатов по любому заданному поисковому запросу. Если это проблема, мы рекомендуем попробовать более конкретный запрос.

Коды ошибок

1: Слишком много тегов во ВСЕМ запросе

При выполнении поиска «все теги» вы не можете указать более 20 тегов для объединения.

2: Неизвестный пользователь

Передан user_id, который не соответствует действительному пользователю flickr.

3: Поиск без параметров отключен

Для выполнения поиска без параметров (для получения последних общедоступных фотографий используйте вместо этого flickr.photos.getRecent).

4: У вас нет разрешения на просмотр этого пула

Зарегистрированный пользователь (если есть) не имеет разрешения на просмотр пула для этой группы.

5: Пользователь удален

Переданный идентификатор пользователя не соответствует пользователю Flickr.

10: К сожалению, поисковый API Flickr в настоящее время недоступен.

Базы данных поиска Flickr API временно недоступны.

11: Нет действительных машинных тегов

Не удалось проверить стиль запроса для аргумента machine_tags.

12: Превышено максимально допустимое количество машинных тегов

Превышено максимальное количество машинных тегов в одном запросе.

17: Вы можете искать только по своим контактам

Вызов попытался использовать параметр контактов без идентификатора пользователя или идентификатора пользователя, отличного от идентификатора аутентифицированного пользователя.

18: Нелогичные аргументы

Запрос содержал противоречивые аргументы.

100: неверный ключ API

Переданный ключ API недействителен или срок его действия истек.

105: В настоящее время услуга недоступна

Запрошенная услуга временно недоступна.

106: Ошибка записи

Запрошенная операция не удалась из-за временной проблемы.

111: Формат «xxx» не найден

Запрошенный формат ответа не найден.

112: Метод «xxx» не найден

Запрошенный метод не найден.

114: неверный конверт SOAP

Не удалось проанализировать отправленный в запросе конверт SOAP.

115: Недействительный вызов метода XML-RPC

Не удалось проанализировать документ запроса XML-RPC.

116: Обнаружен неверный URL

Один или несколько аргументов содержали URL-адрес, который использовался для злоупотреблений на Flickr.

API Explorer

API Explorer: flickr.photos.search

Полный список процессоров и подробный список | Cloud Document AI Documentation

Этот контент доступен одобренным клиентам. Вы можете просмотреть этот контент после того, как вы
были одобрены и добавлены в соответствующий список разрешений.

Добавьте свой источник данных | Pinterest Business help

Как очистить данные о товарах с eBay

eBay имеет более 1,3 миллиарда товарных позиций.

Это много данных.

Эти данные могут быть полезны для исследования рынка, исследования конкурентов, поиска следующей горячей ставки и многого другого.

Однако нет простого способа просто экспортировать все данные о товарах, размещенные на eBay.

Это верно, если вы не пользуетесь парсингом веб-страниц.

Мы собираемся показать вам, как вы можете очистить eBay, чтобы извлечь такие данные, как сведения о продуктах, цены, продавцы и многое другое!

Веб-парсинг eBay с помощью ParseHub

Веб-скребок - это программа, которая позволяет вам выбирать точные данные с веб-сайта eBay и загружать их в виде файла Excel или JSON.

В нашем сегодняшнем примере мы будем использовать ParseHub, бесплатный и мощный веб-скрапинг, который может работать с любым веб-сайтом.

Не забудьте загрузить ParseHub бесплатно перед тем, как начать.

Очистка данных eBay

В нашем сегодняшнем примере мы будем очищать данные со страницы результатов поиска eBay по запросу «Смартфон». Это будет включать сведения о продукте, цены и многое другое.

Приступим.

1. Установите и откройте ParseHub.Нажмите «Новый проект» и введите URL-адрес, который вы будете сканировать. В этом примере мы очистим страницу результатов поиска по запросу «смартфон». Теперь страница будет отображаться внутри приложения.

2. Начните, щелкнув заголовок с названием первого продукта в списке. Он будет выделен зеленым цветом, чтобы указать, что он был выбран. На левой боковой панели переименуйте ваш выбор в «продукт».

3. Остальные наименования продуктов на странице будут выделены желтым цветом, щелкните второе в списке, чтобы выбрать их все.Все они теперь будут выделены зеленым цветом. ParseHub теперь извлекает имя и URL-адрес каждого продукта на странице.

4. Давайте извлечем больше данных. Начните с нажатия на знак «ПЛЮС» (+) рядом с выбранным вами продуктом и выберите команду «Относительный выбор».

5. Используя команду «Относительный выбор», щелкните имя первого продукта в списке, а затем его цену. Появится стрелка, указывающая на создаваемую вами связь.

6. Возможно, вам придется повторить этот процесс для другого продукта, чтобы полностью обучить скребок. На левой боковой панели переименуйте ваш выбор в «цена».

7. Повторите шаги 5–6, чтобы получить дополнительные данные для каждого продукта. В этом случае мы также возьмем дневные остатки, стоимость доставки и проданные единицы. Ваш проект должен выглядеть примерно так:

Очистка более подробной информации

ParseHub в настоящее время считывает данные только со страницы результатов поиска. Но отсюда мы можем извлечь лишь очень многое.

Давайте теперь настроим ParseHub, чтобы щелкать по каждому списку и получать дополнительную информацию.

1. Щелкните значок «ПЛЮС» (+) рядом с выбранным «продуктом» и выберите команду «Щелкните».

2. Появится всплывающее окно с вопросом, является ли это ссылкой «следующая страница». Щелкните «нет» и введите имя для этого шаблона. Мы назовем ее «product_page». Теперь вы попадете на страницу продукта первого объявления на странице.

3. Страница продукта отобразится в новой вкладке браузера, и вы сможете сделать свой первый выбор данных для извлечения. В этом случае мы выберем имя продавца, щелкнув по нему. На левой боковой панели переименуйте ваш выбор в «продавец».

4. Щелкните значок «ПЛЮС» (+) рядом с «страницей», выберите команду «Выбрать», и вы сможете создавать новые команды выбора и щелкать дополнительные данные для извлечения. Мы сделаем это, чтобы получить рейтинг продавца и количество отзывов о продавце. Ваш проект должен выглядеть так:

ParseHub теперь извлекает все данные, которые мы выбрали для продуктов, на первой странице результатов. Не будем настраивать его для извлечения дополнительных страниц данных.

1. Вернитесь к main_template, используя вкладки слева.Используйте вкладки браузера, чтобы вернуться на страницу результатов поиска.
2. Щелкните значок «ПЛЮС» (+) рядом с выбранной «страницей» и выберите команду «Выбрать». Прокрутите страницу до конца и щелкните ссылку «следующая страница». Переименуйте ваш выбор в «разбиение на страницы».

3. Разверните свой выбор «разбиения на страницы» с помощью значка рядом с ним.

4. Удалите обе команды «извлекать» под выбранным вами «разбиением на страницы».

5. Щелкните знак «ПЛЮС» (+) рядом с выбранным вами «разбиением на страницы» и выберите команду «Щелкнуть».
6. Появится всплывающее окно с вопросом, является ли это ссылкой «следующая страница». Нажмите «Да» и введите количество дополнительных страниц, которые вы хотите очистить. В этом случае мы очистим еще 5 страниц.

Запуск вашего парсера

Теперь вы готовы запустить свой проект парсинга и позволить ParseHub извлечь все данные за вас.

Сделайте это, нажав зеленую кнопку «Получить данные» на левой боковой панели.

Здесь вы сможете протестировать, запустить или запланировать свой проект.Если вы хотите получать актуальные данные на ежедневной или еженедельной основе, вы можете выбрать вариант расписания.

В этом случае мы просто сразу его запустим.

Заключительные мысли

ParseHub теперь отключен, чтобы запустить ваш сборщик данных на наших серверах.