- Как загрузить данные из папки — Excel Power Query
- Видеокурсы по Excel
- Получить загрузку данных из папки
- Вставить данные из папки
- Объединить
- Первый
- Преобразование
- Первый вариант — прямая загрузка
- Второй вариант — редактирование таблицы перед загрузкой
- Закрыть и установить
- Загружено
- Только связанные
- Прямая загрузка в таблицу
- Обновить
- Похожие статьи
- Для скачивания
- Всего
- Если
- Павел Ласбк — автор сайта
- Пока нет комментариевони не
Как загрузить данные из папки — Excel Power Query
Видеокурсы по Excel
В сотрудничестве с SEDUO я создал несколько видеокурсов:
- Как работать с Excel – научитесь эффективно использовать Excel – самый популярный ( рейтинг 97 %, более 13 000 студентов, + 750 положительных отзывов ) – Получить курс
- MaxiCourse Excel – получите лучшую работу, больше денег, станьте незаменимым ( более 6 часов просмотра, 160 уроков ) – Получить курс
- G-таблицы. — если не нравится Excel, воспользуйтесь курсом на Google-таблицах
Как эффективно загрузить данные из папки (адреса) в Excel с помощью Power Query. Или если у меня есть десятки ежемесячных отчетов в формате *.csv (*.txt), и мне нужно их быстро получить и быстро в Excel для дальнейшей обработки, например, с помощью Power Pivot, сводных таблиц и т. д. В том числе возможность иметь более 1 000 000 строк!
Получить загрузку данных из папки
В этой статье я сосредоточусь на загрузке данных из папки. Мы будем использовать вариант, предлагаемый в Excel с Power Query. Для наглядности статья разделена на главы:
- Данные — если есть что загрузить
- Вставить данные из папки
- Варианты загрузки и преимущества/недостатки
- Объединить
- Новый
- Преобразование
- Закрыть и установить — в Excel как связанный
- Загружено
- Обновить
- Статьи по теме
- Скачать
Примечание. Я предполагаю, что версия Excel 2010 и новее. Из Excel 2016 стандартный компонент, вам придется внедрить (установить) его в более старые версии, см. ссылку в главе, посвященной статьям.
Прежде чем вы начнете тестировать загрузку из папки, вам необходимо иметь данные в папке (каталоге), которую вы будете загружать ( например, txt илиcsv ). Пример того, как могут выглядеть файлы в папке (образец из проводника, кто предпочитает другой файловый менеджер, может увидеть другое расположение, но результат тот же).
Отдельные файлы абсолютно одинаковы ( что касается типа и расположения столбцов, данные по понятным причинам различаются ). Это текстовый файл, в котором отдельные элементы разделены точкой с запятой ( в каталоге нет файлов других типов ). Поскольку это тестовые образцы, исходные данные имеют всего несколько столбцов (это загруженный образец, поэтому вы можете сразу увидеть результат и дополнительно проверить, что, как, когда, почему). Если вы понимаете заранее, то не проблема загрузить файл даже значительно большего размера ( легко более миллиона строк ).
Примечание. Это просто образец данных, вы можете легко сгенерировать (или использовать свои) данные с более чем миллионом строк, но для образцов, а не для того, чтобы уничтожить сервер, на котором я размещаю, я делаю доступными небольшие файлы ( Красиво получается , что и как найти ). Если будет большой интерес, возможно, я сгенерирую большой файл данных и сохраню данные в хранилище (у меня не так много места на сервере) или в другом хранилище. 😉
Вставить данные из папки
Для чешской версии Excel. На вкладке Данные в разделе Загрузить и преобразовать данные нажать на иконку Загрузить данные , в меню выбрать: Из файла и затем Из папки . Внимание, иногда речь может идти о втором разделе, а в некоторых о первом.
В английской версии щелкните вкладку Данные в разделе Получить & В разделе Преобразование данных щелкните значок Новый запрос в меню Из файла , а затем Из папки . Пороз в английской версии может быть аж второй раздел.
В диалоговом окне Папка (Папка) используйте значок Обзор. путь — это папка, он будет отображаться в текстовом поле: Путь кпапка
После нажатия ОК появится диалоговое окно
В следующем отображаемом диалоговом окне вы можете увидеть список всех файлов в папке ( здесь отображаются только текстовые файлы ). В следующей статье я покажу, как обрабатывать папки (каталоги), которые также содержат файлы других типов или текстовые файлы с разными размерами расширения ( TXT vs txt ).
В диалоговом окне вы можете выбрать одну из нескольких кнопок:
- Объединить
- Первый
- Преобразование данных
В следующих главах мы будем разбирать отдельные варианты постепенно, ведь каждый может делать что-то свое, и с моей точки зрения лучше всего подходит последний Преобразование данных , но для простых обработке может подойти первый, а для некоторых специальных выходов даже промежуточный.
Объединить
Нажмите значок Объединить , чтобы открыть диалоговое окно Объединить файлы , в котором вы можете ( скорее ) ввести некоторую информацию.
- Файл образца — который вы хотите обработать как образец, в Excel отображается только первый найденный файл ( если все файлы одинаковые )
- Источник файла — либо кодировка, либо знаете и выбираете, либо кликаете и смотрите образец, правильно ли отображается чешский язык, т.е. спецсимволы.
- Oddlovači — в чешском языке чаще всего это середина ( двоеточие ), иногда это может быть пробел, пробел или количество символов ( зависит от ваших данных )
- Определение типа данных Пока мне всегда было достаточно на основе первых 200 искателей, но если очень хочется, можно выбрать весь набор данных или не найти типы данных.
При нажатии ОК открывается отдельное окно Редактор Power Query
.
Другими словами, данные загружаются со всехфайла, вы можете увидеть в первом столбце Source.Name , какой файл вызывается и за которым следуют соответствующие данные (если первый столбец вам не подходит, удалите его ( через правую кнопку, или больше о том, как работать с колонками в связанной статье в конце статьи ).
Если вы удовлетворены загруженным результатом, вы можете перейти к главе Закрыть и загрузить или нажать кнопку «Далее».
Первый
Нажав на иконку Пуск , информация об отдельных файлах в папке (каталоге) будет загружена непосредственно в Excel. На первый взгляд таблица выглядит странно, но на практике этот список часто бывает полезен. С другой стороны, он самый быстрый 😉
Возможно, вы закончили. Если нет, вы также можете прочитать следующий метод.
Преобразование
Для меня, пожалуй, лучший вариант ( часто папка содержит другие файлы и копировать их куда-то не хочется, ведь это большие файлы с миллионами строк, что занимает какое-то время, чтобы скопировать десятки мегабайт файлов ), что, вероятно, является самым сложным.
Вот почему мы также покажем эту опцию. Скорее два способа сделать это:
- Первый вариант — прямая загрузка
- Второй вариант — редактирование таблицы перед загрузкой
Первый вариант — прямая загрузка
На первом этапе вы можете щелкнуть две стрелки справа от имени столбца в столбце Содержание .
Получить знакомое вам диалоговое окно из значка Объединить
Или вы можете заполнить:
- Файл образца , который вы хотите обработать как образец
- Источник файла — или закодированный
- Oddmlovači — в чешском языке наиболее распространенное среднее (точка koibrka)
- Определение типа данных
В предыдущей главе «Комбинация» элементы описаны более подробно.
И нажмите OK
На первый взгляд, результат такой же, как и при нажатии на значок «Загрузить», но он более важен, если вы используете редактор Power Query для выбора только тех файлов, которые вы хотите загрузить из папки. Это мы покажем в следующей статье, мне просто нужна была основа, чтобы было куда сослаться, да и к тому же эта информация тоже логично сюда относится.
Второй вариант — редактирование таблицы перед загрузкой
Или, если необходимо изменить столбцы ( здесь в следующей статье мы покажем, как изменить различные файлы в папке, которую вы хотите загрузить ). Во-первых, удалите другие столбцы ( Совет для опытных, после того как вы разделите столбец источника имени и отфильтруете только те файлы, которые хотите обработать — см. статью Как работать со столбцами в Power Query ).
После нажатия на «двойную стрелку» (значок справа) рядом со столбцом «Содержимое» вы снова откроете диалоговое окно «Объединить файлы»:
Результат снова слияние данных, только в окне нет столбца с именами файлов ( Я знаю, что это можно сделать через иконку Объединить и удалить столбец здесь, но это не так эффективно для нескольких файлы в одной папке/каталоге, которые я изменяю в следующей главе, но даже если они вместе, я упоминаю об этой возможности и в этой статье, потому что она логически относится сюда ).
Вы закончили, и мы можем перейти к Закрыть и загрузить , если вам не нужно каким-либо образом изменять загруженные данные с помощью Power Query.
Закрыть и установить
Какие параметры доступны после загрузки данных в Excel? На первый взгляд это ясно, но при втором взгляде вы обнаружите, что вариантов больше. Вы можете загрузить данные непосредственно в Excel или создать соединение ( в этом случае вы также можете загрузить несколько миллионов данных, и вы не ограничены миллионом строк, которые есть в Excel, — вы подключаетесь к источнику данных ) . Или если вы будете подключаться к данным ( подходящим/необходимымдля больших источников данных — более миллиона строк ).
Нажмите Начать и закрыть > Закрыть и загрузить в.. появится диалоговое окно Импорт данных , в противном случае после закрытия и загрузки в Excel будут загружены только данные.
Вы можете выбрать способ отображения данных в книге:
- Таблица — данные загружаются непосредственно в Excel * — то, что непосредственно делает значок «Загрузить и закрыть» ( чтобы упростить )
- Сборка таблицы непредвиденных обстоятельств
- График непредвиденных обстоятельств
- Только создать соединение — данные не загружаются напрямую в Excel, только создается соединение и Excel его обрабатывает. Таким образом, вы можете обрабатывать более миллиона (ограниченное количество строк) данных (примерно до 2 миллиардов строк).
Будьте осторожны, чтобы не забыть ( об этом часто забывают ) отметьте вставку данных в модель данных .
Загружено
Если вы загрузили, больше или меньше можно отобразить двумя способами:
Загружайте данные непосредственно в Excel или подключайтесь к данным.
Только связанные
В Excel данные не видны на первый взгляд, но они связаны. Просто убедитесь, что он был правильно установлен в диалоговом окне «Импорт данных» ( или если он был «нажат» вместе с параметрами «Только создавать связанные» и «Добавить эти данные в модель данных» ).
Если вы не видите счетчика в запросах (как на скриншоте), добавление данных в модель данных не проверялось. 🙁 и просто обновить не получится.
Прямая загрузка в таблицу
Просматривайте данные непосредственно в Excel — если вы отметили только Первые данные или выбрали вариант объединения.
Обновить
Если в файле есть данные или в папку будет добавлен новый файл, просто щелкните значок обновления.
Внимание. Если вы не нажмете в прикрепленном файле «данныемодель», обновление у вас не сработает.
Демонстрация того, что можно прочитать более 1 000 000 строк, более 1,7 миллиона. 😉
Будьте осторожны, иногда он некоторое время пересчитывает. Если загрузка не удалась, попробуйте щелкнуть значок еще раз. Если обновление по-прежнему не удается, я рекомендую поискать в Google соответствующее сообщение об ошибке.
Похожие статьи
Если вам интересно, вы можете ознакомиться с соответствующими статьями по работе с Power Query:
С power Query также связаны Power Pivot и Power View, поэтому тоже пара ссылок:
Для скачивания
- Файл Query-2017.txt test data для бесплатной загрузки.
- Файл Query-2018.txt test data для бесплатной загрузки.
- Файл тестовые данные Query-2019.txt для бесплатной загрузки.
Подготовка дополнительных образцов. Ускорить публикацию можно с поддержкой на: Patreon.
Всего
Можете ли вы вспомнить какие-либо сложности, с которыми вы столкнулись? Если у вас есть советы, вы можете изменить их в комментариях.
Статья обновлена: 19.09.2020 11:02
Если
Помог ли этот веб-сайт сэкономить вам время и деньги? Помог ли он решить проблему? Готовы ли вы предоставить символическое вознаграждение за дальнейшее развитие? Выберите форму вознаграждения, которая вам подходит.
Павел Ласбк — автор сайта
Microsoft Office (Word, Excel, Google Sheets , PowerPoint) Я использую с 2000 года (с 2004 года в этом домене) — В 2017 году я получил престижную награду MVP от Microsoft (пока я единственный из IR в категории Excel). Я также делюсь своими знаниями и опытом онлайн в видеороликах для SEDUO . В компаниях преподаю и консультирую , работаю в МУНИ. Я создаю этот сайт более 15 лет. Существует более 1000 бесплатных инструкций, советов и рекомендаций, включая более 250 различных шаблонов и рабочих книг.
Пока нет комментариевони не
Вы можете стать первым, кто оставит осмысленный комментарий.