Кто-нибудь использовал?
↧
SSAS: Фильтры (predicate) для XEvents ???
↧
HOLAP
Есть несколько вопросов по проектированию кубов в SSAS, я уже 4 года работаю с кубами, причем это как правило были кубы многомерные и в режиме MOLAP. Сейчас очень много данных(миллиарды строк), в связи с этим есть несколько вопросов по проектированию.
Верно ли что ROLAP не требует процессинга?
В каких случаях строит выбирать HOLAP и как его настраивать? (я так понял он не хранит листовые элементы а все остальное как в MOLAP)
HOLAP такой же быстрый как и MOLAP только экономит при этом память для листовых элементов, верно?
HOLAP по идее требует процессинг как и MOLAP, как тогда он онлайн работает при этом с листовыми данными, он получается агрегаты меняет только после процессинга а листовые в онлайне - выходит сумма всех листовых не будет сходится с с агрегатами?
Табулярная модель тоже не требует процессинга?
Возможно ли распределить куб на несколько серверов и как? Я не очень понимаю как такое можно сделать на уровне analysis services.
↧
↧
CREATE SESSION CUBE не работает с ReadOnly SSAS DB
Для повышения производительности OLAP у меня развёрнут NLB кластер из нескольких машин. На нескольких машинах SSAS в режиме REadOnly обращается к одной многомерной БД (сделано в соответствии с документацией MS: общее сетевое хранилище и несколько серверов, работающих с одной копией данных).
Всё было бы хорошо, но пользователи начали жаловаться что их Excel таблицы не обновляются с ошибкой "Изменение dimension ... невозможно вследствие принадлежности к базе ..., доступной только для чтения". В процессе выяснения причины такого поведения выяснил, что пользователи используют группировку строк сводной таблицы в Excel, при этом Excel выполняет команду "CREATE SESSION CUBE" и затем работает уже с ним. Нашёл что это не баг, а фича: https://docs.microsoft.com/ru-ru/sql/analysis-services/multidimensional-models/database-readwritemodes?view=sql-server-2017. "При режиме работы БД SSAS ReadOnly Пользователи Excel не могут использовать функцию группирования в сводных таблицах, так как внутренне эта функция реализована с помощью команд CREATE SESSION CUBE ."
Кто-нибудь сталкивался с такой проблемой? Какие есть идеи по тому как обойти её?
Из-за того что часть БД ReadOnly, а часть - ReadWrite (используют свои БД), у пользователей возникает вопросы типа: "сегодня работает, вчера не работало, а позавчера снова работало". Я пока склоняюсь к тому, чтобы после обновления все многомерные БД переводить в режим ReadOnly, чтобы к какому бы серверу пользователей не кинуло, везде были запрещены группировки.
Всё было бы хорошо, но пользователи начали жаловаться что их Excel таблицы не обновляются с ошибкой "Изменение dimension ... невозможно вследствие принадлежности к базе ..., доступной только для чтения". В процессе выяснения причины такого поведения выяснил, что пользователи используют группировку строк сводной таблицы в Excel, при этом Excel выполняет команду "CREATE SESSION CUBE" и затем работает уже с ним. Нашёл что это не баг, а фича: https://docs.microsoft.com/ru-ru/sql/analysis-services/multidimensional-models/database-readwritemodes?view=sql-server-2017. "При режиме работы БД SSAS ReadOnly Пользователи Excel не могут использовать функцию группирования в сводных таблицах, так как внутренне эта функция реализована с помощью команд CREATE SESSION CUBE ."
Кто-нибудь сталкивался с такой проблемой? Какие есть идеи по тому как обойти её?
Из-за того что часть БД ReadOnly, а часть - ReadWrite (используют свои БД), у пользователей возникает вопросы типа: "сегодня работает, вчера не работало, а позавчера снова работало". Я пока склоняюсь к тому, чтобы после обновления все многомерные БД переводить в режим ReadOnly, чтобы к какому бы серверу пользователей не кинуло, везде были запрещены группировки.
↧
Ускорение вывода OLAP путём перехода на ROLAP
Кто-нибудь переходил с MOLAP на ROLAP на больших мерах для ускорения вывода?
У меня есть меры по остаткам товаров, и они загружаются в OLAP как остатки на начало каждого месяца и все движения. Затем, MDX-вычислениями, считаются остатки на каждый день. В принципе, учитывая большой объём данных, работает довольно шустро. Но есть проблема с вычислением среднего остатка или ассортимента, когда нужно проводить вычисления в SCOPE по дню и товару. Из-за того что SSAS плохо параллелит вычисления, это всё работает крайне долго.
Пытались развернуть Mondrian ROLAP и брать данные с ArenaData/Greenplum (распределённая колоночная СУБД), но она работала довольно медленно. грубо говоря, там где MOLAP выдавал информацию менее чем за секунду, ROLAP работал по 30 секунд и выше. Поискали результаты сравнений распределённых колоночных СУБД - исходя из них, другие бесплатные СУБД работает ещё медленнее, да и платные не сильно быстрее.
SQL Server не рассматривали, т.к. он не распределённый, и в облака тоже не лезли.
Поискал по форуму, но тут народ в основном использует ROLAP для получения актуальных данных. Есть у кого опыт построения ROLAP на больших объёмах данных, работающего быстрее MOLAP? Можете поделиться как это сделать, если это вообще возможно на текущий момент?
У меня есть меры по остаткам товаров, и они загружаются в OLAP как остатки на начало каждого месяца и все движения. Затем, MDX-вычислениями, считаются остатки на каждый день. В принципе, учитывая большой объём данных, работает довольно шустро. Но есть проблема с вычислением среднего остатка или ассортимента, когда нужно проводить вычисления в SCOPE по дню и товару. Из-за того что SSAS плохо параллелит вычисления, это всё работает крайне долго.
Пытались развернуть Mondrian ROLAP и брать данные с ArenaData/Greenplum (распределённая колоночная СУБД), но она работала довольно медленно. грубо говоря, там где MOLAP выдавал информацию менее чем за секунду, ROLAP работал по 30 секунд и выше. Поискали результаты сравнений распределённых колоночных СУБД - исходя из них, другие бесплатные СУБД работает ещё медленнее, да и платные не сильно быстрее.
SQL Server не рассматривали, т.к. он не распределённый, и в облака тоже не лезли.
Поискал по форуму, но тут народ в основном использует ROLAP для получения актуальных данных. Есть у кого опыт построения ROLAP на больших объёмах данных, работающего быстрее MOLAP? Можете поделиться как это сделать, если это вообще возможно на текущий момент?
↧
Производственные календари разных стран
Господа, есть ли где-то сервис, который может предоставлять производственные календари разных стран. Интересуют в первую очередь страны с конвертируемыми валютами (США, КАНАДА, ВЕЛИКОБРИТАНИЯ, НОВАЯ ЗЕЛАНДИЯ, ЯПОНИЯ, МЕКСИКА, БРАЗИЛИЯ и т.п.) Либо подойдет график работы валютных и т.п. бирж.
↧
↧
Домашний проект, DWH
Приветствую.
Изучаю хранилища данных. Самостоятельно. Перспектив работать в этой сфере в моем регионе нет. Решил сделать pet-проект. Для будущего портфолию и чтобы хоть где-то применять информацию, иначе забывается. Прочел пар книг (или чуть больше), прошел пару курсов.
На базе каких ресурсов лучше делать домашний проект? Информации по DWH (в отличие от БД) мало. В основном вижу только инфу по теоретическому проектированию. По фактической реализации - пробелы и много вопросов. В учебниках для уч. заведений описан более высокий уровень абстракции, чем мне нужно.
Гугл выдает инфу преимущественно про самодельные облачные хранилища.
Сейчас читаю Сарка "Microsoft SQL Server 2012. Реализация хранилищ данных." На очереди Ларсон "Разработка бизнес-аналитики в Microsoft SQL Server 2005". Нашел их благодаря этому форуму сегодня, чему очень рад.
Может еще есть полезные источники информации по моей задаче?
Изучаю хранилища данных. Самостоятельно. Перспектив работать в этой сфере в моем регионе нет. Решил сделать pet-проект. Для будущего портфолию и чтобы хоть где-то применять информацию, иначе забывается. Прочел пар книг (или чуть больше), прошел пару курсов.
На базе каких ресурсов лучше делать домашний проект? Информации по DWH (в отличие от БД) мало. В основном вижу только инфу по теоретическому проектированию. По фактической реализации - пробелы и много вопросов. В учебниках для уч. заведений описан более высокий уровень абстракции, чем мне нужно.
Гугл выдает инфу преимущественно про самодельные облачные хранилища.
Сейчас читаю Сарка "Microsoft SQL Server 2012. Реализация хранилищ данных." На очереди Ларсон "Разработка бизнес-аналитики в Microsoft SQL Server 2005". Нашел их благодаря этому форуму сегодня, чему очень рад.
Может еще есть полезные источники информации по моей задаче?
↧
SSAS Мера (int,bigint) в итогах переполнение : Отрицательные итоги В екселе
Добрый день всем.
SSAS 2012 (MDM)
Кол-во только полложитепльные
alter table TTN alter column TTN_kolvo bigint
НЕ помогло
SELECT SUM(TTN_kolvo) стало считать ОК в SQL сервере
но в ексле все равно показывает ОТРИЦ. ЧИСЛО
(если поставтиь фильтр - то все ОК )
Как бороться ?
SSAS 2012 (MDM)
Кол-во только полложитепльные
alter table TTN alter column TTN_kolvo bigint
НЕ помогло
SELECT SUM(TTN_kolvo) стало считать ОК в SQL сервере
но в ексле все равно показывает ОТРИЦ. ЧИСЛО
(если поставтиь фильтр - то все ОК )
Как бороться ?
↧
не работает ASSP
господа, решил настроить действие, по которому будет вызываться ASSP. Но что-то настроил не так, в Excel действия не видно. Пробовал накладывать действия на клетки, куб, элементы измерения. Один хрен, не работает. Не видно действия. ASSP накатил на сервер скриптом. SQL и SSAS 2016 . Скрипт от 2016
↧
Salesforce покупает Tableau
Salesforce Signs Definitive Agreement to Acquire Tableau
I’m excited to announce that Tableau has entered into an agreement to be acquired by Salesforce in an acquisition that combines the #1 CRM with the #1 analytics platform. By joining forces we will accelerate our ability to accomplish our mission. Together, Salesforce and Tableau share a deep commitment to empowering their respective communities and enabling people of every skill level to transform their businesses, their careers, and their lives through technology.
Вот такие новости.
С Уважением,
Георгий
I’m excited to announce that Tableau has entered into an agreement to be acquired by Salesforce in an acquisition that combines the #1 CRM with the #1 analytics platform. By joining forces we will accelerate our ability to accomplish our mission. Together, Salesforce and Tableau share a deep commitment to empowering their respective communities and enabling people of every skill level to transform their businesses, their careers, and their lives through technology.
Вот такие новости.
С Уважением,
Георгий
↧
↧
Интерпретация данных из DWH
Начал вникать в тему визуализации, интерпретации данных для работы с DWH.
Книг, материалов и курсов много.
Можно ли ограничиться изучением Microsoft Power BI?
Я правильно понимаю, что нужно изучить что-то по непосредственно визуализации данных и что-нибудь из области статистики или эконометрики? Нужно ли знать фин. анализ?
Что нужно читать/смотреть? Будет совсем прекрасно, если подскажете конкретные книги.
Книг, материалов и курсов много.
Можно ли ограничиться изучением Microsoft Power BI?
Я правильно понимаю, что нужно изучить что-то по непосредственно визуализации данных и что-нибудь из области статистики или эконометрики? Нужно ли знать фин. анализ?
Что нужно читать/смотреть? Будет совсем прекрасно, если подскажете конкретные книги.
↧
Отображение остатка на конец периода
Привет.
Нужно отобразить остатки на максимальную дату при выборе атрибутов из измерения дат:
1) если, например, в колонки извлечь месяца, то остатки должны быть на конец месяца - 31.01.2019,28.02.2019...
2) если полугодия, то 30.06.2018,31.12.2018...
3) если кварталы, то 31.03.2018, 30.06.2018 ...
и т.д.
Если не выбран ни один атрибут из измерения дат, то остатки на максимальную дату.
Подскажите, пожалуйста, в какую сторону копать?
Нужно отобразить остатки на максимальную дату при выборе атрибутов из измерения дат:
1) если, например, в колонки извлечь месяца, то остатки должны быть на конец месяца - 31.01.2019,28.02.2019...
2) если полугодия, то 30.06.2018,31.12.2018...
3) если кварталы, то 31.03.2018, 30.06.2018 ...
и т.д.
Если не выбран ни один атрибут из измерения дат, то остатки на максимальную дату.
Подскажите, пожалуйста, в какую сторону копать?
↧
informatica, source-file
Как передать в маппинг IPC название source-файла откуда будут тянуться данные?
Нужно записать в базу название этого файла отдельным столбцом для вставляемых строк.
Нужно записать в базу название этого файла отдельным столбцом для вставляемых строк.
↧
MDX предыдущий элемент по множеству
Здравствуйте господа,
Есть измерение дат [Value Date].[Date].[All].Children -- дни.
Есть некоторое множество (подмножество этих дат). Например это рабочие дни в данной области.
Есть некий показатель X.
Нужно найти разницу между значением показателя X в текущий день и предыдущий рабочий день (предыдущий согласно множеству PlatformTradingDates). Значения в дни, не входящий в множество не учитываются.
Известно, что вне этого множества Х равен NULL.
Есть идеи, как написать MDX для такого показателя?
В разделе вычисления куба.
Есть измерение дат [Value Date].[Date].[All].Children -- дни.
Есть некоторое множество (подмножество этих дат). Например это рабочие дни в данной области.
CREATE SET CURRENTCUBE.PlatformTradingDates AS EXISTS([Value Date].[Date].[All].Children,,"Platform Trading Dates");
Есть некий показатель X.
Нужно найти разницу между значением показателя X в текущий день и предыдущий рабочий день (предыдущий согласно множеству PlatformTradingDates). Значения в дни, не входящий в множество не учитываются.
Известно, что вне этого множества Х равен NULL.
Есть идеи, как написать MDX для такого показателя?
В разделе вычисления куба.
↧
↧
Динамический xmla запрос
В кубе есть около 100 партиций. Необходимо сделать process full для каждой.
Можно ли как то делать динамический запрос подставляя переменную в качестве имя партиции, аналогично EXEC в t-sql.
Или есть какой то способ попроще?:)
Можно ли как то делать динамический запрос подставляя переменную в качестве имя партиции, аналогично EXEC в t-sql.
Или есть какой то способ попроще?:)
↧
MSAS 2017. Несколько вопросов
Добрый день, форумчане.
Ответьте плз на несколько вопросов!
--Развернуто----
Microsoft Visual Studio Professional 2017 Версия 15.9.11
SQL Server Integration Services Версия 15.0.1100.123
Службы SQL Server Analysis Services 15.0.1331.137
----------------
1. Как переименовать измерения на русский язык, что бы новые названия были видны в экселе?
Само измерение переименовал в обозревателе решений по правой кнопке (в свойствах имя объекта стало на русском языке).
Элементы измерения переименовал в режиме конструирования в столбце Атрибуты. Пересобрал, обработал весь проект и отпроцессил куб.
В результате в экселе атрибуты переименованы, а само измерение нет.
2. Если что-то поменял в модели, можно разделить сборку и обработку, от процессинга куба?
Сейчас, если что-то меняю, то после обработки принудительно идет процессинг.
3. Скиньте плз ссылку на место в доке, где написано после каких изменений в проекте можно не процессится? Вообще, есть такие изменения? Например, переименование столбцов?
4. Если в отчете эксель нажать на показатель, "проваливаешься" в детальный отчет с названиями столбцов в формате [имя куба][$имя измерения.название столбца].
Можно ли переименовать эти длинные названия? Или оставить только последнюю часть имени- название столбца?
5. В таблице фактов, на основе которой строю куб, есть несколько неагрегируемых столбцов, типа "дата первой покупки", "дата первого контакта в текущем месяце" и т.д.
Добавляю эти поля в куб, ставлю схему агрегации "Нет агрегации", запускаю процессинг. Но при выборе этой даты в отчет, она пустая.
Ожидал получить все суммовые показатели отчета, разделенные по количеству этих дат.
Как вывести такие даты в отчет?
Ответьте плз на несколько вопросов!
--Развернуто----
Microsoft Visual Studio Professional 2017 Версия 15.9.11
SQL Server Integration Services Версия 15.0.1100.123
Службы SQL Server Analysis Services 15.0.1331.137
----------------
1. Как переименовать измерения на русский язык, что бы новые названия были видны в экселе?
Само измерение переименовал в обозревателе решений по правой кнопке (в свойствах имя объекта стало на русском языке).
Элементы измерения переименовал в режиме конструирования в столбце Атрибуты. Пересобрал, обработал весь проект и отпроцессил куб.
В результате в экселе атрибуты переименованы, а само измерение нет.
2. Если что-то поменял в модели, можно разделить сборку и обработку, от процессинга куба?
Сейчас, если что-то меняю, то после обработки принудительно идет процессинг.
3. Скиньте плз ссылку на место в доке, где написано после каких изменений в проекте можно не процессится? Вообще, есть такие изменения? Например, переименование столбцов?
4. Если в отчете эксель нажать на показатель, "проваливаешься" в детальный отчет с названиями столбцов в формате [имя куба][$имя измерения.название столбца].
Можно ли переименовать эти длинные названия? Или оставить только последнюю часть имени- название столбца?
5. В таблице фактов, на основе которой строю куб, есть несколько неагрегируемых столбцов, типа "дата первой покупки", "дата первого контакта в текущем месяце" и т.д.
Добавляю эти поля в куб, ставлю схему агрегации "Нет агрегации", запускаю процессинг. Но при выборе этой даты в отчет, она пустая.
Ожидал получить все суммовые показатели отчета, разделенные по количеству этих дат.
Как вывести такие даты в отчет?
↧
КУЧА разных данных
простите за заголовок, не знаю, как еще это компактно описать.
Суть: от дистрибьюторов приходят данные продаж в совершенно разных форматах. По этим данным затем необходимо построить ОЛАП-куб.
Например, привычные нам факты:
у дистрибьюторов могут выглядеть так:
И это еще далеко не самый трешовый вариант.
К тому же наименования полей могут быть в совершенно свободном стиле. Состав и их порядок, естественно, тоже.
Размер таблиц - сотни мегабайт текстовых данных (сотни тысяч строк, десятки полей)
Подскажите, придумало ли человечество машинную обработку таких данных? Чтобы на выходе получить нормально заполненную т.фактов для анализа.
Или необходимо сначала руками приводить все в человеческий вид?
Краем уха слышал про DataMining. Но это кажется не то.
Суть: от дистрибьюторов приходят данные продаж в совершенно разных форматах. По этим данным затем необходимо построить ОЛАП-куб.
Например, привычные нам факты:
|
у дистрибьюторов могут выглядеть так:
|
И это еще далеко не самый трешовый вариант.
К тому же наименования полей могут быть в совершенно свободном стиле. Состав и их порядок, естественно, тоже.
Размер таблиц - сотни мегабайт текстовых данных (сотни тысяч строк, десятки полей)
Подскажите, придумало ли человечество машинную обработку таких данных? Чтобы на выходе получить нормально заполненную т.фактов для анализа.
Или необходимо сначала руками приводить все в человеческий вид?
Краем уха слышал про DataMining. Но это кажется не то.
↧
MDX среднее значени
Добрый день. Очень нужна Ваша помощь.
Создал вычисляемую меру в кубе, которая считает уникальные значения кодов для каждого месяца, квартала, полугодия, года. Как сделать так, что бы для месяца считались уникальные значения, а для всех верхних значений иерархии считалось среднее от значений месяца.
Мера написана вот так iif(DISTINCTCOUNT([View].[Код].[Код])=0,null,DISTINCTCOUNT([View].[Код].[Код]))
Пример во вложении.
Создал вычисляемую меру в кубе, которая считает уникальные значения кодов для каждого месяца, квартала, полугодия, года. Как сделать так, что бы для месяца считались уникальные значения, а для всех верхних значений иерархии считалось среднее от значений месяца.
Мера написана вот так iif(DISTINCTCOUNT([View].[Код].[Код])=0,null,DISTINCTCOUNT([View].[Код].[Код]))
Пример во вложении.
↧
↧
Power BI. Что за визуальные компоненты?
Добрый день. Подскажите пожалуйста, насколько я понял в предлагаемом примере раскрывающийся фильтр слева и закладки страниц справа это какие то сторонние визуальные компоненты? Как называются? Где их взять? В штатном функционале такого не встречал.
https://app.powerbi.com/view?r=eyJrIjoiNzk3NzMzMjktNmU2YS00MTYxLTlkNzItN2ZhYjJmMGZhMWYzIiwidCI6IjRkZjA1NTRhLWU0MjQtNDMwYi05ZDQwLTcyZTgwMGU0NTM3ZCIsImMiOjl9
https://app.powerbi.com/view?r=eyJrIjoiNzk3NzMzMjktNmU2YS00MTYxLTlkNzItN2ZhYjJmMGZhMWYzIiwidCI6IjRkZjA1NTRhLWU0MjQtNDMwYi05ZDQwLTcyZTgwMGU0NTM3ZCIsImMiOjl9
↧
Измерение datetime
Всем, привет.
Есть ли способ сделать измерение с типом данных datetime, чтобы при выводе в excel формат воспринимался именно как дата + время. Какие я не ставил типы данных excel видит это поле как текст.
Пример (2015-01-30 09:11:19.000).
В общем чтобы измерение было не иерархией на основе подобного справочника :
id = 42032
Year = 2015
Quarter = 1
Month = 1
Day = 30
Hour = 9
Minute = 11
Second = 19
А чтобы в измерении было одно поле которое excel будет видеть датой со временем а не текстом
Есть ли способ сделать измерение с типом данных datetime, чтобы при выводе в excel формат воспринимался именно как дата + время. Какие я не ставил типы данных excel видит это поле как текст.
Пример (2015-01-30 09:11:19.000).
В общем чтобы измерение было не иерархией на основе подобного справочника :
id = 42032
Year = 2015
Quarter = 1
Month = 1
Day = 30
Hour = 9
Minute = 11
Second = 19
А чтобы в измерении было одно поле которое excel будет видеть датой со временем а не текстом
↧
Power bi vertipaq vs SQL Server 2016 columnstore
Всем привет.
Из того что с ходу нашёл, sql server columnstore Последний раз относительно аккуратно с vertipaq сравнивали 7 лет назад
New Whitepaper from SQLBI: Vertipaq vs ColumnStore
и тогда результаты были смешанными.
Еще есть
https://blogs.msdn.microsoft.com/analysisservices/2017/04/06/directquery-in-sql-server-2016-analysis-services-whitepaper/
Кто-нибудь еще сравнивал?
Из того что с ходу нашёл, sql server columnstore Последний раз относительно аккуратно с vertipaq сравнивали 7 лет назад
New Whitepaper from SQLBI: Vertipaq vs ColumnStore
и тогда результаты были смешанными.
Еще есть
https://blogs.msdn.microsoft.com/analysisservices/2017/04/06/directquery-in-sql-server-2016-analysis-services-whitepaper/
Кто-нибудь еще сравнивал?
↧