Postgres Professional готовится к HighLoad++2016
7 и 8 ноября 2016 на территории Новой Москвы - в Сколково - пройдет Профессиональная конференция разработчиков высоконагруженных систем HighLoad++2016. Сотрудники нашей компании уже подали заявки на тематическую секцию «Базы данных и системы хранения». На сегодняшний день нашими докладчиками заявлено 9 горячих тем и мы очень надеемся, что они войдут в окончательную программу конференции.
В предварительной программе конференции - на ее сайте - анонсы наших докладов уже опубликованы и уже сейчас можно задать вопрос докладчику, поддержать его или высказать собственное мнение по заявленной для доклада теме. Комментируйте наши доклады прямо сейчас: задавайте докладчикам вопросы - это поможет нам понять, что в теме доклада вас интересует более всего и на чем именно нужно остановиться подробнее. Если доклад, который вызвал ваш интерес, не пройдет в основную программу конференции, мы прочитаем его в один из перерывов на стенде нашей компании и будем рады ответить на ваши вопросы.
Итак, кто из сотрудников Postgres Professional с какими докладами готовится выступить на конференция разработчиков высоконагруженных систем HighLoad++2016:
«Новые возможности полнотекстового поиска в PostgreSQL»
Спикер: Олег Бартунов | Postgres Professional
Родился в маленьком степном городке Элиста, получил диплом астронома на физфаке МГУ, работаю научным сотрудником в отделе эмиссионных звезд и галактик ГАИШ МГУ, разработчик PostgreSQL с 1996 года член PostgreSQL Foundation. В Постгресе основные интересы - это его расширяемость (GiST, GIN, SP-GiST), новые типы данных, индексы, соавтор полнотекстового поиска, хранилища для слабо-структурированных данных (hstore) и многих других расширений. Работал над многими интернет-проектами, самый известный из них - Рамблер. Основатель самого крупного астрономического сайта astronet.ru.
Играю в волейбол, бегаю, хожу в горы, увлекаюсь фотографией и иногда йожусь. Люблю сидеть в Камергерском, пить чай и разглядывать людей. Совсем забыл, женат, не курю и не пью.
Тезисы доклада
Я расскажу про новые возможности полнотекстового поиска, которые вошли в последний релиз PostgreSQL - поддержку фразового поиска и набор функций для манипулирования полнотекстовым типом данных (tsvector). Помимо этого, мы улучшили поддержку морфологических словарей, что привело к значительному увеличению числа поддерживаемых языков, оптимизировали работу со словарями, разработали новый индексный метод доступа RUM, который значительно ускорил выполнение ряда запросов с полнотекстовыми операторами.
задать вопрос докладчику
«Внутреннее устройство PostgreSQL: временные таблицы и файловый кэш»
Спикер: Григорий Смолкин | Postgres Professional
Системный администратор и PostgreSQL энтузиаст.
Тезисы доклада
Всем известно о существовании временных таблиц в PostgreSQL, но как они устроены, и чем грозит их некорректное использование - не столь очевидно.На примере одного известного приложения, активно и некорректно использующего временные таблицы, мы расскажем о создаваемой ими проблеме фрагментации памяти.
Что такое фрагментация памяти, по каким признакам можно определить ее наличие, чем она грозит, почему она возникает при активном использовании временных таблиц, и как мы пропатчили PostgreSQL, чтобы ее избежать - обо всем этом можно узнать из нашего доклада.
задать вопрос докладчику
«Автономные транзакции в PostgreSQL»
Спикер: Константин Пан | Postgres Professional
Занимаюсь задачами, связанными с параллелизмом, распределённостью и асинхронностью.
Тезисы доклада
Иногда от СУБД требуется странное - откатить все изменения текущей транзакции, кроме некоторых. Обычно это используется для аудита или логов и реализуется с помощью механизма автономных транзакций. Этого механизма в PostgreSQL до сих пор не было, а пользователи обходили проблему с помощью dblink и pg_background. Мы решили исправить это, добавив в PostgreSQL возможность начинать автономную транзакцию в ходе текущей и применять или откатывать её независимо.В докладе рассмотрена идея, реализация, способы применения и дальнейший путь развития PostgreSQL в этом направлении.
задать вопрос докладчику
«PostgreSQL: временные таблицы без "распухания" (bloating) каталога»
Спикер: Александр Алексеев | Postgres Professional
Программист. Работаю с 2007 года. OSS- и FP-энтузиаст, контрибьютор в PostgreSQL, FreeBSD и других открытых проектах. Являюсь автором блога eax.me и одним из постоянных ведущих подкаста devzen.ru
Тезисы доклада
Как вам может быть известно, PostgreSQL хранит информацию обо всех таблицах в специальных системных таблицах, называемых каталогом. Существуют приложения, которые создают и удаляют большое количество временных таблиц, что приводит к "распуханию" (bloating) каталога и срабатыванию автовакуума. Прогон автовакуума на каталоге является довольно дорогостоящей операцией, просаживающей производительность всего инстанса СУБД.В этом докладе я хотел бы рассказать о патче для PostgreSQL, который пытается решить эту проблему. Решение заключается в том, чтобы ввести новый вид временных таблиц - fast temporary table. Информация о таких таблицах хранится только в памяти, образуя как бы "виртуальную" часть каталога. Таким образом, информация о временных таблицах не попадает на диск и не приводит к распуханию каталога.
задать вопрос докладчику
«Адаптивная оптимизация запросов в реляционных СУБД»
Спикер: Олег Иванов | Postgres Professional
В школе активно и успешно участвовал в олимпиадах по математике, физике, информатике. Победитель всероссийских олимпиад школьников по информатике (2010, 2012), золотая медаль на международной олимпиаде школьников по информатике (2012). Участник различных школ по алгоритмам и структурам данных, машинному обучению. В университете (ВМК МГУ) начал научную работу в области машинного обучения (обучение представлений, big data) в составе группы байесовских методов. В компании Postgress Professional работаю над применением машинного обучения для оптимизации запросов в СУБД.
Тезисы доклада
Как известно, SQL - декларативный язык. В SQL-запросе заданы операции и свойства данных, над которыми эти операции должны быть выполнены. Но за выбор конкретного алгоритма выполнения запроса отвечает СУБД. В реляционных СУБД эти алгоритмы называются планами выполнения запроса, а процесс поиска наиболее быстрого плана - оптимизацией запроса. От выбора правильного плана существенно зависит скорость и эффективность выполнения запроса, а, значит, и производительность всей СУБД.Наиболее популярным методом оптимизации запросов в современных реляционных СУБД является стоимостная оптимизация запросов, которая впервые была предложена в System R. В докладе описывается метод стоимостной оптимизации, рассматривается, какую статистику и как использует этот метод для оптимизации запросов. Затем разбираются основные недостатки стоимостной оптимизации и существующие подходы к их исправлению.
Основная тема доклада - адаптивная оптимизация запросов. Адаптивная оптимизация запросов - это новый подход, основанный на стоимостной оптимизации, но позволяющий избавиться от некоторых ее недостатков. Основная идея адаптивной оптимизации запросов - использование при оптимизации запросов статистики выполнения, собранной во время предыдущего исполнения похожих запросов. В отличие от адаптивной оптимизации, в классической стоимостной оптимизации используется только предварительно собранная статистика по данным.
В докладе рассматривается конкретный способ адаптивной оптимизации, основанный на методах машинного обучения. Для него приводятся результаты сравнения адаптивной и стоимостной оптимизации на примере СУБД PostgreSQL, обсуждаются плюсы и минусы адаптивной оптимизации, возможности её применения.
задать вопрос докладчику
«PostgreSQL: практические примеры оптимизации SQL-запросов»
Спикер: Иван Фролков | Postgres Professional
Рабработчик БД с 1993 года
Тезисы доклада
Довольно часто как администраторы, так и разработчики жалуются на низкую производительность приложений, работающих с базой данных, и нередко при этом ищут решения возникших проблем с помощью различных настроек как СУБД, так и операционной системы, пренебрегая при этом самым действенным способом - оптимизацией запросов к собственно БД.Тому, как понимать, где же узкие места, и как их можно попробовать избежать на примере PostgreSQL и посвящен этот доклад.
задать вопрос докладчику
«Долгожданный релиз pg_pathman 1.0»
Спикер: Александр Коротков | Postgres Professional
Имеет статус PostgreSQL major contributor, разработал следующие фичи СУБД PostgreSQL: команда CREATE ACCESS METHOD, generic WAL интерфейс, lockfree Pin/UnpinBuffer, индексный поиск по регулярным выражениям в pg_trgm, сжатие и "быстрый поиск" по GIN индексам, буферизованный алгоритм построения и улучшенное разбиение страниц для GiST индексов, статистика и оценки селективности для массивов и диапазонных типов, улучшения в нечётком поиске строк, KNN-GiST с перепроверкой по heap. Защитил кандидатскую диссертацию, основанную на своём вкладе в развитие PostgreSQL.
Тезисы доклада
Механизм секционирования в Postgres имеет ряд ограничений, которые не позволяют использовать концепцию секционирования в полной мере. Среди таких ограничений можно выделить неэффективность планирования запросов для секционированных таблиц (линейный рост времени планирования при увеличении количества секций), отсутствие HASH-секционирования, необходимость ручного управления секциями.В нашем докладе мы расскажем про расширение pg_pathman, которое позволяет обойти эти ограничения. pg_pathman реализует RANGE и HASH секционирования с логарифмическим и константным временами планирования соответственно. В pg_pathman поддерживается определение секции на этапе выполнения, конкурентное секционирование.
pg_pathman долго находился в стадии beta-тестирования, но теперь мы рады, наконец, сообщить о релизе 1.0. В докладе мы расскажем как про детали внутреннего устройства, так и про приёмы практического использования.
задать вопрос докладчику
«Open Source SQL базы данных вступили в эру миллионов запросов в секунду»
Спикер: Света Смирнова | «Перкона» (Percona)
Света Смирнова работает в технической поддержке MySQL более 10 лет, с 2006 года. Она автор книги "MySQL Troubleshooting" (http://shop.oreilly.com/product/0636920021964.do) и JSON UDF фунцкций для MySQL, которые послужили дизайн-прототипом встроенным JSON функциям. В 2006-2015 годах работала в Bugs Analysis MySQL Support Group в компаниях MySQL AB, затем Sun, после Oracle. В марте 2015 года Света начала работать в команде технической поддержки в компании Percona. В 2012-2015 годах она представляла техническую поддержку в комитете по приоритету ошибок в Oracle, в 2016 возобновила эту работу в Percona. Света также представляла техническую поддержку в MySQL Enterprise Backup Development Team. Она ежедневно работает над сложными кейсами и ошибками MySQL. Света - активный участник Open Source сообщества. Её основные интересы в последнее время - решение задач, возникающих перед администраторами баз данных, поиски методов автоматизации и эффективные техники резервного копирования.
Спикер: Александр Коротков | Postgres Professional
Имеет статус PostgreSQL major contributor, разработал следующие фичи СУБД PostgreSQL: команда CREATE ACCESS METHOD, generic WAL интерфейс, lockfree Pin/UnpinBuffer, индексный поиск по регулярным выражениям в pg_trgm, сжатие и "быстрый поиск" по GIN индексам, буферизованный алгоритм построения и улучшенное разбиение страниц для GiST индексов, статистика и оценки селективности для массивов и диапазонных типов, улучшения в нечётком поиске строк, KNN-GiST с перепроверкой по heap. Защитил кандидатскую диссертацию, основанную на своём вкладе в развитие PostgreSQL.
Тезисы доклада
Широко распространено мнение, что SQL СУБД обречены быть медлительными и неповоротливыми, поскольку несут груз совместимости с предыдущими версиями. Это расхожее мнение широко эксплуатируется маркетингом NoSQL СУБД. Однако, это не всегда действительно так.Разработка в Open Source сообществе позволяет продукту развиваться достаточно гибко, чтобы отвечать требованиям времени. В MySQL и PostgreSQL – самых популярных Open Source СУБД – недавно были проведены оптимизации для работы на больших серверах, что позволило им выполнять более миллиона SQL-запросов в секунду на одном экземпляре БД.
В данном докладе будут рассмотрены конкретные оптимизации, которые позволили добиться таких результатов, которые раньше могли бы показаться фантастическими. И можно сказать, что Open Source СУБД вошли в эру миллионов запросов в секунду.
задать вопрос докладчикам
«Postgres 10 на горизонте. Прости нас, совместимость...»
Спикер: Фёдор Сигаев | Postgres Professional
В 1996 г. окончил физический факультет МГУ. Работал в одной из первых веб-студий страны «Махаон». После этого работал в компаниях Rambler, Stack Group, Mail.ru. С 2000 г. — разработчик СУБД PostgreSQL. Совместно с Олегом Бартуновым разработал для PostgreSQL систему полнотекстового поиска, средства поддержки слабоструктурированных данных, индексные методы доступа, в том числе к пространственным данным, и другой функционал данной платформы.
Спикер: Александр Коротков | Postgres Professional
Имеет статус PostgreSQL major contributor, разработал следующие фичи СУБД PostgreSQL: команда CREATE ACCESS METHOD, generic WAL интерфейс, lockfree Pin/UnpinBuffer, индексный поиск по регулярным выражениям в pg_trgm, сжатие и "быстрый поиск" по GIN индексам, буферизованный алгоритм построения и улучшенное разбиение страниц для GiST индексов, статистика и оценки селективности для массивов и диапазонных типов, улучшения в нечётком поиске строк, KNN-GiST с перепроверкой по heap. Защитил кандидатскую диссертацию, основанную на своём вкладе в развитие PostgreSQL.
Спикер: Олег Бартунов | Postgres Professional
Родился в маленьком степном городке Элиста, получил диплом астронома на физфаке МГУ, работаю научным сотрудником в отделе эмиссионных звезд и галактик ГАИШ МГУ, разработчик PostgreSQL с 1996 года член PostgreSQL Foundation. В Постгресе основные интересы - это его расширяемость (GiST, GIN, SP-GiST), новые типы данных, индексы, соавтор полнотекстового поиска, хранилища для слабо-структурированных данных (hstore) и многих других расширений. Работал над многими интернет-проектами, самый известный из них - Рамблер. Основатель самого крупного астрономического сайта astronet.ru.
Играю в волейбол, бегаю, хожу в горы, увлекаюсь фотографией и иногда йожусь. Люблю сидеть в Камергерском, пить чай и разглядывать людей. Совсем забыл, женат, не курю и не пью.
Тезисы доклада
В непростом современном ландшафте баз данных нам важно определиться, какие фичи PostgreSQL мы хотим разработать в ближайшие 2-3 года, чтобы быть конкурентоспособными с другими универсальными реляционными базами данных, такими как MySQL, Oracle, MS SQL."Postgres 10" уже стал мемом в постгресовом сообществе, он подразумевает улучшенную версию, вдохновляющую пользователей Постгреса смотреть в будущее с надеждой. Всё ещё не ясно, собираемся ли мы нарушить совместимость – у разработчиков нет единого мнения на этот счёт.
Мы хотим прояснить этот вопрос и поговорить с широкой аудиторией о новом поколении Постгреса (Postgres new generation) без оглядки на совместимость с предыдущими версиями. Мы представляем матрицу зависимости между ключевыми фичами и архитектурными решениями Постгреса, которые предлагается пересмотреть.
Мы намереваемся сделать презентацию, по возможности, простой и полезной для тех, кто хочет познакомиться с внутренностями Постгреса.
задать вопрос докладчикам
А кроме этого мы планируем развернуть в холле конференции стенд нашей компании, на котором тоже будет представлено много интересного. И если какой-то из заявленных наших докладов не пройдет в программу конференции, он все равно будет представлен - уже на нашем стенде, где тоже можно будет задать свои вопросы и пообщаться с докладчиком. Поэтому смело задавайте здесь свои вопросы, высказывайте пожелания для наших спикеров. Ваши вопросы не останутся без ответа.
PS: Все перечисленные выше доклады заявлены от нашей компании для выступлений в секции «Базы данных и системы хранения». Но есть еще один доклад, который будет заявлен в секцию «Бэкенд». Это доклад программиста-разработчика нашей компании Александра Алексеева - «Профилирование кода на C/C++ в *nix-системах». Он также имеет отношение к технологиям БД и будет Вам интересен.
«Профилирование кода на C/C++ в *nix-системах»
Спикер: Александр Алексеев | Postgres Professional
Программист. Работаю с 2007 года. OSS- и FP-энтузиаст, контрибьютор в PostgreSQL, FreeBSD и других открытых проектах. Являюсь автором блога eax.me и одним из постоянных ведущих подкаста devzen.ru
Тезисы доклада
Из этого доклада вы узнаете, как профилировать код, написанный на языках C и C++, в UNIX-подобных системах, таких как Linux, MacOS и FreeBSD. Мы познакомимся с такими инструментами, как gprof, perf, SystemTap, DTrace, и другими.Также будут приведены списки заслуживающей внимания литературы по этой теме и ссылок на онлайн-ресурсы. Доклад будет интересен как разработчикам, так и системным администраторам.
задать вопрос докладчику
Далее, немного полезной информации о предстоящей конференции разработчиков высоконагруженных систем HighLoad++2016:
