Виктор Грищенко (JetBrains), Свой протокол и кросс-платформенные парсеры за 30 минут, CodeFest 2017

https://2017.codefest.ru/lecture/1222

Допустим, у вас возникла задача создания небольшого кросс-платформенного протокола для использования на сервере, в браузере и в мобильных клиентах.

Обычный ответ - JSON, но JSON дорого парсить и он не даёт решительно никаких гарантий относительно структуры получившегося документа - образовавшееся дерево объектов придётся парсить по второму разу. Типизированные бинарные парсеры (protobuf и др) недостаточно кросс-платформенны.

Я расскажу про простое, но очень эффективное решение на основе регулярных языков. Как оказалось, регулярные выражения можно использовать промышленно (если не писать их руками). Учитывая повсеместную поддержку PCRE и их хорошую производительность (миллионы записей в секунду), новый текстовый протокол с верификацией структуры сообщений и парсерами под все платформы можно создать за полчаса.

Transcript

1. Свой протокол и кросс- платформенные парсеры за 30 минут Когда JSON уже не подходит Виктор Грищенко Синьор помидор realm.io
2. Мно-го-плат-фор-мен-ность!!! http://seriot.ch/parsing_json.php
3. Формальные языки С++ HTML CSS
4. Парcеры <(\w+)\s*(\w+=“[^”]*”)>
5. Байтики message Person { required string user_name = 1; optional int64 favourite_number = 2; repeated string interests = 3; }
6. Грамматики const INVENTORY_JSON = new Grammar({ FLOAT: /\d{1,16}(\.\d{1,15})?/, INT: /\d{1,16}/, STRING: /"(\\.|[^"])*"/, IDKV: '"\\"id\\"" :STRING', NAMEKV: '"\\"name\\"" :STRING', QUANTKV:'"\\"quantity\\"" :INT', PRICEKV:'"\\"price\\"" :FLOAT', ENTRY: '{ IDKV ,NAMEKV? ,QUANTKV? ,PRICEKV? }', LIST: '[ ENTRY ,ENTRY* ]' }); {"id":"A345", "name":"teddy bear", "price": 5.45} ,ENTRY*
7. https://www.google.ru/search?q=regex+site:xkcd.com https://alf.nu/RegexGolf
8. Регулярки /^\s*\[\s*(\{\s*(?:(?:"id"\s*)\:\s*(?:"(?:\\.|[^"])*")) \s*(?:\,\s*(?:(?:"name"\s*)\:\s*(?:"(?:\\.|[^"])*")))? \s*(?:\,\s*(?:(?:"quantity"\s*)\:\s*(?:\d+)))?\s*(?:\, \s*(?:(?:"price"\s*)\:\s*(?:\d+(?:\.\d{1,15})?)))? \s*\}\s*)((?:\,\s*\{\s*(?:(?:"id"\s*)\:\s*(?:"(?:\\.| [^"])*"))\s*(?:\,\s*(?:(?:"name"\s*)\:\s*(?:"(?:\\.| [^"])*")))?\s*(?:\,\s*(?:(?:"quantity"\s*)\:\s*(?: \d+)))?\s*(?:\,\s*(?:(?:"price"\s*)\:\s*(?:\d+(?:\. \d{1,15})?)))?\s*\}\s*)*)\s*\]\s*$/m
9. Бенчи size: 200000 entries length: 10200000chars JSON.parse 189ms Grammar.is 95ms Grammar.split 122ms
10. Недопротобуф #1MOC-Agritzko1.lww@1MOC02-Agritzko1:name=“teddy bear” # 1MOC - Agritzko1 . lww @ 1MOC02 - Agritzko1 : name = “teddy bear”
11. Immutable AST
12. @gritzko Виктор Грищенко Синьор помидор realm.io Чо? victor.grishchenko github.com/gritzko/ regular-grammar gritzko@ya.ru