Faster than C?

Transcript

1. felixge Faster than C? Parsing binary data in JavaScript Felix

   Geisendörfer

2. @felixge felixge Background 2005 - 2008 2008 - now 2009

   - now

3. @felixge felixge The NodeCopter nodecopter.com

4. felixge This Talk

5. felixge JavaScript vs C

6. felixge Good vs Evil

7. felixge Good Parts vs Evil

8. felixge Bad Parts vs Evil

9. felixge Faster than C?

10. felixge No Sorry for the “title bait”

11. felixge As fast as C bindings For parsing binary protocols

    / database drivers

12. felixge The Story

13. felixge early 2010

14. felixge No MySQL module for node.js early 2010

15. felixge

16. felixge Pure JS / No C/C++

17. felixge Before Buffers became usable

18. felixge The Parser was using JavaScript Strings

19. felixge Node.js Trivia

20. felixge “ Buffers” used to be called “Blobs”

21. felixge For 3 min and 15 sec

22. felixge RIP Blobs ✞

23. felixge Sun Dec 13 08:39:20 2009 - Sun Dec 13

    08:42:45 2009

24. felixge Anyway

25. felixge mysql can be done without libmysql

26. felixge

27. felixge No good deed goes unpunished

28. felixge Sir Isaac Newton

29. felixge Third Law of Motion

30. “When a first body exerts a force F1 on a

    second body, the second body simultaneously exerts a force F2 = −F1 on the first body. This means that F1 and F2 are equal in magnitude and opposite in direction.”

31. felixge Third Law of Github

32. “When a first person pushes a library L1 into a

    remote repository, a second person simultaneously starts working on a second library L2 which will be equally awesome, but in a different way.”

33. felixge <3 Github!

34. felixge

35. @felixge felixge Benchmark • Parse ~180 MB / 100.000 rows

    of MySQL result data • 5 Columns: id, title, text, created, updated • -> create 100k objects with 500k keys + 500k values

36. felixge 0 500 1,000 1,500 mysql−0.9.6 mysql−libmysqlclient−1.5.1 benchmark mbit benchmark

    mysql−0.9.6 mysql−libmysqlclient−1.5.1

37. felixge Of course.

38. felixge libmysql = C

39. felixge my library = JavaScript

40. felixge C > JS, right?

41. felixge But V8!

42. felixge And Crankshaft!!

43. felixge Node.js !!!1!

44. felixge Was I living a lie?

45. felixge Kind of

46. felixge V8 / Node = Tools

47. felixge Performance is not a tool

48. felixge Performance is hard work & data analysis

49. felixge 0 500 1,000 1,500 mysql−0.9.6 mysql−libmysqlclient−1.5.1mysql−2.0.0−alpha3 benchmark mbit benchmark

    mysql−0.9.6 mysql−libmysqlclient−1.5.1 mysql−2.0.0−alpha3

50. felixge Third Law of Github

51. felixge

52. felixge 0 1,000 2,000 3,000 4,000 mysql−0.9.6 mysql−libmysqlclient−1.5.1 mysql−2.0.0−alpha3 mariadb−0.1.7

    benchmark mbit benchmark mysql−0.9.6 mysql−libmysqlclient−1.5.1 mysql−2.0.0−alpha3 mariadb−0.1.7

53. felixge Time to give up?

54. felixge NEVER!

55. felixge New Parser

56. @felixge felixge 0 2,000 4,000 6,000 mysql2 new−parser benchmark mbit

    benchmark mysql2 new−parser

57. felixge Third law of Github?

58. felixge Endgame

59. felixge Last bottleneck: V8 / Creating JS Objects

60. felixge Also: MySQL Server saturated

61. felixge Anyway

62. felixge How to write fast JS

63. felixge Does not work

64. @felixge felixge Profiling • Good at telling you which functions

    are slow • Bad at telling you how to fix it

65. felixge Taking performance advice from strangers

66. @felixge felixge Taking performance advice from strangers • Good for

    ideas & inspiration • But useless when applied cargo-cult style

67. @felixge felixge for (var i = 0; i < array.length;

    i++) { // do some work with array[i] }

68. @felixge felixge for (var i = 0, length = array.length;

    i < length; i++) { // do some work with array[i] }

69. felixge What Does Work?

70. felixge Benchmark Driven Development

71. @felixge felixge Benchmark Driven Development • Similar to test driven

    development • Use it when performance is an explicit design goal • Benchmark first > benchmark after !

72. felixge 1 function benchmark() { 2 // intentionally empty 3

    }

73. felixge 1 while (true) { 2 var start = Date.now();

    3 benchmark(); 4 var duration = Date.now() - start; 5 console.log(duration); 6 }

74. @felixge felixge Benchmark Driven Development • Next step: Implement a

    tiny part of your function • Example: Parse headers of MySQL packets • Look at impact, tweak code, repeat

75. @felixge felixge Example Results • try...catch is ok • big

    switch statement = bad • function calls = very cheap • buffering is ok

76. @felixge felixge Favorite Optimization: Loop unrolling with eval()’s good twin

    new Function()

77. @felixge felixge 1 function parseRow(columns, parser) { 2 var row

    = {}; 3 for (var i = 0; i < columns.length; i++) { 4 row[columns[i].name] = parser.readColumnValue(); 5 } 6 return row; 7 }

78. @felixge felixge 1 function parseRow(columns, parser) { 2 return {

    3 id : parser.readColumnValue(), 4 title : parser.readColumnValue(), 5 body : parser.readColumnValue(), 6 created : parser.readColumnValue(), 7 updated : parser.readColumnValue(), 8 }; 9 }

79. @felixge felixge How can we unroll this loop at runtime?

80. @felixge felixge 1 var code = 'return {\n'; 2 3

    columns.forEach(function(column) { 4 code += '"' + column.name + '":' + 'parser.readColumnValue(),\n'; 5 }); 6 7 code += '};\n'; 8 9 var parseRow = new Function('columns', 'parser', code);

81. PLEASE DO NOT REMEMBER THIS - DO YOUR OWN BENCHMARKS!!!

82. @felixge felixge Data Analysis

83. @felixge felixge Data analysis • Produce data points as tab

    separated values • Add as many VM/OS metrics as you can get to every line • Do not mix data and analysis !!

84. @felixge felixge Recommended Tools • node benchmark.js | tee results.tsv

    • R Programming language (with ggplot2) ! • Makefiles, Image Magick, Skitch

85. @felixge felixge Why?

86. @felixge felixge 0 2,000 4,000 6,000 mysql2 new−parser benchmark mbit

    benchmark mysql2 new−parser

87. @felixge felixge • • • • • • • •

    • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • •• • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 3,000 4,000 5,000 6,000 mysql2 new−parser benchmark mbit benchmark • • mysql2 new−parser

88. @felixge felixge • • • • • • • •

    • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • •• • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 3,000 4,000 5,000 6,000 mysql2 new−parser benchmark mbit benchmark • • mysql2 new−parser Dafuq? Dafuq?

89. @felixge felixge 3,000 4,000 5,000 6,000 0 100 200 300

    number mbit benchmark mysql2 new−parser

90. @felixge felixge 10 20 30 0 100 200 300 number

    Heap Total (MB) benchmark mysql2 new−parser

91. @felixge felixge 5 10 15 0 100 200 300 number

    Heap Used (MB) benchmark mysql2 new−parser

92. @felixge felixge tl;dr

93. @felixge felixge 1. Write a benchmark 2. Write/change a little

    code 3. Collect data 4. Find problems 5. Goto 2

94. @felixge felixge Thank you Felix Geisendörfer

95. @felixge felixge github.com/felixge/faster-than-c All benchmarks, results and analysis scripts Felix

    Geisendörfer