個人開発OSSが世界に勝て なかった話 yukinarit (Yukinari TANI)

自己紹介 ＊ yukinarit (https://github.com/yukinarit) ＊ MapboxというアメリカのIT企業でソフトウェアエンジニアをしています 地図会社 カーナビ / 経路探索Webサービス ゲーム会社 MMORPGゲームサーバ 証券会社 Market Data / 先物オプション取引 Mapbox 広告 / EVプラットフォーム開発 Rust何も分からない... #7 「Rustで高速な広告配信サービスを作っている話」

きっかけは、ゆーすけべー氏のブログ。 カッコいいと思った。

pyserde ＊ RustのserdeにインスパイアされたPython用シリアライズフレームワーク ＊ serdeはRustのすごいすごいフレームワーク (lib.rsでは人気No.1)

No content

JSONからデシリアライズ “country”がMaxLen(3)に違反しているためエラー

pyserdeでできること ＊ Data Format: dict, tuple, JSON, YAML, TOML, MsgPack, Pickle ＊ Supported types 　　＊ dict, list, set, frozenset, defaultdict, Union, Optional, Any 　　＊ NewType, Literal, Generic, ClassVar, InitVar, Enum 　　＊ pathlib, decimal, uuid, datetime, ipaddress, numpy … ＊ Case conversion, Rename, Alias, Skip, Flatten ＊ Custom field/class/global (de)serializer ＊ Strict type check, type coercing

pyserdeをつくった動機 ＊ 証券会社時代にC++17, Rust, Pythonで使える社内RPCフレームワークを開発 ＊ Serialization: MsgPack ＊ Transport: ZeroMQ (TCP, Uni/Multicast, IPC etc.) ＊ Rustのserdeのようなライブラリがほしかった ＊ python 3.7のdataclassesをベースに作れそうだったので始めてみた

pydantic ＊ 型アノテーションを利用したデータバリデーションライブラリ ＊ FastAPIにも使われている

なんで世界と勝負しようと思ったの？ ありがたいことにXやGithubでpyserde vs. pydanticを言及してくれる人がいた こういう声はやっぱりうれしい

あれ、もしかしてpydanticに勝てるかも?🤔

結果

No content

No content

全然勝てませんでした＼(^o^)／

勝てなかった理由ってなんだろう？🤔

理由1: 1人対企業 ＊ pydanticは法人になっており、10人のフルタイム開発者がいる ＊ ライブラリバックエンドはRustで実装、mypyプラグイン、他パッケージ (numpy, sqlalchemy)とのインテグレーション、ランディングページ .. etc

理由1: 1人対企業 普通にやっても勝てないので、 ＊ シリアライズ・デシリアライズの問題解決に集中する ＊ ランタイムの型チェックはbeartypeに任せる ＊ サードパーティーのパッケージのインテグレーションは、本体に入れずなるべ くExtensionでやる でも、個人的には開発力の差は大きな問題ではない

理由2: 広報活動 自分はインフルエンサーでもないし、勉強会やカンファレンスで発表することは 滅多にない Kobzol氏が書いたWriting Python like it's RustがHacker Newsランキング入り

理由2: 広報活動 プロダクトを作る情熱以上に発信することが重要 HackerNewsランキング入りで 一週間で300スターぐらいUP 😲

理由: Rust 2017年からRustを使いはじめ、今ではほぼRustで書くようになってしまった WebAPI IaC HTTP以外のサービス (TCP, UDP etc) スクリプティング データエンジニアリング CLI 2017年以前 2024年現在 WebAPI IaC HTTP以外のサービス (TCP, UDP etc) スクリプティング データエンジニアリング CLI OSSのユーザーであり続け、ドッグフーディングするのが重要

ここまでやってきて良かったこと 学んだこと

ドキュメントを英語でちゃんと書く ＊ README: 概要、機能一覧、ライセンス、コントリビュータ一覧等 ＊ Guide: 主にチュートリアルや機能の説明等 ＊ API documentation: 内部APIのドキュメント ドキュメント書くのはかなりつらいです😅 でも大事なので頑張っています。

とことん自動化 ＊ CIでユニットテスト、Linter、スタイルチェック、コードカバレッジ ＊ ドキュメントのビルド ＊ Github ReleaseでCHANGELOG生成、PyPIでパッケージ公開 ＊ .github/release.yml, poetry-dynamic-versioning GitHub Actionsでいい感じのリリースノートを完全自動で作成する poetryを利用した動的なバージョン管理とGitHub ActionsによるPyPIへのrelease

とことん自動化

全部自分でやらない ＊ OSS活動したい人はコントリビュートできるし、OSS側はコントリビュータを 増やせるのでwin-win ＊ Good first issueラベルを付けておくと、彼らが探しやすい

でも何でもいれたらいいわけではない プロジェクトの方針に合わない場合はちゃんと断りましょう。過去になんとなく 変更を入れてしまってテストが不十分だったり、あとで意図が分からなくなって しまったことがありました。

思い切ってある程度の互換性は捨てる ＊ Python 3.8サポートをEOLより数ヶ月前に停止したらコードも綺麗になって、 生産性もやる気も上がった

機能毎に超簡単なexampleを作る リグレッションテストにもなるし、機能のshowcaseにもなる alias.py any.py class_var.py collection.py custom_class_serializer.py custom_field_serializer.py custom_legacy_class_serializer.py default_dict.py default.py enum34.py env.py field_order.py flatten.py forward_reference.py frozen_set.py generics_nested.py generics_pep698.py generics.py global_custom_class_serializer.py init_var.py jsonfile.py kw_only.py lazy_type_evaluation.py literal.py msg_pack.py nested.py newtype.py pep681.py plain_dataclass_class_attribute.py plain_dataclass.py primitive_subclass.py python_pickle.py recursive_list.py recursive.py recursive_union.py rename_all.py rename.py simple.py skip.py tomlfile.py type_check_coerce.py type_check_disabled.py type_datetime.py type_decimal.py type_ipaddress.py type_numpy.py type_pathlib.py type_uuid.py union_directly.py union.py union_tagging.py user_exception.py variable_length_tuple.py yamlfile.py

自作OSSを業務で使っていく 可能であれば自分の業務でどんどん使っていくことをおすすめします。業務で使 うと足りない機能や問題点がつかみ易いです。

無理をしない 過去に家族との時間を犠牲にしてまでOSS開発していたことがありました。自分 の妻や子供の人生の方が自分のキャリアより大事だということに気が付き、家族 優先で空いた時間にマイペースにやるようにしています。

おわりに せっかくpyserdeのことについて知ってもらえたので、良ければ使ってみてくだ さい！ また、コントリビュートしたいんだけど何したらいい？ここの設計どうなってん の？みたいな質問でもいいし、その他、相談、質問、コメントがあったら以下に どうぞ。 ＊ https://x.com/pyserde ＊ [email protected]