個人開発OSSが世界に勝てなかった話

個人開発OSSが世界に勝てなかった話 yukinarit (Yukinari TANI)

自己紹介＊ yukinarit (https://github.com/yukinarit) ＊ MapboxというアメリカのIT企業でソフトウェアエンジニアをしています地図会社カーナビ / 経路探索Webサービス
ゲーム会社 MMORPGゲームサーバ証券会社 Market Data / 先物オプション取引 Mapbox 広告 / EVプラットフォーム開発 Rust何も分からない... #7 「Rustで高速な広告配信サービスを作っている話」

きっかけは、ゆーすけべー氏のブログ。カッコいいと思った。

pyserde ＊ RustのserdeにインスパイアされたPython用シリアライズフレームワーク＊ serdeはRustのすごいすごいフレームワーク (lib.rsでは人気No.1)

JSONからデシリアライズ “country”がMaxLen(3)に違反しているためエラー

pyserdeでできること＊ Data Format: dict, tuple, JSON, YAML, TOML, MsgPack,
Pickle ＊ Supported types 　　＊ dict, list, set, frozenset, defaultdict, Union, Optional, Any 　　＊ NewType, Literal, Generic, ClassVar, InitVar, Enum 　　＊ pathlib, decimal, uuid, datetime, ipaddress, numpy … ＊ Case conversion, Rename, Alias, Skip, Flatten ＊ Custom field/class/global (de)serializer ＊ Strict type check, type coercing

pyserdeをつくった動機＊証券会社時代にC++17, Rust, Pythonで使える社内RPCフレームワークを開発＊ Serialization: MsgPack ＊ Transport:
ZeroMQ (TCP, Uni/Multicast, IPC etc.) ＊ Rustのserdeのようなライブラリがほしかった＊ python 3.7のdataclassesをベースに作れそうだったので始めてみた

pydantic ＊型アノテーションを利用したデータバリデーションライブラリ＊ FastAPIにも使われている

なんで世界と勝負しようと思ったの？ありがたいことにXやGithubでpyserde vs. pydanticを言及してくれる人がいたこういう声はやっぱりうれしい

あれ、もしかしてpydanticに勝てるかも?🤔

結果

全然勝てませんでした＼(^o^)／

勝てなかった理由ってなんだろう？🤔

理由1: 1人対企業＊ pydanticは法人になっており、10人のフルタイム開発者がいる＊ライブラリバックエンドはRustで実装、mypyプラグイン、他パッケージ (numpy, sqlalchemy)とのインテグレーション、ランディングページ .. etc

理由1: 1人対企業普通にやっても勝てないので、＊シリアライズ・デシリアライズの問題解決に集中する＊ランタイムの型チェックはbeartypeに任せる＊サードパーティーのパッケージのインテグレーションは、本体に入れずなるべくExtensionでやる
でも、個人的には開発力の差は大きな問題ではない

理由2: 広報活動自分はインフルエンサーでもないし、勉強会やカンファレンスで発表することは滅多にない Kobzol氏が書いたWriting Python like it's RustがHacker Newsランキング入り

理由2: 広報活動プロダクトを作る情熱以上に発信することが重要 HackerNewsランキング入りで一週間で300スターぐらいUP 😲

理由: Rust 2017年からRustを使いはじめ、今ではほぼRustで書くようになってしまった WebAPI IaC HTTP以外のサービス (TCP, UDP etc) スクリプティング
データエンジニアリング CLI 2017年以前 2024年現在 WebAPI IaC HTTP以外のサービス (TCP, UDP etc) スクリプティングデータエンジニアリング CLI OSSのユーザーであり続け、ドッグフーディングするのが重要

ここまでやってきて良かったこと学んだこと

ドキュメントを英語でちゃんと書く＊ README: 概要、機能一覧、ライセンス、コントリビュータ一覧等＊ Guide: 主にチュートリアルや機能の説明等＊ API documentation:
内部APIのドキュメントドキュメント書くのはかなりつらいです😅 でも大事なので頑張っています。

とことん自動化＊ CIでユニットテスト、Linter、スタイルチェック、コードカバレッジ＊ドキュメントのビルド＊ Github ReleaseでCHANGELOG生成、PyPIでパッケージ公開＊ .github/release.yml,
poetry-dynamic-versioning GitHub Actionsでいい感じのリリースノートを完全自動で作成する poetryを利用した動的なバージョン管理とGitHub ActionsによるPyPIへのrelease

とことん自動化

全部自分でやらない＊ OSS活動したい人はコントリビュートできるし、OSS側はコントリビュータを増やせるのでwin-win ＊ Good first issueラベルを付けておくと、彼らが探しやすい

でも何でもいれたらいいわけではないプロジェクトの方針に合わない場合はちゃんと断りましょう。過去になんとなく変更を入れてしまってテストが不十分だったり、あとで意図が分からなくなってしまったことがありました。

思い切ってある程度の互換性は捨てる＊ Python 3.8サポートをEOLより数ヶ月前に停止したらコードも綺麗になって、生産性もやる気も上がった

機能毎に超簡単なexampleを作るリグレッションテストにもなるし、機能のshowcaseにもなる alias.py any.py class_var.py collection.py custom_class_serializer.py custom_field_serializer.py custom_legacy_class_serializer.py default_dict.py
default.py enum34.py env.py field_order.py flatten.py forward_reference.py frozen_set.py generics_nested.py generics_pep698.py generics.py global_custom_class_serializer.py init_var.py jsonfile.py kw_only.py lazy_type_evaluation.py literal.py msg_pack.py nested.py newtype.py pep681.py plain_dataclass_class_attribute.py plain_dataclass.py primitive_subclass.py python_pickle.py recursive_list.py recursive.py recursive_union.py rename_all.py rename.py simple.py skip.py tomlfile.py type_check_coerce.py type_check_disabled.py type_datetime.py type_decimal.py type_ipaddress.py type_numpy.py type_pathlib.py type_uuid.py union_directly.py union.py union_tagging.py user_exception.py variable_length_tuple.py yamlfile.py

自作OSSを業務で使っていく可能であれば自分の業務でどんどん使っていくことをおすすめします。業務で使うと足りない機能や問題点がつかみ易いです。

無理をしない過去に家族との時間を犠牲にしてまでOSS開発していたことがありました。自分の妻や子供の人生の方が自分のキャリアより大事だということに気が付き、家族優先で空いた時間にマイペースにやるようにしています。

おわりにせっかくpyserdeのことについて知ってもらえたので、良ければ使ってみてください！また、コントリビュートしたいんだけど何したらいい？ここの設計どうなってんの？みたいな質問でもいいし、その他、相談、質問、コメントがあったら以下にどうぞ。＊ https://x.com/pyserde ＊ [email protected]

個人開発OSSが世界に勝てなかった話

個人開発OSSが世界に勝てなかった話

yukinarit

Other Decks in Programming

Featured

Transcript