Slide 1
Slide 1 text
レガシー
Python
散策
八雲アナグラ @AnaTofuZ 5/18
PyConKyushu 2019
Slide 2
Slide 2 text
໌ͷʹ
ཱͨͳ͍
ࠓ͙͢ߦ͜͏
ڭࣨ
Slide 3
Slide 3 text
self.inroduce()
• 八雲アナグラ (id:AnaTofuZ)
• 琉球大学修士1年
• Okinawa.pm(沖縄Perlユーザーグループ)や
Perl入学式in沖縄などに出没します
• Pythonは殆ど書きませんが
Python製のMercurialをよく使います
Slide 4
Slide 4 text
• 食後のお昼寝タイム
• レガシーPythonを題材に
普段使っているPythonインタプリタが
どのようにプログラミングされているかを
探ります
• C言語が出てきます
Slide 5
Slide 5 text
• Pythonとは
• Pythonの歴史
• Pythonの初期バージョンの特徴
• C言語での実装に迫る
Slide 6
Slide 6 text
Python
Cで書かれたCpython
Slide 7
Slide 7 text
Cに変換すれば早いやろ!!!な
Cython
Python
Slide 8
Slide 8 text
pythonで書かれたpython pypy
Python
Slide 9
Slide 9 text
Javaで書かれたpython Jython
(最近はcafebabepy)
Python
Slide 10
Slide 10 text
python
• 処理系が無数に乱立している事もあり
スクリプト言語では用語の使い分けを行っている
• 大文字の言語「Python」
• プログラミング言語の仕様
• 小文字の言語名「python」
• 処理系の事(基本的にはCで書かれているもの)
• それ以外の実装は実装名で呼ぶ
Slide 11
Slide 11 text
Python
• 歴史的に一番古く、一番使われている
Cpythonを見ていきます!!!
• その為、皆さんがコマンドラインで
よく利用している “python” の実装の話です
Slide 12
Slide 12 text
• Pythonとは
• Pythonの歴史
• Pythonの初期バージョン
• 動かす
• 実装を眺める
• Python3の実装を少し見る
Slide 13
Slide 13 text
(C)Python
• 1991年 0.9x
• 最初に公開されたバージョン
• 1994年 1.0
• Python初期バージョン
• 2000年 2.0
• Haskellに強い影響を受け出す
• 2008年 3.0
• 文字列周りの仕様が大幅に変更される
Slide 14
Slide 14 text
LL
• 1987年 Perl1.0リリース
• 1988年 Perl2.0, Perl3.0
• 1991年 2月 Python.0.9.0
3月 Perl4.0
• 1993年 Ruby開発開始
• 1994年 1月 Python1.0
10月 Perl5.0
• 1995年 12月 Ruby
Slide 15
Slide 15 text
[ ] Perl Python
• Perl5のオブジェクト指向では
メソッドの第一引数がselfですが、
これはPythonを参考にして実装されている
sub client {
my $self = shift;
return $self->{client};
}
Slide 16
Slide 16 text
CPython
• CPython内ではtagで0.97も打たれている
➡ commit ログも見れる
➡ Perlも同じようなリポジトリの運用
• CPythonをcloneすると大体のバージョンの
ソースコードがローカルで見る事が出来る
Slide 17
Slide 17 text
Python
• 微妙にリポジトリに全てのバージョンが
残っていない
• 手軽に試せるのは公式のwebpageから
ダウンロードできる0.9.1
https://www.python.org/download/releases/
early/
Slide 18
Slide 18 text
Python0.9.1
• configureではなくMakefileがあり
HighSierraだと普通にmakeできる
• 検索するといくつか触っている人がいるので
幾つかのブログで紹介されている
• 公式ドキュメントを参照する場合は
リポジトリに含まれているものを利用する
Slide 19
Slide 19 text
Python0.9.1
• manページ
• TeXで書かれたドキュメント
• コアライブラリ
• testall.py
Slide 20
Slide 20 text
Python0.9.1
• manページ
➡ ほとんど役に立たない
• TeXで書かれたドキュメント
➡ 結構書かれている
• コアライブラリ
➡ 複雑なプログラミングの参考になる
• testall.py
➡ 使い方の参考になる
Slide 21
Slide 21 text
Python
• LaTeXで書かれている (書き方が古いらしい)
• Makefileがあり、makeを実行すると
xdvi (x window のdviビューワー)が起動する
• xdviの機能でPostScriptに出力する事が可能
• 全23ページ
Slide 22
Slide 22 text
Python0.9.1
• あるもの
• Intなどのデータ型
• リスト、dict
• dictは開発中で、構文には組み込まれていない
• オブジェクトシステム、継承
• 今のPythonとはかなり異なる
• import機能
• コアライブラリがついていた
Slide 23
Slide 23 text
Python0.9.1
• ないもの
• タプル
• map, lambda, filter
• version1からLispの影響で導入
• リスト内包記法
• version2からHaskellの影響で導入
• ジェネレーター, withなど
Slide 24
Slide 24 text
コードを書く
(我々)
字句解析
構⽂解析
バイナリファイル
⽣成
バイナリファイル
を実⾏
Slide 25
Slide 25 text
Python
コードを書く
(我々)
字句解析
構⽂解析 バイトコード⽣成
バイトコードを
VMが実⾏
Slide 26
Slide 26 text
Python0.9.1
• __init__ が存在しない
• createメソッドを手で書く世界観
• クラスの継承は ＝で書く
from Split import Split
class HVSplit() = Split():
#
def create(self, (parent, hv)):
# hv is 0 or 1 for HSplit or VSplit
self = Split.create(self, parent)
self.hv = hv
return self
Slide 27
Slide 27 text
Python0.9.1
• dicやタプルなど、実装しているが構文に組み込
まれておらず使えない機能が多い
• 文字列は “hoge” ではだめで
‘hoge’ なシングルクォートしか使えない
Slide 28
Slide 28 text
Python
ୈҰ෦ऴ
───
੍࡞ɾஶ࡞
N○K
Slide 29
Slide 29 text
$ݴޠͰͷ
࣮ʹ
ഭ͍͖ͬͯ·͢
Slide 30
Slide 30 text
• Pythonの処理の流れ
• コードのおおよその雰囲気
• オブジェクト構造体
• 0.9.1のバグを直す
• 計算について
Slide 31
Slide 31 text
Python
• ソースコードをバイトコード化し
VMが実行する流れは0.9.1から3まで同じ
• 最適化やAPI、計算方法などには違いがあるが
大まかな枠組みは既に形成されている
• バイトコードを確認するdisモジュールが
既に0.9.1から付随している
Slide 32
Slide 32 text
CPython
• Grammarファイルに記述されている
• EBNF(拡張バッカスナウア記法)っぽいもので定義
• PythonはMake時に、このファイルから
決定性有限オートマトンを自動生成し、それを利用する
• Python公式の0.971は既にGrammarが
ビルドされている為、自動生成はされない
Slide 33
Slide 33 text
Python Grammar
• なんとなく読める気がする…?
• この結果構文木を作る ( a+b の例 )
•
funcdef: 'def' NAME parameters ':' suite
parameters: '(' [fplist] ')'
fplist: fpdef (',' fpdef)*
fpdef: NAME | '(' fplist ')'
(expr:
(term: (NAME: a)), (OP: +), (term: (NAME: b))
)
Slide 34
Slide 34 text
• 構文解析の結果から扱いやすい
バイトコード形式に内部的に変換する
➡ 速度向上と実装の分離の為
• 生成したバイトコードは、計算機をエミュレー
トするプロセスVMで実行される
Slide 35
Slide 35 text
PythonVM
• スタックマシンと呼ばれるVMの作り方
• 大きいスタックで値をやりとりする
• RubyのYARVも同じ方式
• 実際のCPUに似せている方式はレジスタマシン
• Perl6はこの方式
Slide 36
Slide 36 text
• バイトコードは実行する命令(オペコード)と
引数(オペランド)や、データの集まり
• オペコードは数値に変換される
• CPUのプログラムカウンタ的に、バイトコード
を進めながらプログラムを実行していく
Slide 37
Slide 37 text
Python
ΦϖίʔυಡΈࠐΈ
໋ྩ࣮ߦ ҾಡΈࠐΈ
Slide 38
Slide 38 text
PythonVM
for (;;) {
static ticker;
/* Extract opcode and argument */
opcode = NEXTOP();
if (HAS_ARG(opcode))
oparg = NEXTARG();
/* Main switch on opcode */
switch (opcode) {
case BINARY_ADD:
w = POP();
v = POP();
x = add(v, w);
DECREF(v);
DECREF(w);
PUSH(x);
break;
ΦϖίʔυΛ
औΓग़͠
Slide 39
Slide 39 text
PythonVM
for (;;) {
static ticker;
/* Extract opcode and argument */
opcode = NEXTOP();
if (HAS_ARG(opcode))
oparg = NEXTARG();
/* Main switch on opcode */
switch (opcode) {
case BINARY_ADD:
w = POP();
v = POP();
x = add(v, w);
DECREF(v);
DECREF(w);
PUSH(x);
break;
Ҿ͕͋ΕҾΛ
औΓग़͠
Slide 40
Slide 40 text
PythonVM
for (;;) {
static ticker;
/* Extract opcode and argument */
opcode = NEXTOP();
if (HAS_ARG(opcode))
oparg = NEXTARG();
/* Main switch on opcode */
switch (opcode) {
case BINARY_ADD:
w = POP();
v = POP();
x = add(v, w);
DECREF(v);
DECREF(w);
PUSH(x);
break;
TXJUDIจͰ
໋ྩͷॲཧʹذ
Slide 41
Slide 41 text
PythonVM
case BINARY_ADD:
w = POP();
v = POP();
x = add(v, w);
DECREF(v);
DECREF(w);
PUSH(x);
break;
ελοΫ͔Β
ͭͷมΛऔΓग़͠
w
v
Slide 42
Slide 42 text
PythonVM
case BINARY_ADD:
w = POP();
v = POP();
x = add(v, w);
DECREF(v);
DECREF(w);
PUSH(x);
break;
ͭΛͯ͠YΛ࡞
Slide 43
Slide 43 text
PythonVM
case BINARY_ADD:
w = POP();
v = POP();
x = add(v, w);
DECREF(v);
DECREF(w);
PUSH(x);
break;
WͱXͷϦϑΝϨϯε
ΧϯτΛ
σΫϦϝϯτ͢Δ
Slide 44
Slide 44 text
PythonVM
case BINARY_ADD:
w = POP();
v = POP();
x = add(v, w);
DECREF(v);
DECREF(w);
PUSH(x);
break;
YΛελοΫʹ͍Εͯऴྃ
x
Slide 45
Slide 45 text
Python3
• Python3では、いちいちループすると遅いので
GCCの拡張機能のラベルgotoなどを利用し
スピードの高速化を図っている
• 他のスクリプト言語も大体同じような実装なの
で、興味があれば他の言語も見てみましょう
Slide 46
Slide 46 text
Python main
main(argc, argv)
int argc;
char **argv;
{
char *filename = NULL;
FILE *fp = stdin;
initargs(&argc, &argv);
if (argc > 1 && strcmp(argv[1], "-") != 0)
filename = argv[1];
if (filename != NULL) {
if ((fp = fopen(filename, "r")) == NULL) {
fprintf(stderr, "python: can't open file '%s'\n",
filename);
exit(2);
}
}
initall();
setpythonpath(getpythonpath());
setpythonargv(argc-1, argv+1);
goaway(run(fp, filename == NULL ? "" : filename));
/*NOTREACHED*/
}
Slide 47
Slide 47 text
Python main
main(argc, argv)
int argc;
char **argv;
{
char *filename = NULL;
FILE *fp = stdin;
initargs(&argc, &argv);
if (argc > 1 && strcmp(argv[1], "-") != 0)
filename = argv[1];
,3$Ͱؔએݴ
Slide 48
Slide 48 text
Python main
main(argc, argv)
int argc;
char **argv;
{
char *filename = NULL;
FILE *fp = stdin;
initargs(&argc, &argv);
if (argc > 1 && strcmp(argv[1], "-") != 0)
filename = argv[1];
ҾΛϑΝΠϧ໊ʹ
ઃఆ
Slide 49
Slide 49 text
Python main
initall();
setpythonpath(getpythonpath());
setpythonargv(argc-1, argv+1);
goaway(run(fp, filename == NULL ? "" : filename)
/*NOTREACHED*/
࣮ଶSVOͰ
HPBXBZͰΤϥʔͷ
ย͚
Slide 50
Slide 50 text
Python
• Pythonでは様々なオブジェクトが登場します
• C言語の世界では、これらオブジェクトは
主に構造体として定義しています
(構造体 = 複数の型と名前を持つもの)
• Python3では基本的にPyObjectと呼ばれるもの
から派生します
Slide 51
Slide 51 text
Python
• メモリのヒープ領域に必ず置かれる
• スタックや静的領域には置かれない
• その為メモリの中でオブジェクトの
アドレスが変更される事は無い
CODE
DATA
CONST DATA
...
HEAP
...
STACK
...
Slide 52
Slide 52 text
object
• python0.9.1ではobject構造体がベース
• OB_HEADをメンバとして持つ構造体
• OB_HEADは二種類の変数定義のマクロ
#define OB_HEAD \
unsigned int ob_refcnt; \
struct _typeobject *ob_type;
typedef struct _object {
OB_HEAD
} object;
Slide 53
Slide 53 text
varobject
• objectを拡張したvarobject構造体もある
• PyVarObjectに対応する
• サイズの概念が追加される
#define OB_VARHEAD \
OB_HEAD \
unsigned int ob_size; /* Number of items in
variable part */
typedef struct {
OB_VARHEAD
} varobject;
Slide 54
Slide 54 text
object
ob_refcnt
ob_type
Slide 55
Slide 55 text
object
ob_refcnt
ob_type
ΨϕʔδίϨΫλ
ϦϑΝϨϯεΧϯτͷ
Χϯλʔ
Ͳ͔͜Βࢀর͞Ε
ͳ͘ͳΔ ʹͳΔ
ͱ
ղ์͞ΕΔ
Slide 56
Slide 56 text
GC
• マクロDECREFでGC管理をしている
• ob_refcntが0の場合
DELREFによりtp_deallocで解放
#define DECREF(op) \
if (--ref_total, --(op)->ob_refcnt > 0) \
; \
else \
DELREF(op)
#define DELREF(op) \
(*(op)->ob_type->tp_dealloc)((object *)(op))
Slide 57
Slide 57 text
object
ob_refcnt
ob_type
Slide 58
Slide 58 text
object
ob_refcnt
ob_type
ΦϒδΣΫτͷ
ܕใͷ
ϙΠϯλ
Slide 59
Slide 59 text
typedef struct _typeobject {
OB_VARHEAD
char *tp_name; /* For printing */
unsigned int tp_basicsize, tp_itemsize; /* For
allocation */
/* Methods to implement standard operations */
void (*tp_dealloc) FPROTO((object *));
void (*tp_print) FPROTO((object *, FILE *, int));
object *(*tp_getattr) FPROTO((object *, char *));
int (*tp_setattr) FPROTO((object *, char *, object
int (*tp_compare) FPROTO((object *, object *));
object *(*tp_repr) FPROTO((object *));
/* Method suites for standard classes */
number_methods *tp_as_number;
sequence_methods *tp_as_sequence;
mapping_methods *tp_as_mapping;
} typeobject;
Slide 60
Slide 60 text
typeobject
typedef struct _typeobject {
OB_VARHEAD
char *tp_name; /* For printing */
unsigned int tp_basicsize, tp_itemsize; /* For
allocation */
/* Methods to implement standard operations */
void (*tp_dealloc) FPROTO((object *));
void (*tp_print) FPROTO((object *, FILE *, int));
object *(*tp_getattr) FPROTO((object *, char *));
int (*tp_setattr) FPROTO((object *, char *, objec
int (*tp_compare) FPROTO((object *, object *));
object *(*tp_repr) FPROTO((object *));
ܕͷ໊લใ
Slide 61
Slide 61 text
typeobject
typedef struct _typeobject {
OB_VARHEAD
char *tp_name; /* For printing */
unsigned int tp_basicsize, tp_itemsize; /* For
allocation */
/* Methods to implement standard operations */
void (*tp_dealloc) FPROTO((object *));
void (*tp_print) FPROTO((object *, FILE *, int));
object *(*tp_getattr) FPROTO((object *, char *));
int (*tp_setattr) FPROTO((object *, char *, objec
int (*tp_compare) FPROTO((object *, object *));
object *(*tp_repr) FPROTO((object *));
ΦϒδΣΫτͷղ์ʹ
ར༻ͨؔ͠
Slide 62
Slide 62 text
typeobject
• void* なこれは、関数ポインタ
• 関数の参照を代入する事が出来る
• 構造体に関数ポインタをいれることで
インターフェース的な機能を実現
• FPROTOはマクロで、プロトタイプ宣言を抑制
• 当時のコンパイラはプロトタイプ宣言があると
解釈出来ないケースもあり、マクロで抑制
(プロトタイプ宣言…Cで関数定義時に必要)
void (*tp_dealloc) FPROTO((object *));
Slide 63
Slide 63 text
typeobject
typeobject Inttype = {
OB_HEAD_INIT(&Typetype)
0,
"int",
sizeof(intobject),
0,
int_dealloc, /*tp_dealloc*/
};
typeobject Floattype = {
OB_HEAD_INIT(&Typetype)
0,
"float",
sizeof(floatobject),
0,
free, /*tp_dealloc*/
};
Slide 64
Slide 64 text
typeobject
typeobject Inttype = {
OB_HEAD_INIT(&Typetype)
0,
"int",
sizeof(intobject),
0,
int_dealloc, /*tp_dealloc*/
};
typeobject Floattype = {
OB_HEAD_INIT(&Typetype)
0,
"float",
sizeof(floatobject),
0,
free, /*tp_dealloc*/
};
Slide 65
Slide 65 text
typeobject
typeobject Inttype = {
OB_HEAD_INIT(&Typetype)
0,
"int",
sizeof(intobject),
0,
int_dealloc, /*tp_dealloc*/
};
typeobject Floattype = {
OB_HEAD_INIT(&Typetype)
0,
"float",
sizeof(floatobject),
0,
free, /*tp_dealloc*/
};
qPBUͰGSFF
JOUͰJOU@EFBMMPD͕
UQ@EFBMMPDʹొ
ΦϒδΣΫτ͝ͱʹ
ҟͳΔؔΛ
ಉ͡ΠϯλʔϑΣʔεͰ
ݺͼग़͕͠Մೳ
Slide 66
Slide 66 text
typeobject
typedef struct _typeobject {
object *(*tp_repr) FPROTO((object *));
/* Method suites for standard classes */
number_methods *tp_as_number;
sequence_methods *tp_as_sequence;
mapping_methods *tp_as_mapping;
} typeobject;
JOU
qPBUͷ
ܭࢉͰར༻͢Δ
ؔू߹ͷ
ߏମͷࢀর
Slide 67
Slide 67 text
number_methods
• number_methosも四則演算などで使うメソッド
をデータ型によって変更可能にしている
static number_methods int_as_number = {
int_add, /*tp_add*/
int_sub, /*tp_subtract*/
int_mul, /*tp_multiply*/
int_div, /*tp_divide*/
int_rem, /*tp_remainder*/
int_pow, /*tp_power*/
int_neg, /*tp_negate*/
int_pos, /*tp_plus*/
};
Slide 68
Slide 68 text
( )object
• python0.9.1ではobject構造体がベース
• OB_HEADをメンバとして持つ構造体
• OB_HEADは二種類の変数定義のマクロ
#define OB_HEAD \
unsigned int ob_refcnt; \
struct _typeobject *ob_type;
typedef struct _object {
OB_HEAD
} object;
Slide 69
Slide 69 text
Python3 PyObject
• 殆ど構造が同じ
typedef struct _object {
_PyObject_HEAD_EXTRA
Py_ssize_t ob_refcnt;
struct _typeobject *ob_type;
} PyObject;
#define PyObject_VAR_HEAD PyVarObject ob_base;
Slide 70
Slide 70 text
0.9.1 IntObject
• intと言いつつ実際に値が入るob_ivalは
long型
•
typedef struct {
OB_HEAD
long ob_ival;
} intobject;
extern typeobject Inttype;
#define is_intobject(op) ((op)->ob_type == &Inttype)
Slide 71
Slide 71 text
Python3 Int
• Python3ではlongobjectという名前
• 大体同じだが、digitの要素1の配列を持つ
• Cで構造体のメンバに
可変長配列を設定するテクニック
struct _longobject {
PyObject_VAR_HEAD
digit ob_digit[1];
};
Slide 72
Slide 72 text
typedef struct {
OB_VARHEAD
object **ob_item;
} listobject;
extern typeobject Listtype;
#define is_listobject(op) ((op)->ob_type == &Listtype)
• リストの構造体
Slide 73
Slide 73 text
typedef struct {
OB_VARHEAD
object **ob_item;
} listobject;
extern typeobject Listtype;
#define is_listobject(op) ((op)->ob_type == &Listtype)
ΦϒδΣΫτͷࢀরྻ
ϙΠϯλͷϙΠϯλ
• ob_itemはC言語の配列になるので
O(1)でアクセス可能
Slide 74
Slide 74 text
?
• 基本的にこれらの構造体はポインタでcpythonの
内部ではやりとりされる
(ヒープ領域に常に確保されている)
• 構造体はそれぞれ型が異なるが
いちいち管理するとスタックの扱いがやっかい
Slide 75
Slide 75 text
IntObject
• objectとintObjectの違いはob_ivalの有無
typedef struct {
OB_HEAD
long ob_ival;
} intobject;
typedef struct _object {
OB_HEAD
} object;
Slide 76
Slide 76 text
IntObject
typedef struct {
OB_HEAD
long ob_ival;
} intobject;
͜͏ݟΔͱobject
Slide 77
Slide 77 text
IntObject
typedef struct {
OB_HEAD
long ob_ival;
} intobject;
͜͏ݟΔͱobject
͜͏ݟΔͱintobject
Slide 78
Slide 78 text
?
• 必ず構造体の一番上にOB_HEADがあることで
objectのポインタにキャストする事が出来る
Slide 79
Slide 79 text
>>> 50 + 60
Process 79910 stopped
frame #2: 0x00000001000036b9 python`eval_codeat cev
839 case BINARY_ADD:
840 w = POP();
841 v = POP();
-> 842 x = add(v, w);
843 DECREF(v);
844 DECREF(w);
845 PUSH(x);
Slide 80
Slide 80 text
>>> 50 + 60
(lldb) p v
(object *) $0 = 0x00000001002007c0
(lldb) p *v
(object) $4 = {
ob_refcnt = 2
ob_type = 0x0000000100020848
}
(lldb) p *(intobject *)v
(intobject) $3 = {
ob_refcnt = 2
ob_type = 0x0000000100020848
ob_ival = 50
}
object型として扱われている
intobjectに
キャストすると
値が⾒える!!
Slide 81
Slide 81 text
• Pythonの処理の流れ
• コードのおおよその雰囲気
• オブジェクト構造体
• 0.9.1のバグを直す
• 計算について
Slide 82
Slide 82 text
Python0.9.1
• Python0.9.1ではテストの掛け算の部分で死ぬ
+mumei+anatofuz$ src/python
>>> print 1*1
Unhandled exception: run-time error: integer overflow
Stack backtrace (innermost last):
File "", line 1
Slide 83
Slide 83 text
Python0.9.1
• Python0.9.1ではテストの掛け算の部分で死ぬ
+mumei+anatofuz$ src/python
>>> print 1*1
Unhandled exception: run-time error: integer overflow
Stack backtrace (innermost last):
File "", line 1
＿⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈＿
＞ 1*1でオーバーフロー!! ＜
￣Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^￣
Slide 84
Slide 84 text
Python0.9.1
• grep すると src/intobject.cの中にあるらしい
• intobjectはPython0.9.1で使われる
基本のオブジェクト
+mumei+anatofuz$ grep 'integer overflow' src/*.c
src/intobject.c:
err_setstr(OverflowError, "integer overflow");
Slide 85
Slide 85 text
Python0.9.1
static object *
err_ovf()
{
err_setstr(OverflowError, "integer overflow");
return NULL;
}
• エラーを文字列として出すだけの関数
• これが呼び出されている部分を探す
➡ intオブジェクトの四則演算で呼びだれている
Slide 86
Slide 86 text
int_mul
static object *
int_mul(v, w)
intobject *v;
register object *w;
{
register long a, b;
double x;
if (!is_intobject(w)) {
err_badarg();
return NULL;
}
a = v->ob_ival;
b = ((intobject *)w) -> ob_ival;
x = (double)a * (double)b;
if (x > 0x7fffffff ||
x < (double) (long) 0x80000000)
return err_ovf();
return newintobject(a * b);
}
Slide 87
Slide 87 text
static object *
int_mul(v, w)
intobject *v;
register object *w;
{
register long a, b;
double x;
if (!is_intobject(w)) {
err_badarg();
return NULL;
}
a = v->ob_ival;
b = ((intobject *)w) -> ob_ival;
x = (double)a * (double)b;
if (x > 0x7fffffff ||
x < (double) (long) 0x80000000)
return err_ovf();
return newintobject(a * b);
}
X͕JOUͱͯ͠
ܭࢉग़དྷΔ͔Λఆ͢Δ
int_mul
Slide 88
Slide 88 text
static object *
int_mul(v, w)
intobject *v;
register object *w;
{
register long a, b;
double x;
if (!is_intobject(w)) {
err_badarg();
return NULL;
}
a = v->ob_ival;
b = ((intobject *)w) -> ob_ival;
x = (double)a * (double)b;
if (x > 0x7fffffff ||
x < (double) (long) 0x80000000)
return err_ovf();
return newintobject(a * b);
}
ΦϒδΣΫτͅɺ͔͆Β
ΛB
Cʹೖ
int_mul
Slide 89
Slide 89 text
static object *
int_mul(v, w)
intobject *v;
register object *w;
{
register long a, b;
double x;
if (!is_intobject(w)) {
err_badarg();
return NULL;
}
a = v->ob_ival;
b = ((intobject *)w) -> ob_ival;
x = (double)a * (double)b;
if (x > 0x7fffffff ||
x < (double) (long) 0x80000000)
return err_ovf();
return newintobject(a * b);
}
֬ೝͷͨΊʹ
ֻ͚ࢉΛ࣮ߦ
Θ͔Γ͍͢
int_mul
Slide 90
Slide 90 text
static object *
int_mul(v, w)
intobject *v;
register object *w;
{
register long a, b;
double x;
if (!is_intobject(w)) {
err_badarg();
return NULL;
}
a = v->ob_ival;
b = ((intobject *)w) -> ob_ival;
x = (double)a * (double)b;
if (x > 0x7fffffff ||
x < (double) (long) 0x80000000)
return err_ovf();
return newintobject(a * b);
}
int_mul
Slide 91
Slide 91 text
static object *
int_mul(v, w)
intobject *v;
register object *w;
{
register long a, b;
double x;
if (!is_intobject(w)) {
err_badarg();
return NULL;
}
a = v->ob_ival;
b = ((intobject *)w) -> ob_ival;
x = (double)a * (double)b;
if (x > 0x7fffffff ||
x < (double) (long) 0x80000000)
return err_ovf();
return newintobject(a * b);
}
JOUܕͰܭࢉͨ݁͠Ռ͔Β
৽͍͠ΦϒδΣΫτΛฦ٫
int_mul
Slide 92
Slide 92 text
Python0.9.1
x = (double)a * (double)b;
if (x > 0x7fffffff ||
x < (double) (long) 0x80000000)
return err_ovf();
• 掛け算の結果がintの範囲内に収まっていないと
err_ovf(オーバーフローを示す例外)の
関数を返す
Slide 93
Slide 93 text
Python0.9.1
x = (double)a * (double)b;
if (x > 0x7fffffff ||
x < (double) (long) 0x80000000)
return err_ovf();
• 0x7fffffffが32bitのintの最大値
(2^31 -1)
Slide 94
Slide 94 text
Python0.9.1
x = (double)a * (double)b;
if (x > 0x7fffffff ||
x < (double) (long) 0x80000000)
return err_ovf();
• 0x7fffffffが32bitのintの最大値
(2^31 -1)
• 0x80000000が32bitのintの最小値
Slide 95
Slide 95 text
Python0.9.1
x = (double)a * (double)b;
if (x > 0x7fffffff ||
x < (double) (long) 0x80000000)
return err_ovf();
• 0x7fffffffが32bitのintの最大値
(2^31 -1)
• 0x80000000が32bitのintの最小値
• -2^31が正解
• バグの原因!!!!!
Slide 96
Slide 96 text
Python0.9.1
• C言語でプリミティブ型の最大値を見る際は
型キャストの問題で
マクロを利用するのが望ましい
• limits.hというヘッダーにINT_MAXとINT_MIN
がマクロとして定義されているので使用する
Slide 97
Slide 97 text
Python0.9.1
• 適切にマクロを利用して範囲を見る事で
バグを修正
#include
…(中略)…
x = (double)a * (double)b;
if (x > INT_MAX || x < INT_MIN)
return err_ovf();
Slide 98
Slide 98 text
Python0.9.1
• 掛け算が出来るように!!!!!!!!!
+mumei+anatofuz$ src/python
>>> print 4*5*-1
-20
Slide 99
Slide 99 text
Python3
• 基本的にはPython0.9.1と同じコンセプト
• 関数ポインタが利用される
• オブジェクトごとの掛け算の実装
• オブジェクト2つ取り出して掛け算
• 本当に? と言われそうなので見ていきます
Slide 100
Slide 100 text
Python3 (VM)
• POPとTOPで値を取り出し、関数に渡す
case TARGET(BINARY_MULTIPLY): {
PyObject *right = POP();
PyObject *left = TOP();
PyObject *res = PyNumber_Multiply(left, right);
Py_DECREF(left);
Py_DECREF(right);
SET_TOP(res);
if (res == NULL)
goto error;
DISPATCH();
}
Slide 101
Slide 101 text
Python3 ( )
• binary_op1でスロットに登録された演算を実行
(実際はもう少し色々している)
PyObject *
PyNumber_Multiply(PyObject *v, PyObject *w)
{
PyObject *result =
binary_op1(v, w, NB_SLOT(nb_multiply));
return result;
}
Slide 102
Slide 102 text
static PyObject *
binary_op1(PyObject *v, PyObject *w, const int op_slot)
{
PyObject *x;
binaryfunc slotv = NULL;
binaryfunc slotw = NULL;
if (v->ob_type->tp_as_number != NULL)
slotv = NB_BINOP(v->ob_type->tp_as_number,
op_slot);
if (slotv) {
if (slotw && PyType_IsSubtype(
w->ob_type, v->ob_type)) {
x = slotw(v, w);
if (x != Py_NotImplemented)
return x;
Slide 103
Slide 103 text
static PyObject *
binary_op1(PyObject *v, PyObject *w, const int op_slot)
{
PyObject *x;
binaryfunc slotv = NULL;
binaryfunc slotw = NULL;
if (v->ob_type->tp_as_number != NULL)
slotv = NB_BINOP(v->ob_type->tp_as_number,
op_slot);
if (slotv) {
if (slotw && PyType_IsSubtype(
w->ob_type, v->ob_type)) {
x = slotw(v, w);
if (x != Py_NotImplemented)
return x;
Slide 104
Slide 104 text
static PyObject *
binary_op1(PyObject *v, PyObject *w, const int op_slot)
{
PyObject *x;
binaryfunc slotv = NULL;
binaryfunc slotw = NULL;
if (v->ob_type->tp_as_number != NULL)
slotv = NB_BINOP(v->ob_type->tp_as_number,
op_slot);
if (slotv) {
if (slotw && PyType_IsSubtype(
w->ob_type, v->ob_type)) {
x = slotw(v, w);
if (x != Py_NotImplemented)
return x;
ֻ͚ࢉͳͲʹରԠͨ͠
൪߸͕ೖ͍ͬͯΔ
Slide 105
Slide 105 text
static PyObject *
binary_op1(PyObject *v, PyObject *w, const int op_slot)
{
PyObject *x;
binaryfunc slotv = NULL;
binaryfunc slotw = NULL;
if (v->ob_type->tp_as_number != NULL)
slotv = NB_BINOP(v->ob_type->tp_as_number,
op_slot);
if (slotv) {
if (slotw && PyType_IsSubtype(
w->ob_type, v->ob_type)) {
x = slotw(v, w);
if (x != Py_NotImplemented)
return x;
TMPUWม͚ͩͲʜ
Slide 106
Slide 106 text
static PyObject *
binary_op1(PyObject *v, PyObject *w, const int op_slot)
{
PyObject *x;
binaryfunc slotv = NULL;
binaryfunc slotw = NULL;
if (v->ob_type->tp_as_number != NULL)
slotv = NB_BINOP(v->ob_type->tp_as_number,
op_slot);
if (slotv) {
if (slotw && PyType_IsSubtype(
w->ob_type, v->ob_type)) {
x = slotw(v, w);
if (x != Py_NotImplemented)
return x;
ؔΈ͍ͨʹݺͼग़͍ͯ͠Δ
Slide 107
Slide 107 text
• そういえばPython0.9.1はinterface的に
オブジェクトごと関数をポインタに
設定していました
static number_methods int_as_number = {
int_add, /*tp_add*/
int_sub, /*tp_subtract*/
int_mul, /*tp_multiply*/
int_div, /*tp_divide*/
int_rem, /*tp_remainder*/
int_pow, /*tp_power*/
int_neg, /*tp_negate*/
int_pos, /*tp_plus*/
};
Slide 108
Slide 108 text
• NB_BINOPは配列に設定されている計算用の
関数を取り出している (指定をslot番号で行う)
#define NB_BINOP(nb_methods, slot) \
(*(binaryfunc*)(& ((char*)nb_methods)[slot]))
Slide 109
Slide 109 text
• 0.9.1と同じようにいろいろな関数を設定!!
static PyNumberMethods long_as_number = {
(binaryfunc)long_add, /*nb_add*/
(binaryfunc)long_sub, /*nb_subtract*/
(binaryfunc)long_mul, /*nb_multiply*/
long_mod, /*nb_remainder*/
long_divmod, /*nb_divmod*/
long_pow, /*nb_power*/
(unaryfunc)long_neg, /*nb_negative*/
long_long, /*tp_positive*/
(unaryfunc)long_abs, /*tp_absolute*/
(inquiry)long_bool, /*tp_bool*/
Slide 110
Slide 110 text
• Python0.9.1と似たような処理!!!!
static PyObject *
long_mul(PyLongObject *a, PyLongObject *b)
{
PyLongObject *z;
CHECK_BINOP(a, b);
/* fast path for single-digit multiplication */
if (Py_ABS(Py_SIZE(a)) <= 1 && Py_ABS(Py_SIZE(b))
<= 1) {
stwodigits v =
(stwodigits)(MEDIUM_VALUE(a)) * MEDIUM_VALUE(b);
return PyLong_FromLongLong((long long)v);
}
}
Slide 111
Slide 111 text
• Pythonのオブジェクトは大体objectを継承
• キャストして使い、ポインタで基本やりとり
• Pythonはバイトコードの形に変換される
• 実行される命令はオブジェクトによって異なる
• interface的に関数ポインタで制御
• 大まかな処理はレガシーも同じ!
Slide 112
Slide 112 text
( )
• Pythonの歴史にある程度詳しくなりました
• Pythonインタプリタがどの様に書かれているか
ちょっと見てみました
• Pytonインタプリタも、結局はCのプログラムな
ので、読解してみて自分だけのPythonに改造し
てみよう!!
Slide 113
Slide 113 text
• 基本的に正の数で表現されている為
負の数は、SIZEを見てよしなに表現する
/* convert a PyLong of size 1, 0 or -1 to an sdigit */
#define MEDIUM_VALUE(x) (assert(-1 <= Py_SIZE(x) &&
Py_SIZE(x) <= 1), \
Py_SIZE(x) < 0 ? -(sdigit)(x)->ob_digit[0] :
\
(Py_SIZE(x) == 0 ? (sdigit)0 :
\
(sdigit)(x)->ob_digit[0]))
Slide 114
Slide 114 text
case PRINT_ITEM:
v = POP();
fp = sysgetfile("stdout", stdout);
if (needspace)
fprintf(fp, " ");
if (is_stringobject(v)) {
char *s = getstringvalue(v);
int len = getstringsize(v);
fwrite(s, 1, len, fp);
if (len > 0 && s[len-1] == '\n')
needspace = 0;
else
needspace = 1;
}
else {
printobject(v, fp, 0);
needspace = 1;
}
DECREF(v);
break;
13*/5@*5&.
QSJOUͷΦϖίʔυ
Slide 115
Slide 115 text
case PRINT_ITEM:
v = POP();
fp = sysgetfile("stdout", stdout);
if (needspace)
fprintf(fp, " ");
if (is_stringobject(v)) {
char *s = getstringvalue(v);
int len = getstringsize(v);
fwrite(s, 1, len, fp);
if (len > 0 && s[len-1] == '\n')
needspace = 0;
else
needspace = 1;
}
else {
printobject(v, fp, 0);
needspace = 1;
}
DECREF(v);
break;
GXSJUFͰ
TUEPVUඪ४ग़ྗʹ
ॻ͖ࠐΈ
Slide 116
Slide 116 text
print
• Python0.9.1の出力は素朴にfwrite
• Python3ではバッファなども考慮している為
こんなにシンプルに実装していない
(lldb) p len
(int) $0 = 4
(lldb) p s
(char *) $1 = 0x00000001002016a4 "hoge"
char *s = getstringvalue(v);
int len = getstringsize(v);
fwrite(s, 1, len, fp);