Swiftで始める静的解析

Transcript

1. 静的解析 まつじ Swiftで始める ！ @mtj_j @mtj0928 https://github.com/mtj0928/iOSDC-2020 資料等はこちらから！

2. まつじ • 20 卒 の新卒アプリ開発者 • 大学院では ソフトウェア工学 を研究 •

   個人開発しています！ 奈良出身です https://github.com/mtj0928/iOSDC-2020 資料等はこちらから！

3. 大学生のための時間割 140 万 DL https://github.com/mtj0928/iOSDC-2020 資料等はこちらから！

4. https://github.com/mtj0928/iOSDC-2020 資料等はこちらから！

5. まつじ • 20 卒 の新卒アプリ開発者 • 大学院では ソフトウェア工学 を研究 •

   個人開発しています！ 奈良出身です https://github.com/mtj0928/iOSDC-2020 資料等はこちらから！ もうすぐこのリンク 非表示にします！

6. まつじ • 20 卒 の新卒アプリ開発者 • 大学院では ソフトウェア工学 を研究 •

   個人開発しています！ 奈良出身です https://github.com/mtj0928/iOSDC-2020 資料等はこちらから！ もうすぐこのリンク 非表示にします！

7. ソフトウェア工学を研究する上で 静的解析の知見を得たので... https://github.com/mtj0928/iOSDC-2020 資料等はこちらから！ もうすぐこのリンク 非表示にします！

8. Swift で書かれたソースコードを 静的解析する方法についてお話します！ https://github.com/mtj0928/iOSDC-2020 資料等はこちらから！ 非表示にします！

9. そもそも静的解析とは ソースコードを 実行することなく 解析する手法 実行して解析する手法は動的解析！

10. SwiftLint https://github.com/realm/SwiftLint

11. では静的解析はどのようにしていくのか 見ていきましょう

12. 1. 静的解析の基礎知識

13. import UIKit class ViewController: UIViewController { var num: Int? override

    func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } }

14. import UIKit class ViewController: UIViewController { var num: Int? override

    func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } ソースコード

15. import UIKit class ViewController: UIViewController { var num: Int? override

    func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } import 文 ソースコード

16. ソースコード import UIKit class ViewController: UIViewController { var num: Int?

    override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } ViewController クラス import 文

17. ViewController クラス ソースコード import UIKit class ViewController: UIViewController { var

    num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } import 文 num プロパティ

18. num プロパティ ViewController クラス ソースコード import 文 viewDidLoad() import UIKit

    class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } }

19. num プロパティ ViewController クラス ソースコード import 文 import UIKit class

    ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } viewDidLoad() viewDidLoad()

20. num プロパティ ViewController クラス ソースコード import 文 import UIKit class

    ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } if 文 viewDidLoad() viewDidLoad()

21. num プロパティ ViewController クラス ソースコード import 文 if 文 viewDidLoad()

    viewDidLoad() viewWillAppear(_:) import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } }

22. num プロパティ ViewController クラス ソースコード import 文 if 文 viewDidLoad()

    viewDidLoad() viewWillAppear(_:) import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } つまり

23. ソースコードは木構造

24. num プロパティ ViewController クラス ソースコード import 文 if 文 viewDidLoad()

    viewDidLoad() viewWillAppear(_:) import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } }

25. ただし、静的解析をする時は もっと細かい粒度の木構造を対象にします

26. 構文木 (Syntax Tree)

27. import UIKit class ViewController: UIViewController { var num: Int? override

    func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } }

28. SourceFileSyntax CodeBlockItemListSyntax CodeBlockItemSyntax ImportDeclSyntax TokenSyntax("import") AccessPathSyntax AccessPathComponentSyntax TokenSyntax("UIKit") CodeBlockItemSyntax ClassDeclSyntax

    TokenSyntax("class") TokenSyntax("ViewController") TypeInheritanceClauseSyntax TokenSyntax(":") InheritedTypeListSyntax InheritedTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("UIViewController") MemberDeclBlockSyntax TokenSyntax("{") MemberDeclListSyntax MemberDeclListItemSyntax VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("Int") TokenSyntax("?") MemberDeclListItemSyntax FunctionDeclSyntax ModifierListSyntax DeclModifierSyntax TokenSyntax("override") TokenSyntax("func") import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } }

29. SourceFileSyntax CodeBlockItemListSyntax CodeBlockItemSyntax ImportDeclSyntax TokenSyntax("import") AccessPathSyntax AccessPathComponentSyntax TokenSyntax("UIKit") CodeBlockItemSyntax ClassDeclSyntax

    TokenSyntax("class") TokenSyntax("ViewController") TypeInheritanceClauseSyntax TokenSyntax(":") InheritedTypeListSyntax InheritedTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("UIViewController") MemberDeclBlockSyntax TokenSyntax("{") MemberDeclListSyntax MemberDeclListItemSyntax VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("Int") TokenSyntax("?") MemberDeclListItemSyntax FunctionDeclSyntax ModifierListSyntax DeclModifierSyntax TokenSyntax("override") TokenSyntax("func") import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } このコードに対して

30. SourceFileSyntax CodeBlockItemListSyntax CodeBlockItemSyntax ImportDeclSyntax TokenSyntax("import") AccessPathSyntax AccessPathComponentSyntax TokenSyntax("UIKit") CodeBlockItemSyntax ClassDeclSyntax

    TokenSyntax("class") TokenSyntax("ViewController") TypeInheritanceClauseSyntax TokenSyntax(":") InheritedTypeListSyntax InheritedTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("UIViewController") MemberDeclBlockSyntax TokenSyntax("{") MemberDeclListSyntax MemberDeclListItemSyntax VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("Int") TokenSyntax("?") MemberDeclListItemSyntax FunctionDeclSyntax ModifierListSyntax DeclModifierSyntax TokenSyntax("override") TokenSyntax("func") import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } このコードに対して これだけのノードが！

31. 実際に構文木を解析していきましょう！

32. https://github.com/apple/swift-syntax SwiftSyntax Swift の構文木を生成 / 編集 するライブラリ SwiftPM で導入可能

33. import SwiftSyntax let source: String = "var num: Int?" //

    ソースコード let rootNode = try! SyntaxParser.parse(source: source) 構文木を生成

34. import SwiftSyntax let source: String = "var num: Int?" //

    ソースコード let rootNode = try! SyntaxParser.parse(source: source) 構文木のルートノード

35. import SwiftSyntax let source: String = "var num: Int?" //

    ソースコード let rootNode = try! SyntaxParser.parse(source: source) let text = rootNode.statements .first! .item.as(VariableDeclSyntax.self)! .bindings .first! .pattern.as(IdentifierPatternSyntax.self)! .identifier.text print(text) // => num ルートノードから正しく辿れば 末端のノードを取得可能 現実的ではない SyntaxVisitor

36. SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {

    func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z

37. SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {

    func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z

38. SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {

    func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z

39. SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {

    func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z

40. SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {

    func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z

41. SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {

    func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z

42. SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {

    func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z

43. var num: Int? VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax

    TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("Int") TokenSyntax("?")

44. VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax

    TokenSyntax("Int") TokenSyntax("?") var num: Int?

45. VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax

    TokenSyntax("Int") TokenSyntax("?") var num: Int? 識別子を表すノード

46. class Visitor: SyntaxVisitor { override func visit(_ node: IdentifierPatternSyntax) ->

    SyntaxVisitorContinueKind { let identifier: TokenSyntax = node.identifier print(identifier.text) return .visitChildren } }

47. class Visitor: SyntaxVisitor { override func visit(_ node: IdentifierPatternSyntax) ->

    SyntaxVisitorContinueKind { let identifier: TokenSyntax = node.identifier print(identifier.text) return .visitChildren } } SyntaxVisitorを継承

48. class Visitor: SyntaxVisitor { override func visit(_ node: IdentifierPatternSyntax) ->

    SyntaxVisitorContinueKind { let identifier: TokenSyntax = node.identifier print(identifier.text) return .visitChildren } } IdentifierPatternSyntax に 到達した時に呼ばれる

49. class Visitor: SyntaxVisitor { override func visit(_ node: IdentifierPatternSyntax) ->

    SyntaxVisitorContinueKind { let identifier: TokenSyntax = node.identifier print(identifier.text) return .visitChildren } }

50. import SwiftSyntax let source: String = "var num: Int?" //

    ソースコード let rootNode = try! SyntaxParser.parse(source: source)

51. import SwiftSyntax let source: String = "var num: Int?" //

    ソースコード let rootNode = try! SyntaxParser.parse(source: source) let visitor = Visitor() visitor.walk(rootNode) 構文木を走査する

52. 2. 実装の例

53. IntelliJ のこんな機能を知っていますか？

54. None

55. 7行目とコードが重複している警告

56. 7行目とコードが重複している警告

57. 同様のコード！

58. ソフトウェア工学では 重複したコードを「コードクローン」と呼びます

59. コードクローンは同一のコードなので メソッドにしてまとめるチャンス

60. Swift でコードクローンを検出してみましょう！

61. 実装の流れ 対象のノードを特定する 1 そのノードの中の トークン列に注目する 2

62. 実装の流れ 対象のノードを特定する 1 そのノードの中の トークン列に注目する 2

63. func hoge(_ str: String) { let count = str.count (0..<count).forEach

    { index in let indent = String(repeating: " ", count: index) let stringIndex = str.index(str.startIndex, offsetBy: index) print("∖(indent) ∖(str[stringIndex])") } } func fuga(_ text: String) { if !text.isEmpty { let count = text.count (0..<count).forEach { i in let indent = String(repeating: " ", count: i) let index = text.index(text.startIndex, offsetBy: i) print(" ∖(indent) ∖(text[index])") } } }

64. func hoge(_ str: String) { let count = str.count (0..<count).forEach

    { index in let indent = String(repeating: " ", count: index) let stringIndex = str.index(str.startIndex, offsetBy: index) print("∖(indent) ∖(str[stringIndex])") } } func fuga(_ text: String) { if !text.isEmpty { let count = text.count (0..<count).forEach { i in let indent = String(repeating: " ", count: i) let index = text.index(text.startIndex, offsetBy: i) print(" ∖(indent) ∖(text[index])") } } }

65. func hoge(_ str: String) { let count = str.count (0..<count).forEach

    { index in let indent = String(repeating: " ", count: index) let stringIndex = str.index(str.startIndex, offsetBy: index) print("∖(indent) ∖(str[stringIndex])") } } func fuga(_ text: String) { if !text.isEmpty { let count = text.count (0..<count).forEach { i in let indent = String(repeating: " ", count: i) let index = text.index(text.startIndex, offsetBy: i) print(" ∖(indent) ∖(text[index])") } } } これらがどのような 構文木になっているか調べる

66. 構文木の確認方法 1 swift-ast-explorer-playground https://swift-ast-explorer.kishikawakatsumi.com

67. 構文木の確認方法 2 SwiftSyntax の dump メソッド let root = try!

    SyntaxParser.parse(source: source) dump(root)

68. 構文木の確認方法 2 SwiftSyntax の dump メソッド let root = try!

    SyntaxParser.parse(source: source) dump(root) ▿ SwiftSyntax.SourceFileSyntax ▿ statements: SwiftSyntax.CodeBlockItemListSyntax ▿ SwiftSyntax.CodeBlockItemSyntax ▿ item: SwiftSyntax.ImportDeclSyntax - attributes: nil - modifiers: nil ▿ importTok: SwiftSyntax.TokenSyntax

69. func hoge(_ str: String) { let count = str.count (0..<count).forEach

    { index in let indent = String(repeating: " ", count: index) let stringIndex = str.index(str.startIndex, offsetBy: index) print("∖(indent) ∖(str[stringIndex])") } } func fuga(_ text: String) { if !text.isEmpty { let count = text.count (0..<count).forEach { i in let indent = String(repeating: " ", count: i) let index = text.index(text.startIndex, offsetBy: i) print(" ∖(indent) ∖(text[index])") } } } CodeBlockSyntax

70. class Visitor: SyntaxVisitor { override func visit(_ node: CodeBlockSyntax) ->

    SyntaxVisitorContinueKind { return super.visit(node) } }

71. 実装の流れ 対象のノードを特定する 1 そのノードの中の トークン列に注目する 2

72. { let count = str.count } { let count =

    str . count } トークン化 { print("iOSDC 2020") } トークン化 { print ( = "iOSDC 2020" } ) { let count = str.count } { let count = str . count } トークン化

73. { let count = str.count } { let count =

    str . count } トークン化 { print("iOSDC 2020") } トークン化 { print ( = "iOSDC 2020" } ) { let count = str.count } { let count = str . count } トークン化 1 トークンの並び を比較する

74. Visitor の実装

75. struct CodeChunk { let tokens: [String] let block: CodeBlockSyntax }

    class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } }

76. struct CodeChunk { let tokens: [String] let block: CodeBlockSyntax }

    class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } } トークンを保持する 構造体

77. struct CodeChunk { let tokens: [String] let block: CodeBlockSyntax }

    class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } }

78. struct CodeChunk { let tokens: [String] let block: CodeBlockSyntax }

    class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } } ブロックからコードを 取り出して保持

79. 呼び出し元の処理

80. struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]

    = visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens.hashValue }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く }

81. struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]

    = visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens.hashValue }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } クローンを表す構造体

82. struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]

    = visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens.hashValue }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く }

83. struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]

    = visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } トークン列で グループ分けして

84. struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]

    = visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } 1 つのトークン列に対して 複数持つものだけ抽出 トークン列で グループ分けして

85. struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]

    = visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } トークン列で グループ分けして 1 つのトークン列に対して 複数持つものだけ抽出

86. struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]

    = visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens.hashValue }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く }

87. 完成 ではありません

88. None
89. None

90. 変数名が違う

91. このように変数名が異なると クローンの検出ができない

92. 変数名が完全に一致するクローンを type-1 クローンと呼びます

93. 変数名が異なるコードクローンを type-2 クローンと呼びます

94. 変数名が異なる type-2 クローンをどう検出するか

95. 変数の正規化 変数名を潰すこと

96. { let count = str.count print(count) } 変数の正規化 { let

    _$0 = _$1.count print(_$0) } { let length = text.count print(length) } 変数の正規化 { let _$0 = _$1.count print(_$0) } トークン列の比較で クローンとして検出できない... トークン列の比較で クローンとして検出できる！

97. 変数名を表すトークンを 正規化すれば良さそう （手法によってはプロパティやメソッド名も正規化します）

98. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

    PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length)

99. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

    PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化する

100. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

     PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化する

101. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

     PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化する

102. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

     PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化する

103. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

     PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化しない

104. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

     PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化しない

105. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

     PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length)

106. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

     PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) IdentifierPatternSyntax が 親なら正規化する

107. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

     PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) IdentifierExprSyntax が 親なら正規化する

108. { let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax

     PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) IdentifierExprSyntax が親でも さらにその親が FunctionCallExprSyntax だと正規化しない

109. class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func

     visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } }

110. class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func

     visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let tokens: [String] = normalize(node) let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } }

111. func normalize(_ block: CodeBlockSyntax) -> [String] { return block.tokens.map {

     token -> String in // 識別⼦を取り出す guard case .identifier(let identifier) = token.tokenKind else { return token.text // 予約語などの場合 } if token.parent!.is(IdentifierPatternSyntax.self) || (token.parent!.is(IdentifierExprSyntax.self) && !token.parent!.parent!.is(FunctionCallExprSyntax.self)) { let id: Int // 識別⼦に対応するIDを⽤意(今回は省略) return "_$¥(id)" } return identifier } }

112. func normalize(_ block: CodeBlockSyntax) -> [String] { return block.tokens.map {

     token -> String in // 識別⼦を取り出す guard case .identifier(let identifier) = token.tokenKind else { return token.text // 予約語などの場合 } if token.parent!.is(IdentifierPatternSyntax.self) || (token.parent!.is(IdentifierExprSyntax.self) && !token.parent!.parent!.is(FunctionCallExprSyntax.self)) { let id: Int // 識別⼦に対応するIDを⽤意(今回は省略) return "_$¥(id)" } return identifier } }

113. func normalize(_ block: CodeBlockSyntax) -> [String] { return block.tokens.map {

     token -> String in // 識別⼦を取り出す guard case .identifier(let identifier) = token.tokenKind else { return token.text // 予約語などの場合 } if token.parent!.is(IdentifierPatternSyntax.self) || (token.parent!.is(IdentifierExprSyntax.self) && !token.parent!.parent!.is(FunctionCallExprSyntax.self)) { let id: Int // 識別⼦に対応するIDを⽤意(今回は省略) return "_$¥(id)" } return identifier } }

114. func normalize(_ block: CodeBlockSyntax) -> [String] { return block.tokens.map {

     token -> String in // 識別⼦を取り出す guard case .identifier(let identifier) = token.tokenKind else { return token.text // 予約語などの場合 } if token.parent!.is(IdentifierPatternSyntax.self) || (token.parent!.is(IdentifierExprSyntax.self) && !token.parent!.parent!.is(FunctionCallExprSyntax.self)) { let id: Int // 識別⼦に対応するIDを⽤意(今回は省略) return "_$¥(id)" } return identifier } }

115. これで変数名が異なっている type-2 クローンにも 警告を出すことが出来るようになりました

116. あとはこのプロジェクトをビルドし

117. クローンを探索したいプロジェクトの Build Phases のスクリプトに追加すれば

118. None

119. 3. まとめ

120. まとめ 構文木の紹介 1 SwiftSyntax に関する基礎知識 2 SwiftSyntax を用いてコードクローンを検出 3 https://github.com/mtj0928/iOSDC-2020

     資料等はこちらから！