Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
Swiftで始める静的解析
matsuji
September 21, 2020
Technology
10
3.3k
Swiftで始める静的解析
matsuji
September 21, 2020
Tweet
Share
More Decks by matsuji
See All by matsuji
SwiftUIでハーフモーダルを表示するライブラリが できたのでその紹介をします / ResizableSheet
matsuji
3
130
Other Decks in Technology
See All in Technology
信頼性の階層の一段目を積み上げる/Monitoring Dashboard
shonansurvivors
0
170
AWS CLI入門_20220513
suzakiyoshito
0
3.9k
Oracle Database Technology Night #55 Oracle Autonomous Database 再入門
oracle4engineer
PRO
1
130
次期LTSに備えよ!AOS 6.1 HCI Core 編
smzksts
0
180
プロダクトグロースと技術のベースアップを両立させるRettyのアプリ開発スタイル / Achieve Product Growth and Tech Update
imaizume
1
290
ZOZOTOWNのProduction Readiness Checklistと信頼性向上の取り組み / Improvement the reliability of ZOZOTOWN with Production Readiness Checklist
akitok_
5
1.7k
SRE の歩き方・進め方 / sre-walk-through-procedure
rrreeeyyy
0
300
OSINT/GEOINT ワークショップ 20220514 古橋資料
furuhashilab
2
310
How We Foster Reliability in Diversity
nari_ex
PRO
9
2.8k
Kubernetesの上に作る、統一されたマイクロサービス運用体験
tkuchiki
1
1k
AWS Control TowerとAWS Organizationsを活用した組織におけるセキュリティ設定
fu3ak1
2
650
Research Paper Introduction #98 "NSDI 2022 recap"
cafenero_777
0
200
Featured
See All Featured
StorybookのUI Testing Handbookを読んだ
zakiyama
4
2k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
12
890
Raft: Consensus for Rubyists
vanstee
126
5.4k
How GitHub (no longer) Works
holman
296
140k
Build The Right Thing And Hit Your Dates
maggiecrowley
19
1.1k
Making the Leap to Tech Lead
cromwellryan
113
6.9k
Fireside Chat
paigeccino
11
1.3k
The Mythical Team-Month
searls
208
39k
The Straight Up "How To Draw Better" Workshop
denniskardys
225
120k
The Pragmatic Product Professional
lauravandoore
19
2.9k
Web development in the modern age
philhawksworth
197
9.3k
Mobile First: as difficult as doing things right
swwweet
212
7.5k
Transcript
静的解析 まつじ Swiftで始める ! @mtj_j @mtj0928 https://github.com/mtj0928/iOSDC-2020 資料等はこちらから!
まつじ • 20 卒 の新卒アプリ開発者 • 大学院では ソフトウェア工学 を研究 •
個人開発しています! 奈良出身です https://github.com/mtj0928/iOSDC-2020 資料等はこちらから!
大学生のための時間割 140 万 DL https://github.com/mtj0928/iOSDC-2020 資料等はこちらから!
https://github.com/mtj0928/iOSDC-2020 資料等はこちらから!
まつじ • 20 卒 の新卒アプリ開発者 • 大学院では ソフトウェア工学 を研究 •
個人開発しています! 奈良出身です https://github.com/mtj0928/iOSDC-2020 資料等はこちらから! もうすぐこのリンク 非表示にします!
まつじ • 20 卒 の新卒アプリ開発者 • 大学院では ソフトウェア工学 を研究 •
個人開発しています! 奈良出身です https://github.com/mtj0928/iOSDC-2020 資料等はこちらから! もうすぐこのリンク 非表示にします!
ソフトウェア工学を研究する上で 静的解析の知見を得たので... https://github.com/mtj0928/iOSDC-2020 資料等はこちらから! もうすぐこのリンク 非表示にします!
Swift で書かれたソースコードを 静的解析する方法についてお話します! https://github.com/mtj0928/iOSDC-2020 資料等はこちらから! 非表示にします!
そもそも静的解析とは ソースコードを 実行することなく 解析する手法 実行して解析する手法は動的解析!
SwiftLint https://github.com/realm/SwiftLint
では静的解析はどのようにしていくのか 見ていきましょう
1. 静的解析の基礎知識
import UIKit class ViewController: UIViewController { var num: Int? override
func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } }
import UIKit class ViewController: UIViewController { var num: Int? override
func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } ソースコード
import UIKit class ViewController: UIViewController { var num: Int? override
func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } import 文 ソースコード
ソースコード import UIKit class ViewController: UIViewController { var num: Int?
override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } ViewController クラス import 文
ViewController クラス ソースコード import UIKit class ViewController: UIViewController { var
num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } import 文 num プロパティ
num プロパティ ViewController クラス ソースコード import 文 viewDidLoad() import UIKit
class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } }
num プロパティ ViewController クラス ソースコード import 文 import UIKit class
ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } viewDidLoad() viewDidLoad()
num プロパティ ViewController クラス ソースコード import 文 import UIKit class
ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } if 文 viewDidLoad() viewDidLoad()
num プロパティ ViewController クラス ソースコード import 文 if 文 viewDidLoad()
viewDidLoad() viewWillAppear(_:) import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } }
num プロパティ ViewController クラス ソースコード import 文 if 文 viewDidLoad()
viewDidLoad() viewWillAppear(_:) import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } つまり
ソースコードは木構造
num プロパティ ViewController クラス ソースコード import 文 if 文 viewDidLoad()
viewDidLoad() viewWillAppear(_:) import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } }
ただし、静的解析をする時は もっと細かい粒度の木構造を対象にします
構文木 (Syntax Tree)
import UIKit class ViewController: UIViewController { var num: Int? override
func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } }
SourceFileSyntax CodeBlockItemListSyntax CodeBlockItemSyntax ImportDeclSyntax TokenSyntax("import") AccessPathSyntax AccessPathComponentSyntax TokenSyntax("UIKit") CodeBlockItemSyntax ClassDeclSyntax
TokenSyntax("class") TokenSyntax("ViewController") TypeInheritanceClauseSyntax TokenSyntax(":") InheritedTypeListSyntax InheritedTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("UIViewController") MemberDeclBlockSyntax TokenSyntax("{") MemberDeclListSyntax MemberDeclListItemSyntax VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("Int") TokenSyntax("?") MemberDeclListItemSyntax FunctionDeclSyntax ModifierListSyntax DeclModifierSyntax TokenSyntax("override") TokenSyntax("func") import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } }
SourceFileSyntax CodeBlockItemListSyntax CodeBlockItemSyntax ImportDeclSyntax TokenSyntax("import") AccessPathSyntax AccessPathComponentSyntax TokenSyntax("UIKit") CodeBlockItemSyntax ClassDeclSyntax
TokenSyntax("class") TokenSyntax("ViewController") TypeInheritanceClauseSyntax TokenSyntax(":") InheritedTypeListSyntax InheritedTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("UIViewController") MemberDeclBlockSyntax TokenSyntax("{") MemberDeclListSyntax MemberDeclListItemSyntax VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("Int") TokenSyntax("?") MemberDeclListItemSyntax FunctionDeclSyntax ModifierListSyntax DeclModifierSyntax TokenSyntax("override") TokenSyntax("func") import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } このコードに対して
SourceFileSyntax CodeBlockItemListSyntax CodeBlockItemSyntax ImportDeclSyntax TokenSyntax("import") AccessPathSyntax AccessPathComponentSyntax TokenSyntax("UIKit") CodeBlockItemSyntax ClassDeclSyntax
TokenSyntax("class") TokenSyntax("ViewController") TypeInheritanceClauseSyntax TokenSyntax(":") InheritedTypeListSyntax InheritedTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("UIViewController") MemberDeclBlockSyntax TokenSyntax("{") MemberDeclListSyntax MemberDeclListItemSyntax VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("Int") TokenSyntax("?") MemberDeclListItemSyntax FunctionDeclSyntax ModifierListSyntax DeclModifierSyntax TokenSyntax("override") TokenSyntax("func") import UIKit class ViewController: UIViewController { var num: Int? override func viewDidLoad() { super.viewDidLoad() if let num = num { /* 略 */ } else { /* 略 */ } } override func viewWillAppear(_ animated: Bool) { super.viewWillAppear(animated) } } このコードに対して これだけのノードが!
実際に構文木を解析していきましょう!
https://github.com/apple/swift-syntax SwiftSyntax Swift の構文木を生成 / 編集 するライブラリ SwiftPM で導入可能
import SwiftSyntax let source: String = "var num: Int?" //
ソースコード let rootNode = try! SyntaxParser.parse(source: source) 構文木を生成
import SwiftSyntax let source: String = "var num: Int?" //
ソースコード let rootNode = try! SyntaxParser.parse(source: source) 構文木のルートノード
import SwiftSyntax let source: String = "var num: Int?" //
ソースコード let rootNode = try! SyntaxParser.parse(source: source) let text = rootNode.statements .first! .item.as(VariableDeclSyntax.self)! .bindings .first! .pattern.as(IdentifierPatternSyntax.self)! .identifier.text print(text) // => num ルートノードから正しく辿れば 末端のノードを取得可能 現実的ではない SyntaxVisitor
SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {
func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z
SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {
func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z
SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {
func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z
SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {
func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z
SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {
func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z
SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {
func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z
SyntaxVisitor 構文木を 深さ優先探索 で走査し、 各ノードに対応する visit メソッドを呼び出す class SyntaxVisitor {
func visit(_ node: X) { } func visit(_ node: Y) { } func visit(_ node: Z) { } } X Y Y Z Z Z Z
var num: Int? VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax
TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax TokenSyntax("Int") TokenSyntax("?")
VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax
TokenSyntax("Int") TokenSyntax("?") var num: Int?
VariableDeclSyntax TokenSyntax("var") PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax("num") TypeAnnotationSyntax TokenSyntax(":") OptionalTypeSyntax SimpleTypeIdentifierSyntax
TokenSyntax("Int") TokenSyntax("?") var num: Int? 識別子を表すノード
class Visitor: SyntaxVisitor { override func visit(_ node: IdentifierPatternSyntax) ->
SyntaxVisitorContinueKind { let identifier: TokenSyntax = node.identifier print(identifier.text) return .visitChildren } }
class Visitor: SyntaxVisitor { override func visit(_ node: IdentifierPatternSyntax) ->
SyntaxVisitorContinueKind { let identifier: TokenSyntax = node.identifier print(identifier.text) return .visitChildren } } SyntaxVisitorを継承
class Visitor: SyntaxVisitor { override func visit(_ node: IdentifierPatternSyntax) ->
SyntaxVisitorContinueKind { let identifier: TokenSyntax = node.identifier print(identifier.text) return .visitChildren } } IdentifierPatternSyntax に 到達した時に呼ばれる
class Visitor: SyntaxVisitor { override func visit(_ node: IdentifierPatternSyntax) ->
SyntaxVisitorContinueKind { let identifier: TokenSyntax = node.identifier print(identifier.text) return .visitChildren } }
import SwiftSyntax let source: String = "var num: Int?" //
ソースコード let rootNode = try! SyntaxParser.parse(source: source)
import SwiftSyntax let source: String = "var num: Int?" //
ソースコード let rootNode = try! SyntaxParser.parse(source: source) let visitor = Visitor() visitor.walk(rootNode) 構文木を走査する
2. 実装の例
IntelliJ のこんな機能を知っていますか?
None
7行目とコードが重複している警告
7行目とコードが重複している警告
同様のコード!
ソフトウェア工学では 重複したコードを「コードクローン」と呼びます
コードクローンは同一のコードなので メソッドにしてまとめるチャンス
Swift でコードクローンを検出してみましょう!
実装の流れ 対象のノードを特定する 1 そのノードの中の トークン列に注目する 2
実装の流れ 対象のノードを特定する 1 そのノードの中の トークン列に注目する 2
func hoge(_ str: String) { let count = str.count (0..<count).forEach
{ index in let indent = String(repeating: " ", count: index) let stringIndex = str.index(str.startIndex, offsetBy: index) print("∖(indent) ∖(str[stringIndex])") } } func fuga(_ text: String) { if !text.isEmpty { let count = text.count (0..<count).forEach { i in let indent = String(repeating: " ", count: i) let index = text.index(text.startIndex, offsetBy: i) print(" ∖(indent) ∖(text[index])") } } }
func hoge(_ str: String) { let count = str.count (0..<count).forEach
{ index in let indent = String(repeating: " ", count: index) let stringIndex = str.index(str.startIndex, offsetBy: index) print("∖(indent) ∖(str[stringIndex])") } } func fuga(_ text: String) { if !text.isEmpty { let count = text.count (0..<count).forEach { i in let indent = String(repeating: " ", count: i) let index = text.index(text.startIndex, offsetBy: i) print(" ∖(indent) ∖(text[index])") } } }
func hoge(_ str: String) { let count = str.count (0..<count).forEach
{ index in let indent = String(repeating: " ", count: index) let stringIndex = str.index(str.startIndex, offsetBy: index) print("∖(indent) ∖(str[stringIndex])") } } func fuga(_ text: String) { if !text.isEmpty { let count = text.count (0..<count).forEach { i in let indent = String(repeating: " ", count: i) let index = text.index(text.startIndex, offsetBy: i) print(" ∖(indent) ∖(text[index])") } } } これらがどのような 構文木になっているか調べる
構文木の確認方法 1 swift-ast-explorer-playground https://swift-ast-explorer.kishikawakatsumi.com
構文木の確認方法 2 SwiftSyntax の dump メソッド let root = try!
SyntaxParser.parse(source: source) dump(root)
構文木の確認方法 2 SwiftSyntax の dump メソッド let root = try!
SyntaxParser.parse(source: source) dump(root) ▿ SwiftSyntax.SourceFileSyntax ▿ statements: SwiftSyntax.CodeBlockItemListSyntax ▿ SwiftSyntax.CodeBlockItemSyntax ▿ item: SwiftSyntax.ImportDeclSyntax - attributes: nil - modifiers: nil ▿ importTok: SwiftSyntax.TokenSyntax
func hoge(_ str: String) { let count = str.count (0..<count).forEach
{ index in let indent = String(repeating: " ", count: index) let stringIndex = str.index(str.startIndex, offsetBy: index) print("∖(indent) ∖(str[stringIndex])") } } func fuga(_ text: String) { if !text.isEmpty { let count = text.count (0..<count).forEach { i in let indent = String(repeating: " ", count: i) let index = text.index(text.startIndex, offsetBy: i) print(" ∖(indent) ∖(text[index])") } } } CodeBlockSyntax
class Visitor: SyntaxVisitor { override func visit(_ node: CodeBlockSyntax) ->
SyntaxVisitorContinueKind { return super.visit(node) } }
実装の流れ 対象のノードを特定する 1 そのノードの中の トークン列に注目する 2
{ let count = str.count } { let count =
str . count } トークン化 { print("iOSDC 2020") } トークン化 { print ( = "iOSDC 2020" } ) { let count = str.count } { let count = str . count } トークン化
{ let count = str.count } { let count =
str . count } トークン化 { print("iOSDC 2020") } トークン化 { print ( = "iOSDC 2020" } ) { let count = str.count } { let count = str . count } トークン化 1 トークンの並び を比較する
Visitor の実装
struct CodeChunk { let tokens: [String] let block: CodeBlockSyntax }
class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } }
struct CodeChunk { let tokens: [String] let block: CodeBlockSyntax }
class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } } トークンを保持する 構造体
struct CodeChunk { let tokens: [String] let block: CodeBlockSyntax }
class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } }
struct CodeChunk { let tokens: [String] let block: CodeBlockSyntax }
class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } } ブロックからコードを 取り出して保持
呼び出し元の処理
struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]
= visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens.hashValue }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く }
struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]
= visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens.hashValue }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } クローンを表す構造体
struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]
= visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens.hashValue }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く }
struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]
= visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } トークン列で グループ分けして
struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]
= visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } 1 つのトークン列に対して 複数持つものだけ抽出 トークン列で グループ分けして
struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]
= visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く } トークン列で グループ分けして 1 つのトークン列に対して 複数持つものだけ抽出
struct CodeClone { let chunks: [CodeChunk] } let chunks: [CodeChunk]
= visitor.chunks let clones = Dictionary(grouping: chunks, by: { $0.tokens.hashValue }) .filter { $0.value.count >= 2 } .map { CodeClone(chunks: $0.value) } clones.forEach { clone in // ここに Xcode で警告を出す処理を書く }
完成 ではありません
None
None
変数名が違う
このように変数名が異なると クローンの検出ができない
変数名が完全に一致するクローンを type-1 クローンと呼びます
変数名が異なるコードクローンを type-2 クローンと呼びます
変数名が異なる type-2 クローンをどう検出するか
変数の正規化 変数名を潰すこと
{ let count = str.count print(count) } 変数の正規化 { let
_$0 = _$1.count print(_$0) } { let length = text.count print(length) } 変数の正規化 { let _$0 = _$1.count print(_$0) } トークン列の比較で クローンとして検出できない... トークン列の比較で クローンとして検出できる!
変数名を表すトークンを 正規化すれば良さそう (手法によってはプロパティやメソッド名も正規化します)
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length)
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化する
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化する
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化する
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化する
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化しない
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) 正規化しない
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length)
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) IdentifierPatternSyntax が 親なら正規化する
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) IdentifierExprSyntax が 親なら正規化する
{ let length = str.count print(length) } CodeBlockItemListSyntax CodeBlockItemSyntax VariableDeclSyntax
PatternBindingListSyntax PatternBindingSyntax IdentifierPatternSyntax TokenSyntax (length) InitializerClauseSyntax MemberAccessExprSyntax IdentifierExprSyntax TokenSyntax (str) TokenSyntax (count) CodeBlockItemSyntax FunctionCallExprSyntax IdentifierExprSyntax TokenSyntax (print) TupleExprElementListSyntax TupleExprElementSyntax IdentifierExprSyntax TokenSyntax (length) IdentifierExprSyntax が親でも さらにその親が FunctionCallExprSyntax だと正規化しない
class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func
visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } }
class Visitor: SyntaxVisitor { var chunks = [CodeChunk]() override func
visit(_ node: CodeBlockSyntax) -> SyntaxVisitorContinueKind { let tokens: [String] = node.tokens.map { $0.text } let tokens: [String] = normalize(node) let chunk = CodeChunk(tokens: tokens, block: node) chunks.append(chunk) return super.visit(node) } }
func normalize(_ block: CodeBlockSyntax) -> [String] { return block.tokens.map {
token -> String in // 識別⼦を取り出す guard case .identifier(let identifier) = token.tokenKind else { return token.text // 予約語などの場合 } if token.parent!.is(IdentifierPatternSyntax.self) || (token.parent!.is(IdentifierExprSyntax.self) && !token.parent!.parent!.is(FunctionCallExprSyntax.self)) { let id: Int // 識別⼦に対応するIDを⽤意(今回は省略) return "_$¥(id)" } return identifier } }
func normalize(_ block: CodeBlockSyntax) -> [String] { return block.tokens.map {
token -> String in // 識別⼦を取り出す guard case .identifier(let identifier) = token.tokenKind else { return token.text // 予約語などの場合 } if token.parent!.is(IdentifierPatternSyntax.self) || (token.parent!.is(IdentifierExprSyntax.self) && !token.parent!.parent!.is(FunctionCallExprSyntax.self)) { let id: Int // 識別⼦に対応するIDを⽤意(今回は省略) return "_$¥(id)" } return identifier } }
func normalize(_ block: CodeBlockSyntax) -> [String] { return block.tokens.map {
token -> String in // 識別⼦を取り出す guard case .identifier(let identifier) = token.tokenKind else { return token.text // 予約語などの場合 } if token.parent!.is(IdentifierPatternSyntax.self) || (token.parent!.is(IdentifierExprSyntax.self) && !token.parent!.parent!.is(FunctionCallExprSyntax.self)) { let id: Int // 識別⼦に対応するIDを⽤意(今回は省略) return "_$¥(id)" } return identifier } }
func normalize(_ block: CodeBlockSyntax) -> [String] { return block.tokens.map {
token -> String in // 識別⼦を取り出す guard case .identifier(let identifier) = token.tokenKind else { return token.text // 予約語などの場合 } if token.parent!.is(IdentifierPatternSyntax.self) || (token.parent!.is(IdentifierExprSyntax.self) && !token.parent!.parent!.is(FunctionCallExprSyntax.self)) { let id: Int // 識別⼦に対応するIDを⽤意(今回は省略) return "_$¥(id)" } return identifier } }
これで変数名が異なっている type-2 クローンにも 警告を出すことが出来るようになりました
あとはこのプロジェクトをビルドし
クローンを探索したいプロジェクトの Build Phases のスクリプトに追加すれば
None
3. まとめ
まとめ 構文木の紹介 1 SwiftSyntax に関する基礎知識 2 SwiftSyntax を用いてコードクローンを検出 3 https://github.com/mtj0928/iOSDC-2020
資料等はこちらから!