Upgrade to Pro — share decks privately, control downloads, hide ads and more …

터치 습관으로 비대면 금융을 더 안전하게

kakao
PRO
December 08, 2022

터치 습관으로 비대면 금융을 더 안전하게

#ML #FDS #인증

사람마다 스마트폰 사용 습관이 다르다는 걸 알고 계셨나요? 이를 이용해 사용자가 인지하지 못한 상태에서 본인인증을 하는 무자각 인증 기술에 대해 소개하고, 분석 과정에서 겪은 경험들을 공유하고자 합니다.

발표자 : barney.s
카카오뱅크 금융기술연구소에서 연구개발 업무를 담당하고 있는 Barney입니다.

kakao
PRO

December 08, 2022
Tweet

More Decks by kakao

Other Decks in Programming

Transcript

  1. Copyright 2022. Kakao Corp. All rights reserved. Redistribution or public display is not permitted without written permission from Kakao.
    터치 습관으로 비대면 금융을 더 안전하게
    신동화 barney.s


    카카오뱅크
    if(kakao)2022

    View Slide

  2. What you know
    패스워드, PIN, 패턴인증

    View Slide

  3. What you know
    패스워드, PIN, 패턴인증 OTP, 인증서
    What you have

    View Slide

  4. What you know
    패스워드, PIN, 패턴인증 OTP, 인증서 지문, 얼굴, 홍채, 터치 습관
    What you have What you are

    View Slide

  5. 무자각 인증이란?
    “사용자의 무의식적인 행동패턴과 생체정보를 활용하여 명시적인 인증절차 없이 신원을 검증하는 기술”

    View Slide

  6. View Slide

  7. 0
    200
    400
    1 2 3 4 5
    유저A
    유저B
    유저C
    터치 시간차

    View Slide

  8. 0
    200
    400
    1 2 3 4 5
    유저A
    유저B
    유저C
    터치 시간차(ms)
    + 터치 압력, 좌표, 스마트폰 센서 값 등

    View Slide

  9. 인증 결과도 중요하지만 과정도 중요하다

    View Slide

  10. 사기꾼
    이체/출금
    회원가입
    피해자
    요구불 계좌 개설 대출 실행
    스마트폰/


    신분증 탈취

    View Slide

  11. 사기꾼
    이체/출금
    회원가입
    피해자
    요구불 계좌 개설 대출 실행
    스마트폰/


    신분증 탈취
    22년 8월 25일 기준
    회원가입 직후 1일 이내 위 행동을 수행하는 비율 - 41.35%
    50대 이상 비율 - 86.86%

    View Slide

  12. =
    30대
    2017. 07. 27
    서울특별시 OO구청장
    901231
    -
    OOOOOO
    김바니

    View Slide

  13. 인증 비밀번호에 적용
    금융활동시 가장 많이 접하는 화면 중 하나
    회원가입 시 필수적으로 인증 비밀번호를 등록
    추후 다른 화면들에도 적용 예정

    View Slide

  14. 터치 시간 (떼는 시간)
    터치 좌표 + OS, 화면 크기, 성별, 연령대 정보

    View Slide

  15. 터치 습관 차이
    터치 리듬 유사도
    1.0
    -1.0

    View Slide

  16. 1
    터치 습관 차이
    여성의 터치 입력
    남성의 터치 입력

    View Slide

  17. 터치 습관 차이
    0
    350
    700
    10대 20대 30대 40대 50대 60대 70대 이상
    시간차
    평균값
    중간값

    View Slide

  18. 1
    터치 습관 차이
    고연령 터치 입력
    비 고연령 터치 입력

    View Slide

  19. 실데이터 터치 시간차 리듬
    20대 남성 iOS
    시간차
    버튼입력2-1 버튼입력3-2 버튼입력4-3 버튼입력5-4 버튼입력6-5

    View Slide

  20. 실데이터 터치 시간차 리듬
    20대 남성 iOS
    유저B
    유저A
    시간차
    버튼입력2-1 버튼입력3-2 버튼입력4-3 버튼입력5-4 버튼입력6-5

    View Slide

  21. 실데이터 좌표 플롯
    유저A
    유저B
    1 2 3
    4 5 6
    7 8 9
    0

    View Slide

  22. 모형 개발을 위한 데이터 구성
    터치 시간과 좌표 값으로 부터 총 75개의 파생 변수 생성
    d
    2
    7
    θ
    Δt
    ti
    : (xi
    , yi
    )
    고연령 분류(50대 이상) 및 사용자 인증 모형에 사용

    View Slide

  23. 사용자 인증 모형 개발
    사용자 개별 훈련데이터가 많지 않음
    전체 사용자의 89%가 5개 이내의 인증 수를 가짐
    사용자별 인증 수
    0
    300000
    600000
    5 10 15 20 25 30 35 40 45 50
    사용자 수
    Metric learning 방법론 사용

    View Slide

  24. Classi
    fi
    cation

    View Slide

  25. Metric learning

    View Slide

  26. 사용자 인증 모형
    Siamese Neural Networks LSTM w/ ArcFace
    LSTM
    Shared
    weights
    Distance layer
    ArcFace loss
    Attention layer
    Koch, Gregory, Richard Zemel, and Ruslan Salakhutdinov. "Siamese neural networks for one
    -
    shot image recognition." ICML deep learning workshop. Vol. 2. 2015.
    Deng, Jiankang, et al. "Arcface: Additive angular margin loss for deep face recognition." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019.

    View Slide

  27. Deng, Jiankang, et al. "Arcface: Additive angular margin loss for deep face recognition." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019.
    LSTM w/ ArcFace
    LSTM
    ArcFace loss
    Attention layer
    (사용자 본인 인증, 사용자 본인 인증)
    Siamese Neural Networks
    Shared
    weights
    Distance layer
    사용자 인증 모형
    Koch, Gregory, Richard Zemel, and Ruslan Salakhutdinov. "Siamese neural networks for one
    -
    shot image recognition." ICML deep learning workshop. Vol. 2. 2015.
    (사용자 본인 인증, 다른 사용자 인증)
    Training
    ( , )
    ( , )

    View Slide

  28. Deng, Jiankang, et al. "Arcface: Additive angular margin loss for deep face recognition." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019.
    LSTM w/ ArcFace
    LSTM
    ArcFace loss
    Attention layer
    (사용자 본인 인증 훈련셋, 새로운 터치 입력)
    Siamese Neural Networks
    Shared
    weights
    Distance layer
    사용자 인증 모형
    Koch, Gregory, Richard Zemel, and Ruslan Salakhutdinov. "Siamese neural networks for one
    -
    shot image recognition." ICML deep learning workshop. Vol. 2. 2015.
    = 0.68
    ( , )
    Prediction
    = 0.93
    ( , )
    = 0.76
    ( , )
    = 0.79
    1
    2
    3

    View Slide

  29. Koch, Gregory, Richard Zemel, and Ruslan Salakhutdinov. "Siamese neural networks for one
    -
    shot image recognition." ICML deep learning workshop. Vol. 2. 2015.
    Siamese Neural Networks
    Shared
    weights
    Distance layer
    LSTM w/ ArcFace
    LSTM
    ArcFace loss
    Attention layer
    사용자 인증 모형
    Deng, Jiankang, et al. "Arcface: Additive angular margin loss for deep face recognition." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019.
    ( 개별 사용자 인증, label )
    Training
    Ci
    ( , )

    View Slide

  30. Koch, Gregory, Richard Zemel, and Ruslan Salakhutdinov. "Siamese neural networks for one
    -
    shot image recognition." ICML deep learning workshop. Vol. 2. 2015.
    Siamese Neural Networks
    Shared
    weights
    Distance layer
    LSTM w/ ArcFace
    LSTM
    ArcFace loss
    Attention layer
    Deng, Jiankang, et al. "Arcface: Additive angular margin loss for deep face recognition." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019.
    Prediction
    embedding
    vector
    사용자 인증 모형
    1.0 0.56 0.68
    0.56 1.0 0.81
    0.68 0.81 1.0
    사용자 본인 인증 훈련셋 끼리 유사도 계산 후
    대표 인증 벡터를 추출
    1 2 3
    1
    2
    3

    View Slide

  31. Koch, Gregory, Richard Zemel, and Ruslan Salakhutdinov. "Siamese neural networks for one
    -
    shot image recognition." ICML deep learning workshop. Vol. 2. 2015.
    Siamese Neural Networks
    Shared
    weights
    Distance layer
    LSTM w/ ArcFace
    LSTM
    ArcFace loss
    Attention layer
    Deng, Jiankang, et al. "Arcface: Additive angular margin loss for deep face recognition." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019.
    embedding
    vector
    사용자 인증 모형
    ( , )
    새로운 터치 입력


    임베딩 벡터
    ( , ) = 0.77
    사용자 본인


    대표 인증 벡터
    Prediction
    3

    View Slide

  32. 성능지표
    Threshold
    False Acceptance Rate (FAR) False Rejection Rate (FRR)
    Error rate
    Equal Error Rate (EER)

    View Slide

  33. 테스트 모형 비교
    Siamese Neural Nets LSTM w/ ArcFace
    0.13 0.11
    O X
    < 1mb > 10mb
    DNN LSTM
    EER 0.23 0.24
    개인별 모형 여부 X X
    모형 크기 < 1mb < 1mb
    고연령 분류 모형 사용자 인증 모형

    View Slide

  34. 더 편리하고 안전한 은행
    Financial Tech Lab
    카카오뱅크 금융기술연구소

    View Slide

  35. E.O.D

    View Slide