hash #TechLunch

hash
2012/09/05 (水) @ Livesense TechLunch
発表者：桂 大介

Transcript

1. hash katsura@livesense.co.jp
2. *assume that hash functions always return an integer.
3. usage * hash table * bloom filter * finding dup * finding similar
4. hash table table 0 entry - entry - entry 1 entry - entry 2 3 entry - entry - entry 4 entry http://www.docjar.com/html/api/java/util/AbstractMap.java.html
5. int hash = hash(key) int idx = hash % size Entry entry = table[idx] for 0; entry != null; entry = entry.next if entry.key == key entry.value = value return end end entry.append(new entry(key, value))
6. bloom filter 0000000100000000000010000001000 0001000000000000101000000000000 0000001000000011000000000000000 0000000000000000100000100100000 0000000000010101000000000000000 -------------------- OR -------------------------- 0001001100010111101010100101000
7. int bits = 0 bits = bits | hash(value1 + salt1) % size bits = bits | hash(value1 + salt2) % size bits = bits | hash(value1 + salt3) % size .... has_target = bits & hash(target + salt1) && bits & hash(target + salt2) && bits & hash(target + salt3)
8. LOUDSトライのオンライン構築のためのブルームフィルタ構築法 (コンピューティングシステム Vol.5 No.2) 簡潔データ構造のオンライン構築とブルームフィルタによる検索性能の向上 (データベース Vol.4 No.4) IBMプロフェッショナル論文 空間効率の高いインメモリー辞書のオンライン構築 Bloom Filterによる高速でコンパクトなインデックス構造 : NAND Flash SSD上の高速データベースを対象とした(ソフトウェア,ネッ トワーク,クラウド及び一般) ブルームフィルタを用いたウェイクアップ型通信システム(電子通信エネルギー) Semi-ShuffledBF :ブルームフィルタを用いた安全かつより高速なプライバシ保護検索手法の提案 ブルームフィルタを用いた検索自由度の高い検索可能暗号の設計と実装評価(サービス管理,運用管理技術,セキュリティ管理,及 び一般) VANETにおける経路設定情報を利用したメッセージルーティングプロトコルの一考察 B-5-146 ブルームフィルタを用いたウェイクアップ型無線通信システムにおけるID長の影響(B-5.無線通信システムB(無線アクセ スネットワーク),一般セッション) 大規模品質計測システムの実装評価(グリーンICTとQoE,一般) 複数のフロー特定手法によるP2Pパケットキャッシュ効率の比較(P2P) ブルームフィルタを用いたウェイクアップ型無線通信システムの消費電力評価(信号処理,無線回路,ブロードバンド無線アクセス 技術,一般) メモリ制限のあるP2P DHT上の連言検索手法(P2P,コンテンツ配信,コンテンツ配信,コンテキストアウェアネス,IPv6,認証,ID/名前 管理及び一般) BFを用いたフロー同定によるP2Pパケットキャッシュ効率の改善手法(ポストIPネットワーキング,ネットワークモデル,インターネットト ラヒック,TCP/IP,マルチメディア通信,ネットワーク管理,リソース管理,プライベートネットワーク,NW安全性及び一般) ブルームフィルタを用いたプライバシ保護検索における攻撃モデルとデータ撹乱法の一検討 ブルームフィルタを用いたNetFlow型パケットロス推定手法の提案(ユビキタス/ブロードバンドネットワークの品質とメディア品質、 品質評価モデル、信頼性とセキュリティ、コンテンツ、インセンティブ、一般) 分散 RDF 問合せ処理時の転送量減少のためのブルームフィルタの拡張 地理情報のデータ構造を考慮した放送型キャッシュデータ無効化プロトコル(移動通信ワークショップ) DaaSにおけるスキーマ情報と複合的な検索条件を隠ぺいしたプライバシ保護検索手法(セッション5c:セキュリティ・プライバシー) P2Pシステムにおけるブルームフィルタを利用したオーバレイネットワークの構築(セッションB-1:P2P・オーバーレイネットワーク(1)) P2Pネットワークにおける決定性減衰型ブルームフィルタの提案と検索効率の評価(インターネットの品質評価・品質管理技術, ネットワーク品質,トラヒック計測,一般) 分散ハッシュテーブル型P2Pシステムにおけるブルームフィルタを用いた高速連言検索手法の評価(2006年並列/分散/協調処理 に関する『高知』サマー・ワークショップ(SWoPP高知2006) P2Pネットワークにおけるブルームフィルタを利用したインデックス情報散布法の改良(次世代ネットワーク,SIP・プレゼンス,一般)
9. finding similar (locality-sensitive hash) Locality-sensitive hashing (LSH) is a method of performing probabilistic dimension reduction of high-dimensional data.
10. cryptographic hash katsura@livesense.co.jp
11. cryptographic hash A cryptographic hash function is a hash function, that is, an algorithm that takes an arbitrary block of data and returns a fixed-size bit string, the (cryptographic) hash value, such that an (accidental or intentional) change to the data will (with very high probability) change the hash value. The data to be encoded is often called the "message," and the hash value is sometimes called the message digest or simply digest.
12. cryptographic hash • it is easy to compute the hash value for any given message • it is infeasible to generate a message that has a given hash • it is infeasible to modify a message without changing the hash • it is infeasible to find two different messages with the same hash
13. cryptographic hash • preimage resistance Given a hash "h" it should be difficult to find any message "m" such that "h = hash(m)". • second-preimage resistance Given an input "m1" it should be difficult to find another input "m2" - where "m1 != m2" - such that "hash(m1) = hash(m2)". • collision resistance It should be difficult to find two different messages "m1" and "m2" such that "hash(m1) = hash(m2)".
14. Secure hash algorithm? Classification and Generation of Disturbance Vectors for Collision Attacks against SHA-1 http://eprint.iacr.org/2008/469.pdf
15. how about md5 recipe is here http://www.studyinghttp.net/md5 it has since been shown that MD5 is not collision resistant; as such, MD5 is not suitable for applications like SSL certificates or digital signatures that rely on this property.
16. !?
17. MD5 considered harmful today • http://events.ccc. de/congress/2008/Fahrplan/track/Hacking/30 23.en.html • http://security.slashdot. jp/story/09/01/02/0928204/ • http://jp.techcrunch. com/archives/20081230md5-collision- creates-rogue-certificate-authority/ • https://www.verisign.co. jp/ssl/about/20090106.html
18. hash agility Hash Agility refers to the ability of a program, algorithm, protocol, or device to use any of a group of cryptographic hash algorithms in performing its task. In a client server protocol, hash agility also requires that two (or more) entities be able to negotiate a hash algorithm or algorithms that satisfies both the security requirements of all entities and also the abilities of all entities.
19. SHA-3 http://csrc.nist.gov/groups/ST/hash/sha-3/index. html
20. 予告
21. rasberry pi?
22. has been soldout!
23. - AR - image processing - Android App