PaperWithCodeの10本を紹介 1. 機械学習モデルに検出不可能なバックドアを仕込む Planting Undetectable Backdoors in Machine Learning Models 2. 計算最適化された大規模言語モデルの学習 Training Compute-Optimal Large Language Models 3. ソクラテスモデル。ゼロショット多言語推論を言語で構成する Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language 4. STaR: 推論によるブートストラップ推論 STaR: Bootstrapping Reasoning With Reasoning 5. Make-A-Scene: 人間のプライヤーを用いた情景ベースのテキストから画像への生成 Make-A-Scene: Scene-Based Text-to-Image Generation with Human Priors 6. 映像拡散モデル Video Diffusion Models 7. 努力する価値はあるのか？サッカーにおける身体的指標の理解と文脈化 Is it worth the effort? Understanding and contextualizing physical metrics in soccer 8. ビッグモデルへの道しるべ A Roadmap for Big Model 9. 正則化とデータ補強の効果はクラスに依存する The Effects of Regularization and Data Augmentation are Class Dependent 10.物体検出のためのプレインビジョントランスフォーマーバックボーンの探索 Exploring Plain Vision Transformer Backbones for Object Detection https://megalodon.jp/2022-0423-1158-49/https://paperswithcode.com:443/top-social?num_days=30
ソクラテス対話とは Socratic dialogue (Ancient Greek: Σωκρατικὸς λόγος) is a genre of literary prose developed in Greece at the turn of the fourth century BC. The earliest ones are preserved in the works of Plato and Xenophon and all involve Socrates as the protagonist. These dialogues and subsequent ones in the genre present a discussion of moral and philosophical problems between two or more individuals illustrating the application of the Socratic method. The dialogues may be either dramatic or narrative. While Socrates is often the main participant, his presence in the dialogue is not essential to the genre. ソクラテス対話（古代ギリシャ語：Σωκρατικὸς λόγος） は、紀元前4世紀頃にギリシャで発展した文学散文 のジャンルである。最古のものはプラトンやクセノ フォンの著作に残されており、いずれもソクラテスを 主人公としたものである。これらの対話篇とそれに続 く対話篇は、ソクラテスの方法を応用した2人以上の 個人による道徳的・哲学的な問題の議論を提示する ものである。対話は劇形式と物語形式がある。ソクラ テスはしばしば主要な参加者であるが、対話におけ る彼の存在は、このジャンルにとって不可欠なもので はない。 https://en.wikipedia.org/wiki/Socratic_dialogue deeplによる翻訳
コンセプト 既存のVLM (Visual Language Model)、LMs (Large Language Model) 、 ALMs (Audio Language Model)、同士が構造 化された対話を行う（中央）。ビデオサーチ、キャプション生成、ビデオQ＆A、将来の行動予測をこの対話空間への 新しい参加者として扱う
Application Machine Translation Text Generation Dialogue Protein Research Text-to-Text Generation, Data-to-Text Generation, Vision-to-Text Generation • Big Dialogue Models: • DialoGPT, Meena, Blender Bot, Plato, Eva • Persona in Conversation
9.正則化とデータ補強の効果はクラスに依存する The Effects of Regularization and Data Augmentation are Class Dependent 正則化は、オーバーフィッティングを防ぎ、モデルの複雑さを抑制して汎化性能を向上させるための基本的な技術である。現 在のDeep Networksは、Data-Augmentation (DA)やweight-decayなどの正則化に大きく依存し、最適な正則化のハイパーパラ メータを選択するために構造リスク最小化、すなわちクロスバリデーションを用いている。本研究では、DAや減量などの手法が、 クラス間で不公平な、複雑さを低減したモデルを生成することを実証する。例えば、resnet50を用いたImagenetでは、学習中に ランダムクロップDAを導入するだけで、「barn spider」分類テストの精度は68%から46%に低下する。さらに驚くべきことに、この ような性能低下は、重み減衰のような非情報的な正則化技術を導入した場合にも現れます。これらの結果は、すべてのクラス とサンプルを平均した汎化性能を高めようとするあまり、いくつかのクラスで性能を犠牲にするモデルや正則化手法を導入して しまったことを示しています。例えば、Imagenetで事前学習したresnet50をINaturalistに展開すると、Imagenetの事前学習段階 でランダムクロップDAを導入すると、クラス#8889で性能が70%から30%に低下することが分かっています。これらの結果は、ク ラス依存のバイアスを持たない新しい正則化器を設計することが未解決の研究課題であることを示しています。正則化は、 オーバーフィットを防ぎ、モデルの複雑さを抑制することによって汎化性能を向上させるための基本的な技術です。現在の Deep Networksは、Data-Augmentation（DA）やweight-decayなどの正則化に大きく依存し、最適な正則化のハイパーパラメータ を選択するために、構造リスク最小化、つまりクロスバリデーションを採用している。 https://arxiv.org/abs/2204.03632v2 目的： Data-Augmentation (DA)やweight-decayなどの手法が、クラス間で不公平な、モデルを生成することを実証する 成果：クラス依存のバイアスを持たない新しい正則化器を設計することが未解決の研究課題であることを示した 方法： Data-Augmentationやweight-decayの量を変化させながら学習を行いクラスごとの推移を見る モデル名： - 著者所属： Meta AI Research
ailaboocu
fr0gger
asymptotic_minato
saburoku
koro485
s1ok69oo
kayceesrk
keyakkie
yellowshippo
butchi
genomethica
chrislema
garrettdimon
62gerente
lara
csswizardry
frogandcode
davidbonilla
orderedlist
eileencodes
pedronauck
rmw
aki_iinuma