arxiv生成AI論文解説 by ずんだもん
Today: #143 in Technology, Japan on our combined chart.
Chart positions today · Canada
Not on the United States charts we track today.
Not on the United Kingdom charts we track today.
Not on the Canada charts we track today.
Not on the Australia charts we track today.
Not on the Germany charts we track today.
Not on the Brazil charts we track today.
Not on the Mexico charts we track today.
Not on the New Zealand charts we track today.
Not on the Ireland charts we track today.
Not on the India charts we track today.
Not on the Philippines charts we track today.
Not on the South Africa charts we track today.
If you like arxiv生成AI論文解説 by ずんだもん, try…
Ranking history · Canada
Latest episodes
-
MistralとMoEルーター、オンポリシー蒸留の技能と知識を読む5論文 2026/10/12
October 11, 2026Mistral 7Bの窓付き注意、MoEルーターの確率写像と弾性的なTop-k、オンポリシー蒸留の原型GKD、技能は移るが新しい知識は移りにくいという対照実験を比較します。 ▼ 今日の論文ラインナップ ・Mistral 7BのGQAとスライディングウィンドウ注意(arXiv:2310.06825) ・疎な確率写像とMoE専門家数の関係(arXiv:2610.06677) ・Top-k境界を訓練時に揺らすElastic Expert R…
-
Llama 3とOLMo 2、オンポリシー蒸留の監督を絞る5論文 2026/10/11
October 10, 2026オープンLLMの密モデル設計と学習安定化をLlama 3・OLMo 2から読み、オンポリシー蒸留の監督を問題・トークン・多ターン軌跡の3段階で絞る最新研究を比較します。 ▼ 今日の論文ラインナップ ・密モデルと段階的な文脈拡張を選んだLlama 3(arXiv:2407.21783) ・学習の安定化と中間学習を公開したOLMo 2(arXiv:2501.00656) ・8問や自己生成問題でも成り立つオンポリシー蒸留(arXiv:260…
-
近い教師と遠い教師で蒸留はどう変わるか|Gemma 2・Qwen3と新着3研究 2026/10/10
October 9, 2026特集「蒸留とオープンLLMの代表的アーキテクチャ」第5回。Gemma 2、Qwen3、RouterInterp、Semi-OPD、オンポリシー蒸留の学習信号消失を大学院生・研究者向けに比較します。 ▼ 今日の論文ラインナップ ・事前学習から蒸留を使うジェンマ2(arXiv:2408.00118) ・思考モード統合と強から弱への蒸留を備えたクウェン3(arXiv:2505.09388) ・専門家は単一分野でなく重ね合わせで特化する(ar…
-
必要な場所だけ教師と専門家を使うAI設計|Mixtralと蒸留3研究 2026/10/09
October 8, 2026特集「蒸留とオープンLLMの代表的アーキテクチャ」。Mixtral、LatentIndex、Entropy-Aware Mixing、Flash-OPD、ResOPDを大学院生・研究者向けに比較します。 ▼ 今日の論文ラインナップ ・8専門家から2つを選ぶMixtral(arXiv:2401.04088) ・層間共有と層別選択を両立するLatentIndex(arXiv:2610.04635) ・生徒の不確実性で教師分布を混ぜる蒸留(…
-
推論蒸留は何を受け継ぐ?DeepSeek-R1とJambaほか5本【2026/10/08】
October 7, 2026蒸留の性能・費用・安全性と、DeepSeek-R1、Jambaの設計を大学院生・研究者向けに比較します。 ▼ 今日の論文ラインナップ ・DeepSeek-R1 — DeepSeek-AI(arXiv:2501.12948) ・Jamba — AI21 Labs(arXiv:2403.19887) ・多教師能力統合の自己蒸留再考 — Apple・Duke University(arXiv:2610.04272) ・異種トークナイザー間オンポリシー蒸留 — Alibaba…
Show 7 more episodesShow fewer episodes
-
蒸留はどこで学ぶべきか?DeepSeek-V3ほか5本解説【2026/10/07】
October 6, 2026蒸留とオープンLLMの代表的アーキテクチャ特集、第2回です。DeepSeek-V3の負荷分散と多トークン予測、ハイブリッド言語モデルの記憶経路、オンポリシー蒸留の三つの拡張を研究者向けに比較します。 ▼ 今日の論文ラインナップ ・補助損失なしの負荷分散と多トークン予測を加えたDeepSeek-V3 — DeepSeek-AI(arXiv:2412.19437) ・ハイブリッド言語モデルは再帰層の記憶を使い切っていない — UNC Chapel…
-
蒸留とDeepSeek-V2を読む【Frontier AI論文5本 2026/10/06】
October 5, 2026蒸留とオープンLLMの代表的アーキテクチャを、大学院生・研究者向けに比較します。GQAとDeepSeek-V2のKVキャッシュ削減、オンポリシー蒸留のエントロピー・崩壊・強化学習への接続を扱います。 ▼ 今日の論文ラインナップ ・多頭注意のチェックポイントからGQAを作るアップトレーニング — Google Research(arXiv:2305.13245) ・MLAとDeepSeekMoEによるDeepSeek-V2 — Deep…
-
事後学習は能力を狭める?Frontier AI重要論文5本【2026/10/05】
October 4, 2026事後学習が反復試行で届く課題範囲を狭める「シャープニング税」、画像を必要とする報酬設計、階層型拡散言語モデル、スキル連鎖によるエージェント乗っ取り、凍結アテンションの普遍補間を、評価条件と限界まで掘り下げます。 ▼ 今日の論文ラインナップ ・事後学習はエージェント課題の到達範囲に税をかける — Meta Superintelligence Labsほか(arXiv:2610.01509) ・報酬が画像を必要としなければ強化学習は見ることを学ばない…
-
研究者が今週驚いたAI論文【RLVRの言語ドリフトほか5本 2026/10/04】
October 3, 2026強化学習で思考連鎖の言語が崩れる条件の証明、専門家データをMCMCでモデルに寄せるSFT、ループ型Transformerの対照デコーディング、文脈圧縮を学習するコーディングエージェント、回路発見の忠実度指標の順位逆転を、比較条件と限界まで解説します。 ▼ 今日の論文ラインナップ ・検証可能報酬の強化学習が思考連鎖の言語を崩す条件 — ザールラント大学(arXiv:2610.02015) ・専門家の解答をモデル自身の分布へ寄せてから教師あり学習する…
-
研究者が今週驚いたAI論文【視覚記憶と省メモリ学習ほか5本 2026/10/03】
October 2, 2026視覚記憶で対話型パズルを完走するハーネス、重みを変えず改善するロボット、着想源検索、セキュリティCLI生成、状態メモリを174分の1にする最適化を、評価条件と限界まで解説します。 ▼ 今日の論文ラインナップ ・視覚の記憶を損なわずに残すハーネスで対話型パズルを完走する(arXiv:2610.02200) ・重みを変えずにシミュレーション練習でロボットのスキルを育てる(arXiv:2610.02204) ・研究の着想源になった論文を探す…
-
研究者が今週驚いた生成AI論文【証明エージェントほか5本 2026/10/02】
October 1, 2026未解決問題を解く証明エージェント、トークン単位の信用割当、統合マルチモーダル生成、動画世界モデル、脳信号復号の評価を研究設計と限界まで解説します。 ▼ 今日の論文ラインナップ ・証明と検証を分担するエージェント群で未解決問題を解く(arXiv:2609.40324) ・言い換えで揺れるトークンの信用を削る強化学習(arXiv:2609.40360) ・言語も画像も連続埋め込みのフローで生成する統合モデル(arXiv:2609.4036…
-
長時間AIエージェントは自分の文脈を編集できるか?重要論文5本 2026/10/01
September 30, 2026Frontier AIの最新研究5本を、大学院生・研究者向けに研究課題、手法、評価条件、数値結果、限界まで解説します。文脈を自分で編集する言語モデル、エージェントのメタ推論、訓練データ帰属、線形アテンション状態の量子化、反実仮想動画によるヒューマノイド学習を扱います。 ▼ 今日の論文ラインナップ ・文脈をファイルとして自分で編集する言語モデル — ワシントン大学、Meta Superintelligence Labsほか(arXiv…