株式会社ずんだもん技術室AI放送局 podcast 20250617 Podcast By cover art

株式会社ずんだもん技術室AI放送局 podcast 20250617

株式会社ずんだもん技術室AI放送局 podcast 20250617

Listen for free

View show details

About this listen

 関連リンク Metas Llama 3.1 can recall 42 percent of the first Harry Potter book AIモデルの著作権侵害訴訟が増える中、Meta社の主要LLMであるLlama 3.1の「記憶」能力に関する興味深い研究が注目されています。これは「AIモデルが元の学習データをそのまま出力してしまうことがあるのか？」という問題に深く関わっています。 スタンフォード大学などの研究チームが、Llama 3.1 70Bモデルを含むいくつかのモデルを調査したところ、驚くべき結果が発表されました。研究によると、Llama 3.1 70Bは『ハリー・ポッターと賢者の石』の最初の本のおよそ42%を、元の文章そのままに再現する能力があることが分かりました。これは、モデルが書籍の内容を高い精度で「記憶」していることを示唆しています。Llama 1 65Bが同じ本をわずか4.4%しか記憶していなかったのと比較すると、Llama 3.1ではその記憶能力が大幅に向上しています。また、人気のある書籍（例：『ホビット』や『1984年』など）ほど、Llama 3.1が内容を記憶している傾向があることも分かりました。 では、どのようにモデルの記憶能力を測ったのでしょうか？研究者たちは、モデルが次にどのような「単語の断片」（トークン）を生成するか、その確率を計算する手法を用いました。この確率を繋ぎ合わせることで、50個のトークンが特定の文章とどれくらい一致するかを、実際にモデルに生成させずに推定することが可能になりました。これにより、非常に少ない確率でしか出ないような特定の文章も効率的に分析できるようになりました。 この研究結果は、著作権訴訟に大きな影響を与える可能性があります。AI企業はこれまで「モデルは単に言葉のパターンを学習するだけで、元のデータをコピーするわけではない」と主張してきましたが、Llama 3.1が書籍の大部分を再現できる事実は、この主張を困難にします。特に、「フェアユース」（公正利用）という著作権の考え方にも影響が出そうです。Google Booksの事例では、書籍からごく一部しか出力しない点がフェアユースと認められましたが、Llama 3.1はより多くの部分を再現できるため、議論が複雑化します。 さらに、Llamaのようにモデルの内部構造（重み）を公開している「オープンウェイトモデル」が、そうでない「クローズドウェイトモデル」に比べて、法的に不利になる可能性も指摘されています。オープンウェイトモデルでは、今回の研究のように内部の挙動を詳しく分析できるため、著作権侵害の証拠が見つかりやすいためです。これはAI開発のオープンな共有を阻害する可能性があり、今後の業界動向に注目が集まります。この研究は、AI技術の発展と著作権保護のバランスについて、重要な示唆を与えています。 引用元: https://www.understandingai.org/p/metas-llama-31-can-recall-42-percent プライドも、サンクコストも捨てろ「健康診断」しないエンジニアは死滅する - エンジニアtype 転職type VR開発者であるナル先生こと近藤義仁氏が、AIの発展がエンジニアのキャリアにどう影響するかについて語っています。 AI時代において、ソフトウェアエンジニアの仕事が完全になくなるわけではありませんが、その役割は大きく変化するとナル先生は指摘します。特にAIを導入しにくい一部の業界では人間エンジニアが残り、Web系の分野ではAIによる代替が進むでしょう。AIの能力は急速に進化しており、かつてのような「職人気質」でプライドが高く、人間関係が難しいタイプのエンジニアは、AIの圧倒的なスピードと人間的な特性を兼ね備えた人材に取って代わられる可能性があります。 この変化の時代を生き抜くために最も重要なのは、「プライド」や「これまでの投資（サンクコスト）」を捨てて、新しい技術、特にAIを常に学び続ける姿勢だとナル先生は強調します。AIの進化は非常に速く、数年前の常識はあっという間に通用しなくなるため、毎日AIの最新ツールや機能を触り、その動向をチェックする「技術的な健康診断」が不可欠です。ナル先生自身も、朝4時に起きてX（旧Twitter）でAI情報を収集・発信し、将来的には自身のXログを学習させたローカルLLMを動かすことで「自分年金」を構築する計画を語...
adbl_web_global_use_to_activate_webcro805_stickypopup
No reviews yet