/images/earth.jpg

人類の未来の仕事は、AI のために Enter キーを押すことになるかもしれない

カバー画像: The Stanley Parable。主人公スタンリーはオフィスビルの Employee 427 であり、彼の日々の仕事はコンピュータの指示どおりにひたすらキーを押し続けることだった。

まず 1 つはっきりさせておきたい。この文章は、ここ最近私が観察してきた現象と、そこから生まれた考えや感想だけをもとに書いている。すべての文は手で打ち込んだものであり、この記事の執筆には AI を一切使っていない。

Codex のコンテキスト圧縮はどう動くのか

原著者: Kangwook Lee

元記事: https://x.com/Kangwook_Lee/article/2028955292025962534

codex 以外のモデルでは、オープンソースの Codex CLI はローカルでコンテキスト圧縮を行います。LLM が compaction prompt を使って会話を要約します。後でその圧縮済みコンテキストを使うときには、responses.create() がその要約を位置づける handoff prompt と一緒に受け取ります。これらのプロンプトはどちらもソースコード上で確認できます。

交差エントロピー損失面で L1 と L2 正則化を可視化する

この投稿はずっと前から書きたかった。ようやく ECharts をブログの中で動かせるようになったので、きちんと形にできた。

今回の目的はシンプルだ。L1 正則化と L2 正則化を「見える」ようにすること。式だけで語るのではなく、交差エントロピー損失面が 3D 空間でどう変形するかを見ていく。そうすると、いくつかの抽象的な考え方がぐっと理解しやすくなる。特に、なぜ L1 正則化が疎なモデルを生みやすく、結果として特徴選択のように振る舞うのかが直感的に分かる。