OpenAIが開発したCodexは、自然言語をコードに変換することに特化した大規模言語モデルです。そのアーキテクチャはGPT-3のファインチューニング版であり、特に大量の公開されたソースコードデータセットで訓練されました。

このモデルは、プログラマーが日常的に使用する複数のプログラミング言語（Python、JavaScript、Go、Rubyなど）を理解し、人間が記述する自然言語の指示（例：「ユーザーの入力を受け取り、それをファイルに書き込むPython関数を作成せよ」）を対応するコードに自動生成する能力を持っています。

Codexの核心的な機能は、ニューラルネットワークによるトランスフォーマーアーキテクチャに基づいています。このモデルは、与えられた入力プロンプトの文脈を理解し、それに基づいて論理的かつ構文的に正しいコードシーケンスを予測します。

このプロセスは、セルフアテンションメカニズムを通じて、入力文の各単語と出力コードの各トークン間の相互関係を重み付けすることで実現されます。