Udemy「AWS：ゼロから実践するAmazon Web Services」の「62.CloudFrontを設定して高速化しよう」ですが、WP Offload Media LightでのCNAMEの設定がありませんでした・・・。

公式ドキュメントに記載があります。記載を引用します。

Head over to your WordPress site. Visit the WP Offload Media settings page and click the Change link next to the Delivery Provider, which should currently say “Amazon S3”.

Pick Amazon CloudFront as the new Delivery Provider, then click the Save Delivery Provider button to save your changes.

ということで、Delivery Providerの設定をCloudFrontに変更することでCNAME設定が出てきました。
ご参考までに。