LaTeX Workshop をインストール
まず VSCode の LaTeX プラグインがあるのでそれをインストールします。
これですでにローカルに LaTeX が入っていればもう動かし始められると思います（やってないのでわからない）。
ちなみにこのプラグイン自体めちゃくちゃ高機能みたいですね。
私の環境で撮ったこちらのスクショでとりあえず便利そうなのは伝わるかと思います。
alpine-texlive-ja を pull して settings.json を編集
で、LaTeX そのものはローカルにインストールせず Docker 版を使います。
そして settings.json でコンパイル時に Docker 版の LaTeX を起動できるようにします。
こちらを参考、というか丸コピペさせていただきました。
Windows の場合は試してないのでわかりませんが、 Macbook Pro 2019 では脳死コピペでしっかり動作しました。 ありがとうございます。
ちなみにこの中で docker pull しているイメージはこれです。
