Teamsの新機能のページで2019年11月8日に更新があり、Chromeによるビデオ通話の機能が追加されたことが発表されました。
Microsoft Teamsの新機能のページ
以下のページで実装された新機能の情報が通知されています。
Microsoft Teams の新機能 - Microsoft サポート
Microsoft Teams の新機能に関する最新情報を、定期的に更新されるリリース ノートで取得してください。
新機能が追加されるとどんどん下に流れて行ってしまうのでスクリーンショットも貼っておきます。

ブラウザーのサポート状況
Teamsの制限事項と仕様のページにブラウザーの制限について記載されています。

Microsoft Teams の制限事項と仕様 - Microsoft Teams
この記事では、Microsoft Teams に適用される制限、仕様、およびその他の要件について説明します。
以下がブラウザーの制限のスクリーンショットです。

「受信および送信ビデオはサポートされません(近日対応予定)」と書かれています。まだアップデートされていないようですね。(2019年11月11日時点)
ちなみに、ChromiumベースのEdgeに関する記載もされていました。当然ですが、Chromeと同等のサポート状況ですね。
Chromeによるビデオ通話の使い方
いろいろな場所からビデオ通話を開始できますが、それぞれ確認してみます。
チャットの画面では右上のカメラのアイコンをクリックします。

初回のみ以下のように許可を求めてきますので、「許可」をクリックするとビデオ通話が始まります。

既に音声通話を開始している場合は、カメラのアイコンでビデオ通話にできます。

短縮ダイヤルからもビデオ通話を開始できます。

連絡先カードからもビデオ通話を開始できます。

まとめ
Teamsアプリをインストールしている方には不要かもしれませんが、何らかの事情によりブラウザー版のTeamsを使用している方にはありがたいですね。