国際的なイベントの感動を支える最新テクノロジー

2024年7月26日から8月11日に開催されたパリ2024オリンピックおよび、8月28日から9月8日まで開始された同パラリンピック大会。選手によるさまざまな競技に、多くの人々が感動を覚えただろう。それらの競技の演出にはさまざまなテクノロジーが関わっている。また、オリンピック・パラリンピック以外の現場でも世界的なイベントにおいて、最先端のテクノロジーが活用されているのだ。今回は、そうした世界的なイベントの中でもスポーツにフォーカスし、そこで活用されるテクノロジーを紹介していこう。

2024年に開催されたパリ2024オリンピック・パラリンピック大会。その大会の競技会場の演出や、記者会見場の翻訳などで採用されたのが、パナソニックグループが提供する放送・業務用映像システムや、業務用プロジェクター、ディスプレイといったAV機器だ。10月25日に開催された同社の「放送事業説明会および映像音響新製品発表会」では、実際に活用されたテクノロジーや競技などが詳しく紹介された。その内容を基に、国際的なスポーツイベントにおけるAV機器の活用可能性を見ていこう。

　パナソニックグループは、2024年4月1日からプロAV事業と、映像の企画制作会社であるパナソニック映像をパナソニック コネクトからパナソニック エンターテインメント＆コミュニケーションへ移管し、イメージング事業の統合および強化を図っている。背景には、個人映像制作市場とプロ映像制作市場のボーダレス化が進んでいることがある。プロ用と民生用の垣根を越え、撮影から編集、配信までの一連の流れに一貫して応えられる商品やサービスをイメージング市場に創出していくことを目指した組織再編だ。

　発表会ではパナソニック エンターテインメント＆コミュニケーションのプロAV事業統括 谷口昌利氏がファシリテーターとなり、同社のカスタマーサクセス部 大西歩太氏と、プロAV技術一部 利光祐紀氏と共に、パリ2024オリンピック・パラリンピック大会（以下、パリ五輪）を振り返った。

「広く開かれた大会」をテーマに掲げたパリ五輪では、セーヌ川での約6kmにわたる開会式パレードや、競技の様子をライブ映像で配信するなど、多様な映像コンテンツが活用された。32競技329種目の全ライブ映像の総配信時間は1万1,000時間を超えるなど、過去最高となったという。

　そうした会場演出やリモート映像演出に活用されたのが、パナソニックグループのIT／IPプラットフォーム「KAIROS」だ。パリ五輪では一部会場を除く26会場においてこのKAIROSが配備された。

　KAIROSはライブ中継や配信、会場演出を効率化できるプラットフォームだ。視聴者ニーズの多様化に伴い、映像コンテンツも多様化すると同時に、クオリティの向上が求められている。その一方で、人手不足も進んでおり、多様なコンテンツ制作に対応できるリソースが不足しているのが現状だ。そうした業界を取り巻く課題を解消できるのがKAIROSだ。従来の映像信号だけでなくネットワーク経由で映像を取り込める多様な入出力に対応していることに加え、異なる解像度の入力や特殊な画角の出力も可能だという。レイヤーを重ねた多彩な映像表現もでき、より複雑で高度な映像コンテンツに対応可能だ。

　パリ五輪ではこのKAIROSの技術が各所で活用された。その事前準備について大西氏は「これだけの大規模なプロジェクトは初めてでしたので、相当のプレッシャーがありました」と苦笑する。準備期間も約2週間と短く、初めてKAIROSを使うユーザーも少なくない環境の中であったが、直感的に扱えるKAIROSの操作性の高さから、開会までにトレーニングが間に合ったと語った。

　実際にKAIROSはセーヌ川における開会式でも活用された。1台のKAIROSを使い、約6kmにわたる大型LEDウォール約80台に映像を送出したという。谷口氏は「コントロールルームはエッフェル塔の近くのトロカデロ広場に設け、そこにKAIROSを用意しました。開会式パレードのコースはオステルリッツ橋からイエナ橋までの約6kmで、コントロールルームから6km先の映像は確認できません。どうやって映像表示を把握したのでしょうか？」と問うと、利光氏は「さまざまな手段で確認が取られています。例えば据え置きで設置されているLEDウォールに関しては別の分散型の管理システムがあり、そこからリターン映像をエンジニアがチェックしていました。またトレーラーにマウントされているタイプのLEDウォールは制御システムからのリターン映像をドライバーが確認するといった手法も取っていました」と語る。

　KAIROSは会場演出でも活用された。例えばバスケットボール会場では、会場内のビジョンに表示する映像をKAIROSで制作し、天井から吊されているビジョンや選手の出入り口のビジョンに映像表示を行った。利光氏は「オリンピックの会場でこういう形や大きさのビジョンに表示することは把握していましたので、事前にKAIROSのソフトウェアをバージョンアップし、競技会場での自由な画角表示を実現しました。KAIROSはもともと画角フリーなのですが、少々調整が難しい部分もあったため、より簡単にピクセル単位で画角が調整できるように機能の追加を行いました」と語る。

　サステナブルへの取り組みとしてリソースシェアによる運用にも対応した。従来であれば会場それぞれに映像演出のスイッチャーが必要であったが、パリ五輪ではコンコルド広場で行われた4競技3会場をKAIROSのメインフレーム「Kairos Core」1台で運用したという。これにより、環境負荷の低減、スペースの削減、設置時間／コストの削減といった三つの削減を実現した。

　このリソースシェア実現のため同社では新たに「ユーザーロール」機能をKAIROSに追加した。これはユーザーのロール（役割）を設定することで、1台のKairos Coreを複数ユーザーで操作する場合、ユーザーグループ単位で表示制限が可能になる機能だ。裏ではKAIROSをシェアしているが、実際に使っているユーザー側はあたかも自分専用のKAIROSを使っているように操作できる。

　KAIROSによるリモート映像制作も行われた。パリ市内の競技会場にKairos Coreを設置し、約20km離れた国際放送センター（IBC）にコントロールパネルとオペレーションソフトウェア「Kairos Creator」を設置することで、リモートでの中継映像制作を実現した。リモートでの制作ながらオペレーターからは遅延をほぼ感じることはなかったという。

　KAIROS以外にも、リモートカメラによる同時通訳システムや、テコンドーの競技会場において、ボックススタイルのミラーレス一眼カメラ「Lumix BGH1」と自由視点映像技術「4DREPLAY」システムによる自由視点映像生成が行われるなど、パナソニックグループの映像・放送システムの技術はさまざまなシーンで活用された。谷口氏は「パナソニックはこれからも、映像制作における市場において、最新の技術とノウハウで貢献して業界をリードしていきます」と締めくくった。

ソニーは、テクノロジーでスポーツの未来を創造することに注力している。そのスポーツビジネスの中でも要になっているのが、ソニー傘下のHawk-Eye Innovations（以下、ホークアイ）による審判判定支援だ。多様なスポーツイベントで活用されるその技術と、これからの可能性を見ていこう。

　ソニーのスポーツビジネス事業は、同社が傘下に置く四つの海外企業で構成されている。一つ目がイギリスに本社を置くホークアイ。ホークアイはビデオリプレイ技術やトラッキング技術を活用した審判判定サポートサービスやデータ取得サービスを提供している。二つ目がオランダのBeyond Sports（以下、ビヨンドスポーツ）で、データ分析やデータのビジュアライゼーションを得意とする。三つ目がイギリスのPulselive（以下、パルスライブ）であり、Webサイト運営やアプリ開発といったファンエンゲージメント領域をカバーする。四つ目が今年の10月に買収した米国のKinaTrax（以下、キナトラックス）で、バイオメカニクス領域でのデータ取得や分析を手がける。ソニーではこれらのグループ会社によって、判定支援、取得データの商用化、ファンエンゲージメントといったスポーツにまつわる事業領域をカバーしている。

　そのうちの一つ、ホークアイの審判判断支援システムはさまざまな国際的スポーツイベントで活用されているテクノロジーだ。ソニー スポーツエンタテインメント事業部 ビジネスソリューション部 統括部長であり、ホークアイ・ジャパンの代表も務めている原 知彰氏は「ホークアイのVAR（Video Assistant Referee）は、『より公平に（Fairer）、より安全に（Safer）、魅力的に（Engaging）、分かりやすく（Informed）』をモットーにしています。単独のチームというよりも、リーグや連盟といった団体からの引き合いが多く、90カ国以上、500カ所以上のスタジアム、2万以上のイベントで活用されています」と語る。

　ホークアイのテクノロジーとして、原氏は三つのポイントを挙げた。一つ目がビデオリプレイ、二つ目がトラッキング、三つ目がデータ取得だ。

　ビデオリプレイは、「Synchronised Multi Angle Replay Technology」（SMART）を基幹技術としており、ビデオキャプチャー、リプレイ、クリッピング、配信といった機能を提供している。これにより、複数のアングルから撮影される放送映像を瞬時に同時再生でき、審判が判定に必要な場面をスムーズに表示して、審判の補助を行える。

　このビデオリプレイ技術は、さまざまなスポーツの判定をアシストしている。例えばサッカーだ。「サッカーでは『ゴール』『ペナルティキックの有無』『ダイレクトレッドカード』『選手間違い』という四つのインシデントでVARの確認ができるルールになっています。野球でも活用されており、セーフかアウトかを判定する際に、テレビ放映用の複数のカメラの映像などを基に、必要な映像をタップして確認できます。ズームも画面上でできるため、野手がボールを受け取った時に、ベースから足が離れているかどうかなどを確認可能です。もしかしたら一つの画面だけでは分からないかもしれません。その場合、画面を二つに分割して見るようなことも簡単に行えます」と原氏。映像を確認する技術のため、どのようなスポーツにも応用ができるといい、ラグビーや競馬などでも活用されているという。

　選手やボールをトラッキングする技術により、さまざまなサービスの展開も行っている。例えばサッカーでは、ボールがゴールラインを割ったか否かで得点を競うが、このゴールの判定をトラッキング技術で行う。原氏は「当社ではゴールラインテクノロジーと呼んでいますが、サッカーでは基本7台くらいのカメラを設置して、ボールの位置を判定します。サッカーは空中であれ、ラインを完全に超えたらゴールになります。そこで、ボールがラインを超えると審判が腕に装着しているウェアラブルデバイスに、ゴールしたことを通知するサービスも提供しています」と話す。

　このラインに対してボールの位置を判定するトラッキング技術はテニスでもボールのイン・アウトの検証を行う「Electronic Line Calling」として活用されており、国際テニス連盟からもその判定精度が認められている。原氏は「テニスの場合、主審のほか、ラインズマン（線審）が9人必要とされていました。しかしコロナ禍で3密を避けることが求められた際に、このテニスの審判の形式をどうするか、といった議論が起こりました。そこでラインの判定についてはElectronic Line Callingで全て自動で行う取り組みが試験的に始まりました。現在は大会などで実用されるようになっています」と語る。実際、デジタルでラインのイン・アウトを判定することは、選手にとっても判定に安心感があるようだ。

　昨今では、トラッキング技術の進展によって人体の骨格データを取得できるようになったという。例えば野球では投手の投球フォームを、複数台のカメラでトラッキングしてデータとして取得する。ピッチャーが得意とする投球でバッターに打たれた場合、回転や握りがどうだったのか、といったポイントをデータで確認できるのだ。「トラッキングしているポイントは29点で、目、鼻、耳、首や大きい関節のほか、手の平、足の甲も取得し、どちらを向いているかなどのデータを取っています」と原氏。この人体に対するトラッキング技術は審判判定にも活用されており、サッカーの世界的な大会においてセミオートマティック判定に活用された事例もある。

　このようなデータに人のアバターを重ねるなど、見せ方を工夫することにより、選手の動きのすごさをファンがより視覚的に理解しやすくするエンターテインメント的な活用もされているという。「冒頭に紹介したビヨンドスポーツは、特にビジュアライゼーション技術に長けており、試合をアニメーションなどのIPの世界観でリアルタイムに再現し放送する技術を持っています。例えば米国のプロアメリカンフットボールリーグのNFLがイギリスで試合を行った際に、フットボールの試合を中継するタイミングで、その試合の様子をトイストーリーのキャラクターで表したコンテンツを、ディズニーの公式動画配信サービス『Disney+』で放送しました」と原氏は語る。親はフットボールの試合が見たいが、子供はアニメを見たい。そんな異なるニーズに応えながら、家族が一緒に試合を楽しめる新しいエンターテインメント体験をテクノロジーによって提供している。

　スポーツの審判補助にVARを活用するメリットについて原氏は「仮に個人競技でも、審判が1人で全てを完璧に見るのは人間の限度を超えています。その限界を超えたポイントをビデオの記録によって見直すことで、審判にとっても選手にとっても安心感が得られます。最終的なジャッジメントがデジタルに取って代わるのではなく、あくまでジャッジメントを素早くできるヒントとして、デジタルにできる領域を我々の技術でカバーしていきたいですね」と展望を語った。

富士通は、国際体操連盟と共に、体操競技の競技採点をサポートする「Judging Support System」を開発した。2016年から開発に着手し、2023年には10種目の競技採点を実現した。その開発経緯とともに、採点だけにとどまらない技術の活用を見ていこう。

　Judging Support System（以下、JSS）の開発について「実は、現在国際体操連盟の会長を勤めている渡邊守成氏の冗談から始まりました」と笑うのは、富士通 グローバルソリューションビジネスグループ HDT事業部 事業部長 公益社団法人日本新体操連盟 常務理事 藤原英則氏。2016年ごろ、藤原氏と渡邊氏が会話した際に「21世紀はロボットが採点する時代になる」という発言があったのだという。その言葉を受けた藤原氏は「僕は結構『そうなるかもしれない』と感じたんですね。そこで採点システムのプロトタイプを、当時のプロジェクトメンバーと共に作り、半年後に渡邊さまに見せたんです。そしたら『あの話は冗談だったんだよ』と言われてしまいました」と当時を振り返る。

　冗談から生まれたJSSの技術だったが、その画期的なシステムが大きく注目された。2019年にはあん馬、つり輪、男子跳馬、女子跳馬、2021年には平均台、2022年には鉄棒、段違い平行棒、2023年には平行棒、男子床、女子床と対応できる種目を拡充させ、現在は体操10種目全ての採点をサポートできるシステムになった。2023年9月30日から10月8日にベルギーのアントワープで開催された「第52回世界体操競技選手権大会」では、全種目への適用がスタートされるなど、実際の国際的な大会で活用が進められている。

「きっかけは冗談でしたが、採点に着目した理由ももちろんあります。先日パリで行われた国際大会を見ても分かる通り、現在のスポーツシーンにはさまざまな課題があります。一つ目は誤審、二つ目は誹謗中傷、三つ目は性別の問題、四つ目は国際紛争です。このうち前者の二つを解決できるのが、テクノロジーであると考えました」と藤原氏。

　JSSで採用されているシステムは以下の通り。まず2Kカメラを4台（床競技は8台）設置し、3Dデータを取得する。そのデータから骨格認識を行い、AIが一連の動きをマッチングして国際体操連盟の採点規則と照合して技を判定する。これにより、判定の透明性と公平性を向上できるるのだ。「採点競技のAI判定は世界初で、人の多様な動きを高精度にデジタル化するためにさまざまな技術を活用しています」と藤原氏。これらにまつわる特許出願は200件以上あるという。

　藤原氏は「体操競技では審判が目視しながら採点シートに技の評価を記入していきます。体操という競技は年々選手の身体能力の向上や器具の進化によって、より高速な動きができるようになっています。それを目視で朝から晩まで審判していると、審判にとっても精神的な負担になります。一方で採点基準は非常に厳しく、例えばあん馬では旋回をした際に、上から見て体のラインと器具のラインがずれていると減点になりますが、角度が1度異なるだけで点数に大きな差が生じるケースもあります。それを横から見て判断するのはなかなか大変です」と語る。

　そうした審判の判断を支援するのが、JSSだ。設置した4台のカメラのデータから、マーカーレスで体操演技の3Dデータを取得し、モデリングできる。この選手の3Dモデルは、上からでも下からでも確認ができるため、判断の難しい角度も真上から判断が可能になる。またデータ上で基準線を引くこともでき、どれくらい中心からずれているかといった判断も行える。

「当初はカメラを使うと、選手の動きが高速で骨格認識できなかったため、レーザーセンサーを使っていました。2022年ごろにレーザーセンサー方式のデータが蓄積されたことや、技術的なブレイクスルーによって、現在のカメラ方式になりました」と藤原氏は話す。

　カメラでの骨格認識が可能になったことで、さまざまな競技会場で展開できるようになったことはもちろん、トレーニングの現場などでも活用可能になった。

「普段のトレーニングからJSSを使えるようになると、トレーニングの最中からあたかも国際審判員に来てもらって採点してもらっているように、自分の技の点数が分かるため効果的なトレーニングが可能になります。またトレーニングの際、失敗したときや成功したときの感覚を覚えている間に数字でフィードバックすることで、体の角度などの感覚値を修正しやすくなります。そういったトレーニングの場でも今後、活用が期待されています」と藤原氏。

　観客向けのエンターテインメント分野でも、JSSの技術は活用が期待されている。例えば選手が良い演技が出来たときにその効果として光のようなエフェクトを重ねてテレビなどで配信することで、高齢者や小さな子供でもその技の難度が理解しやすくなる。「体操競技の選手は、実は意外と大会で駆け引きをしています。例えば普段は演技の流れの中でD難度の技をしていたタイミングで、より難しいE難度を入れてきた場合、見る人が見れば、ここで勝負に出たことが分かります。しかし、ここでもし失敗してしまうと、それが分からない人にとっては『練習不足なのか？』とか『緊張していたんじゃないのか』といったような誤解が発生してしまいます。そしてこのように選手の意図が伝わらないことが、誹謗中傷につながってしまうのだと思います。だからこそ、こういった選手の工夫を視覚的に分かりやすく伝えることができれば、スポーツ観戦はもっと面白くなるでしょう」と藤原氏は語る。

　富士通では社会課題にフォーカスした「Fujitsu Uvance」というビジネスに取り組んでおり、そのキーテクノロジーの一つが、今回紹介した体操採点システムで培った高精度な骨格分析技術をベースとした「Human Motion Analytics」（HMA）だ。同社はこのHMAをさまざまな分野に展開することで、人々の健康増進やコミュニケーション活性化への貢献を目指している。

　例えばヘルスケアの分野では、大阪府吹田市にある国立循環器病研究センターと連携し、患者の歩き方の特徴から認知症を早期に発見できるよう、現在社会実装に向けてプロジェクトが進められている。またZEN PLACEでは、企業の健康経営向けのヘルスケアアプリに、この人の動きをデジタル化する技術を活用している。具体的には、ロールダウン時の姿勢を多方向から解析し、その結果を出すことで体が抱える問題ポイントを表示し、それを改善する運動プログラムなどを提案するような仕組みだ。「企業向けに開発していますので、人事部門や健康管理室が全従業員の健康分析をダッシュボードで閲覧できるようにしています」と藤原氏。少子高齢化が社会課題になる中で、HMAの技術を用いて健康寿命の延伸も目指していきたい考えだ。