実験とアナリティクスの進化：セグメンテーション、実験ターゲティング、早期アクセスプログラム、その他

Robloxのデベロッパー向け「Experiments」と「Analytics」がアップグレードされました。 今後は、特定のプレイヤーグループを対象とした実験の実施や、プレイヤータイプに応じた設定値の出し分けが可能になるほか、実験によって主要指標が悪化した際にアラートを受け取れるようになります。 詳細はこちら：https://t.co/N9SSozNjqQ https://t.co/GGzvI6n0Cw

Roblox has upgraded Experiments and Analytics for developers Developers can now target experiments to specific player groups, serve different config values based on player type, and get alerts if an experiment starts hurting key metrics. Read more: https://t.co/N9SSozNjqQ https://t.co/GGzvI6n0Cw

このトピックは10分後に自動的に公開されました。

This topic was automatically opened after 10 minutes.

「Experiments and Analytics」への今回のアップデートは素晴らしいものです。特に「Conditional Configs（条件付き設定）」と「Experiment Targeting（実験ターゲティング）」により、クリエイターは変更のロールアウト方法をこれまで以上に細かく制御できるようになりました。新規ユーザーとリピーター、エンゲージメントレベル、獲得経路などに合わせて設定や実験を最適化できることは、

This is a fantastic update to Experiments and Analytics. Conditional Configs and Experiment Targeting in particular give creators significantly more control over how changes are rolled out. Being able to tailor configurations and experiments around new vs. returning users, engagement level, acquisit

当スタジオ（および他の多くのスタジオ）における現在のアップデート配信ワークフローは、以下の通りです。まず、アップデート期間中は開発者とテスターのみがアクセス可能な非公開のテスト環境で検証を行います。その後、公開中のゲームを非公開設定にして「メンテナンス中」の状態にし、テスターのみが公開環境でプレイテストを行えるようにしています。

Our studio’s (and many others’) current workflow for pushing out updates is: test in a private testing place only accessible to devs & testers during an update, put the game into “maintenance” by setting the public game to private and only letting testers in let testers playtest the public game

それはかなり興味深いユースケースですね。ただ、なぜテスト環境をメインゲームと同じユニバースでホストすることにしたのか、その理由が気になります。

That’s actually a pretty interesting use-case. I’m wondering though, what made you host testing on the same universe as the main game?

更新されたセグメントは、AnalyticsService:GetPlayerSegmentsAsyncで利用可能になりますか？

Will the updated segments be made available in AnalyticsService:GetPlayerSegmentsAsync

それらは同じユニバースではなく、別々のゲームIDです。テスト用プレイスがあるのは迅速に反復開発を行うためであり、メンテナンス期間を設けているのは、本番環境のデータを読み込む際にデータの乖離や致命的なバグが発生しないようにするためです。

theyre not the same universe; theyre separate game ids. having a testing place is so we can iterate rapidly, while the maintenance period is to make sure theres no drift or critical bugs caused by prod data when loading in.

あ、ごめん。メンテナンス期間中のことについて言ったつもりだった。Pyseph、本番データを取り込む際にドリフトや致命的なバグが発生しないか確認しておいて。同じユニバース内のプライベートな場所で実行することは検討した？それだと場所ごとのセッション時間といったユニバースの指標が少し狂ってしまうから。

Oh yeah sorry, I meant for the maintenence period specifically. Pyseph: make sure theres no drift or critical bugs caused by prod data when loading in. Have you considered doing it in a private place under the same universe? It still kind of messes up some universe metrics like Session time by place

フィーチャーフラグを使ってみてはどうでしょうか？あるいは、もう少しリスクはありますが、アップデートを公開した上でゲームの健全性を監視し、何か問題があればすぐに切り戻すという方法もあります。アップデートのたびにゲームをオフラインにしてテストするというのは、非常に奇妙な選択に思えます。

Why not use feature flags? Or, slightly riskier, publish your update and then simply monitor game health and quickly revert if anything looks wrong? Taking your game offline to test every update seems like a very strange choice.

素晴らしいアップデートですね！ところで、もし運営スタッフの方がこれを見ていたらお伝えしたいのですが、経験値が盗まれています。

Amazing update! By the way if any staff seeing this post: Stolen experience

うわっ…こんなに簡単なのか…。もっと手間がかかると思っていたのに、全然そんなことなかった。見つけるのも簡単だし、設定も難しくない。おまけに指標もすごく役に立つ。これは本当に、素晴らしい追加機能だ。

Holy.. it is just that easy.. I would thought this would involve more extra steps but nope. It’s incredibly easy to find and not difficult to setup and with very useful metrics. This is a very, very good addition.

なぜアナリティクスのタブから「カスタムイベント」がなくなったのでしょうか？削除された理由と、今後復活する予定があるのか教えてください。

why are Custom Events no longer a tab on analytics? Is there a reason why it was removed, and is it being added back?

There’s a myriad reasons involved behind this decision that I don’t have the energy to explain in detail

Yeah, that’s the same question I had. I feel like most games have separate places for testing (like as Bee Swarm Simulator for instance) to avoid messing around with the main game