施設園芸における3D植物計測のためのデータ収集・アノテーションマニュアル
Data Collection and Annotation Manual for 3D Plant Phenotyping in Greenhouse Environments

版 / Version: 1.0 発行日 / Date: 2026-07-15 作成 / Prepared by: Mineno Laboratory, Graduate School of Science and Technology, Shizuoka University

本マニュアルは、施設園芸環境における植物の3D計測用データセットを、初めて作業を担当する学生でも同一品質で取得できるようにするための標準手順書です。学部3年生程度の知識があれば、本マニュアルのみで実験を再現できることを目標としています。

This manual is a standardized procedure that allows even a first-time operator to collect a 3D plant-phenotyping dataset of consistent quality in a greenhouse. It is written so that a student with roughly third-year undergraduate knowledge can reproduce the experiment from this document alone.

1. 目的・全体の流れ / Purpose and Overall Workflow

1.1 目的 / Purpose

JP: 本データ収集の目的は、温室内で栽培される作物（例：トマト）の生育を、非破壊かつ高頻度で計測できる時系列データセットを構築することです。取得したデータは、Structure-from-Motion（SfM）と3D Gaussian Splatting（3DGS）による3次元復元を経て、描画画像上で草丈や被覆面積などの形質を計測する研究に利用します。最終的な目的は、撮影ごとに変化するSfMのスケール不定性の影響を受けずに、日付をまたいで比較可能な生育トレンドを得ることです。

EN: The purpose of this data collection is to build a non-destructive, high-frequency time-series dataset of a greenhouse crop (e.g., tomato). The collected data are used for research in which plant traits—such as canopy height and projected area—are measured on rendered images after 3D reconstruction with Structure-from-Motion (SfM) and 3D Gaussian Splatting (3DGS). The ultimate goal is to obtain growth trends that are comparable across dates, without being affected by the per-session scale ambiguity of SfM.

1.2 データの利用目的 / Intended Use of the Data

JP: 収集データは、(1) 3DGSモデルの学習、(2) 正準視点からの描画に基づく形質計測（正規化草丈 h_norm、正規化被覆面積 a_norm）、(3) 環境条件（温度・湿度・光など）との関係分析、(4) 栽培管理イベント（摘芯・摘葉など）への応答検出、に用います。

EN: The data are used for (1) training 3DGS models, (2) trait measurement from canonical-view renders (normalized height h_norm, normalized projected area a_norm), (3) analysis of relationships with environmental conditions (temperature, humidity, light, etc.), and (4) detection of responses to cultivation-management events (e.g., pruning, defoliation).

1.3 全体の流れ / Overall Workflow

JP: データ収集から解析までの流れを図1に示します。作業者が担当するのは主に「A. データ収集」（動画撮影・環境センサ・地上真値・管理記録）です。「B. 解析パイプライン」は後工程で研究者が実施しますが、収集データの品質が最終結果を左右するため、本マニュアルの手順を厳守してください。

EN: Figure 1 shows the flow from data collection to analysis. The operator is mainly responsible for A. Data Collection (video, environmental sensors, ground truth, management log). B. Analysis Pipeline is performed later by researchers, but because the quality of the collected data determines the final result, please follow this manual strictly.

図1. 全体ワークフロー / Figure 1. Overall workflow from data collection to analysis.

2. 実験準備 / Experimental Setup

2.1 必要な機材一式 / Required Equipment

公開上の注意 / Publication note: 機材の具体的な製品名・型番は、公開資料では一般名（例：「スマートフォン」「環境データロガー」）で記載します。特定企業や共同研究先が識別できる情報は記載しません。 In the public manual, describe equipment with generic names (e.g., "smartphone", "environmental data logger"). Do not include information that identifies a specific company or collaborator.

2.2 カメラ・センサ配置と撮影開始位置 / Camera / Sensor Placement and Start Position

JP: 配置の概要を図2に示します。重要な原則は「毎回同じ条件で撮る」ことです。

• 撮影開始位置（床マーク）: レーン入口の床に、テープまたは塗料で開始位置を明示します。毎セッション、カメラを構えた状態で床マークを1枚撮影し、位置が再現されていることを記録します。この床マークは任意ではなく必須です（開始位置のばらつきは3D復元のスケール変動＝計測誤差の主要因になるため）。
• カメラ高さ: 自撮り棒のストッパーで高さを固定し、値を記録します（例：胸の高さ 約120 cm）。
• 歩行ルート・速度: レーンに沿って一定ルート・一定速度で歩き、植物の両側から撮影します。急に近づいたり離れたりしないでください。
• 環境センサ: レーン内の代表位置にロガーを設置し、撮影と時刻同期させます。
• 画面内基準バー: 代表株（P1）の隣に30 cm基準バーを鉛直に固定し、正準描画フレームで先端まで写る位置に置きます。

EN: Figure 2 shows the placement. The key principle is to capture under identical conditions every time.

• Start position (floor mark): Mark the start position on the floor at the lane entrance with tape or paint. Every session, photograph the floor mark once with the camera in position and record that the position is reproduced. This floor mark is essential, not optional (variation in start position is a major cause of reconstruction-scale drift, i.e., measurement error).
• Camera height: Fix the height with the monopod stopper and record the value (e.g., chest height ≈ 120 cm).
• Walking route / speed: Walk along the lane at a fixed route and constant speed, capturing both sides of the plants. Do not move suddenly closer or farther.
• Environmental sensors: Place the logger at a representative position in the lane and time-synchronize it with the capture.
• In-scene reference bar: Fix the 30 cm reference bar vertically beside the representative plant (P1), positioned so it appears up to its top in the canonical render.

図2. 実験準備・配置図（上面図）/ Figure 2. Experimental setup, top view.

図3. 撮影ジオメトリ（側面）：一定の高さ・一定の距離・一方向の1回撮影。/ Figure 3. Capture geometry (side view): fixed height, constant distance, single one-directional pass.

写真1. 実例：通路床面の開始位置マーク（緑の十字）と歩行経路マーカー、および画面内スケール基準（フィデューシャルマーカー）。/ Photo 1. Example: floor start-position mark (green cross) and walking-route markers along the aisle, with an in-scene scale reference (fiducial marker).

2.3 環境センサ一覧 / Environmental Sensor Suite

JP: 次回以降のラウンドでは、下記の9項目を第1セッションから欠測なく記録します。センサ1〜5は既存、6〜9は追加推奨です。

EN: For the next and subsequent rounds, record the following 9 measurements without gaps from session 1. Sensors 1–5 are existing; 6–9 are recommended additions.

2.4 作業開始前の確認事項 / Checklist Before Starting

• [ ] カメラの位置・高さ・角度が前回と同じ / Camera position, height, angle same as last time
• [ ] カメラ設定（露出・WB・手ぶれ補正・歪み補正）が固定 / Camera settings (exposure, WB, stabilization, distortion) fixed
• [ ] スケール基準バーが設置されている / Reference bar is installed
• [ ] 環境センサが正常動作 / Environmental sensors operating normally
• [ ] カメラとセンサの時刻同期 / Camera and sensor clocks synchronized
• [ ] 本日の栽培管理作業（農薬・摘葉等）の有無を確認 / Checked whether management work (pesticide, defoliation) occurred today
• [ ] 撮影時間帯が前回と同じ（±15分以内）/ Capture time window same as last time (within ±15 min)

3. データ収集手順 / Data Collection Procedure

JP: 各セッションは以下の時系列で実施します。各手順の注意事項を必ず守ってください。所要時間の目安は準備込みで20〜30分です。

EN: Perform each session in the following time order. Always observe the precautions for each step. The rough duration is 20–30 minutes including preparation.

図4. データ収集セッションの手順（概観）。詳細は下表を参照。/ Figure 4. Data-collection session procedure at a glance; see the table below for details.

3.1 撮影上の重要な注意 / Key Capture Precautions

JP: - 撮影時間帯を毎回同一に保つ（例：正午前後、±15分）。日周変動による光条件の差を抑えます。 - 直射日光が極端に強い時間帯や、農薬散布・摘葉などの作業直後は避けます（作業後2時間以内は撮影しない）。 - 手ぶれ補正・自動露出の急変を避けるため、ゆっくり滑らかに動きます。 - 動画は分割せず連続で取得します。途切れた場合は初めから撮り直します。

EN: - Keep the capture time window identical every session (e.g., around noon, ±15 min) to suppress diurnal lighting differences. - Avoid times of extremely strong direct sunlight and the period immediately after management work such as pesticide spraying or defoliation (do not capture within 2 hours after such work). - Move slowly and smoothly to avoid sudden changes in stabilization and auto-exposure. - Capture the video continuously without splitting. If it is interrupted, re-record from the beginning.

写真2. 実例：床マーカー間の距離（ここでは140 cm）を巻尺で確認。一定間隔により、毎回同じ歩行距離・ペースを再現できます。/ Photo 2. Example: verifying the distance between floor markers (here 140 cm) with a tape measure; a fixed interval lets the operator reproduce the same walking distance and pace every session.

3.2 操作者バイアスの回避 / Avoiding Operator Bias

JP: 摘芯・摘葉などのイベント検出を正しく評価するため、可能な限り作業者は栽培管理スケジュールを事前に知らない状態で撮影します（操作者ブラインド）。難しい場合は、三脚・壁掛けなどの固定撮影で操作者の影響を排除する方法を検討してください。

EN: To correctly evaluate event detection (pruning, defoliation), capture with the operator blinded to the cultivation-management schedule whenever possible. If that is difficult, consider fixed-mount capture (tripod or wall bracket) to remove operator influence.

4. 地上真値・アノテーション / Ground-Truth Measurement and Annotation

JP: 描画画像から得た形質（h_norm など）を物理的な高さ（cm）と対応づけるため、地上真値を取得します。方法はA. 巻尺による手動計測とB. 画面内基準バーの2通りで、併用を推奨します（図5）。

EN: To relate traits obtained from rendered images (e.g., h_norm) to physical height (cm), collect ground truth. There are two methods—A. manual tape measurement and B. in-scene reference bar—and using both is recommended (Figure 5).

図5. 地上真値の計測（A:巻尺 / B:画面内基準バー）/ Figure 5. Ground-truth measurement (A: tape, B: in-scene reference bar).

4.1 草丈測定方法（A：巻尺）/ Plant-Height Measurement (A: Tape)

JP: 少なくとも月1回（理想は生育期間中に3〜4回）、動画撮影と同日・撮影後2時間以内に手動計測します。

1. レーン内の代表株を5株選び、IDタグ（P1〜P5）を付ける。
2. 基準点は培地／鉢の上端とし、トレリス支柱にテープで基準線を印す（毎回同じ基準点を使う）。
3. 巻尺を基準点から最も高い茎の先端まで伸ばす。
4. 巻尺は鉛直・ぴんと張る（茎の曲がりに沿わせない）。
5. 0.5 cm単位で記録する。
6. 巻尺を当てた状態を写真に撮る。
7. 先端が傾いている場合は角度をメモする（例：「先端 約10°北に傾き」）。
8. 5株すべてを計測し、ground_truth_YYYYMMDD.csv に記録する。

EN: At least once a month (ideally 3–4 times across the crop cycle), measure manually on the same day as the video, within 2 hours of capture.

1. Select 5 representative plants in the lane and attach ID tags (P1–P5).
2. Use the top of the growing medium / pot as the reference point, and mark the base line on the trellis post with tape (use the same reference point every time).
3. Extend the tape from the reference point to the apex of the tallest stem.
4. Keep the tape vertical and taut (do not follow the curve of the stem).
5. Record to the nearest 0.5 cm.
6. Photograph the tape in position.
7. If the apex is leaning, note the angle (e.g., "apex leaning ~10° north").
8. Measure all 5 plants and record in ground_truth_YYYYMMDD.csv.

CSV列 / columns: date, plant_id, height_cm, measurement_time, operator, lean_angle_deg, notes

記入例 / Example:

JP: 基準点を一定に保つため、栽培ベース（培地・トレイ）の床からの高さを初回に計測しておくと、床からの絶対草丈と対応づけられます。 EN: To keep the reference point consistent, measure the height of the cultivation base (growing medium/tray) from the floor once at the start; this lets tape measurements be reconciled with absolute height from the floor.

写真3. 実例：栽培ベース（培地・トレイ）の高さを巻尺で計測し、床からの絶対草丈を対応づける基準（datum）とする。/ Photo 3. Example: measuring the height of the cultivation base (growing medium/tray) with a tape to establish a datum for referencing absolute plant height from the floor.

4.2 スケール設定（B：画面内基準バー）/ Scale Reference (B: In-Scene Bar)

JP: 既知長（30 cm）の剛体バーを正準カメラ画角内に常設します。毎回の手動計測が不要になり、描画画像上のピクセル比から cm への換算が得られます。

• 準備（初回のみ）：バーを白く塗り、5 cm間隔で黒線を入れる。P1の隣に鉛直に固定し、基準線（鉢の上端）に下端を合わせる。正準描画フレーム（例：フレーム025）で植物の先端を隠さずに写ることを確認する。
• 換算：任意の1枚の描画画像から、h_gt = (植物のピクセル高 / バーのピクセル高) × 30 cm。

EN: Permanently place a rigid bar of known length (30 cm) within the canonical camera frame. This removes the need for per-session manual measurement and provides a pixel-to-cm conversion on the rendered image.

• Setup (once): paint the bar white with 5 cm black marks. Fix it vertically beside P1 with its base aligned to the reference line (pot top). Confirm it appears in the canonical render (e.g., frame 025) without occluding the plant apex.
• Conversion: from any one render, h_gt = (plant pixel height / bar pixel height) × 30 cm.

JP: 目盛りバーの代わりに、既知寸法のフィデューシャルマーカー（ArUco 等）を画角内に固定してスケール基準とすることもできます。マーカーの一辺の実寸から同様にピクセル→cm換算が得られ、自動検出にも利用できます。 EN: Instead of a ruler bar, a fiducial marker (e.g., ArUco) of known size can be fixed in the frame as the scale reference. Its known edge length gives the same pixel-to-cm conversion and also supports automatic detection.

写真4. 実例：既知寸法のフィデューシャル（ArUco）マーカーを支柱に固定し、画角内のスケール基準とする。/ Photo 4. Example: a fiducial (ArUco) marker of known size fixed to a support as an in-scene scale reference.

4.3 栽培管理イベント記録 / Plant-Management Logging

JP: 摘芯・摘葉・農薬散布・誘引などの管理作業は、生育解析に強く影響します。作業の都度、plant_management_log.csv に日時・種類・対象株・内容・担当者を記録してください。

EN: Management work such as pruning, defoliation, pesticide spraying, and training strongly affects growth analysis. Record each event in plant_management_log.csv with date/time, type, target plants, description, and operator.

列 / columns: date, time, event_type, target_plants, description, operator, notes

記入例 / Example:

4.4 アノテーション・CSV入力方法 / Annotation and CSV Recording

JP: 後工程で描画画像から抽出した形質は、annotation.csv に集約します。作業者は、対応するセッションID・日付・描画ファイル名・基準バー情報・地上真値（あれば）を照合して記入します。

EN: Traits extracted from rendered images in the later stage are consolidated in annotation.csv. The operator fills in the corresponding session ID, date, render filename, reference-bar information, and ground truth (if available).

図6は、描画画像から h_norm（正規化草丈）・a_norm（正規化被覆面積）・h_gt（cm）をどのように計測するかを示します。 Figure 6 shows how h_norm (normalized height), a_norm (normalized area), and h_gt (cm) are measured from a rendered image.

図6. レンダー空間での計測：植物領域から h_norm = (v95−v5)/H と a_norm、既知長の基準から h_gt を求める。/ Figure 6. Render-space measurement: h_norm = (v95−v5)/H and a_norm from the plant region, and h_gt from a known-length reference.

列 / columns: session_id, date, render_frame, h_norm, a_norm, reference_bar_px, reference_bar_cm, h_gt_cm, annotator, qc_status, notes

記入例 / Example:

補助スクリプト / Helper Script

JP: 手作業を減らすため、注釈補助スクリプト SourceCode/compute_traits.py を同梱します。描画画像を渡すと、HSV緑色しきい値で植物領域を抽出し、h_norm（草丈）・a_norm（被覆面積）を計算して annotation.csv に1行追記し、確認用のオーバーレイ画像も出力します。既知長の基準（バーやフィデューシャルマーカー）を指定すれば h_gt（cm）も算出します。

EN: To reduce manual work, the annotation helper SourceCode/compute_traits.py is included. Given a rendered image, it segments the plant with an HSV green threshold, computes h_norm (height) and a_norm (area), appends one row to annotation.csv, and saves an overlay image for visual checking. If a known-length reference (bar or fiducial marker) is provided, it also computes h_gt in cm.

python3 SourceCode/compute_traits.py 20260119_render_00025.png \
    --session S001 --date 2026-01-19 --annotator AN01 \
    --ref-top 120 --ref-bottom 330 --ref-cm 30 \
    --out-csv annotation.csv
# -> prints h_norm, a_norm, h_gt; writes *_overlay.png; appends to annotation.csv

5. データ管理 / Data Organization

5.1 フォルダ構成 / Folder Structure

dataset/
├── raw/
│   ├── video/            # 撮影動画 / captured videos
│   ├── sensor/           # 環境センサログ / sensor logs
│   └── photos/           # 開始位置・計測写真 / start-position & measurement photos
├── ground_truth/         # ground_truth_YYYYMMDD.csv
├── logs/
│   ├── session_metadata.csv
│   ├── plant_management_log.csv
│   └── qc_checklist.csv
├── processed/            # 後工程の中間データ / intermediate data (later stage)
│   ├── frames/           # 抽出フレーム / extracted frames
│   ├── sfm/              # COLMAP出力 / COLMAP output
│   ├── 3dgs/             # 3DGSモデル / 3DGS models
│   └── renders/          # 正準描画 / canonical renders
└── annotation/           # annotation.csv

5.2 ファイル命名規則 / File Naming Convention

JP: 日付を先頭に置き、YYYYMMDD（8桁）で統一します。半角英数字とアンダースコアのみを使用し、空白・日本語・記号は使いません。

EN: Put the date first as YYYYMMDD (8 digits). Use only ASCII alphanumerics and underscores; avoid spaces, Japanese characters, and symbols.

図7. ファイル命名規則（例）とデータの流れ（生データ→整理→解析→アノテーション）。/ Figure 7. File-naming anatomy and the data flow (raw → organized → processed → annotation).

5.3 データ保存とバックアップ / Data Storage and Backup

JP: - 撮影当日中に、生データを研究室の共有ストレージ（またはクラウド）へアップロードします。 - 3-2-1原則を推奨：3つのコピー、2種類の媒体、1つはオフサイト（クラウド等）。 - アップロード後、ファイルサイズと再生可否を確認してから端末のデータを削除します。 - センサログは元のロガー出力（生ファイル）も保存します。

EN: - Upload the raw data to the laboratory shared storage (or cloud) on the same day of capture. - Recommended 3-2-1 rule: 3 copies, 2 media types, 1 off-site (e.g., cloud). - After upload, verify file size and playability before deleting data from the device. - Also keep the original logger output (raw files) for the sensor logs.

6. 品質確認 / Quality Control

JP: 各セッション終了時に、下記チェックリストを完了し qc_checklist.csv に記録します。1つでも「未」があれば、その場で対処するか、対処できない場合は issues に必ず記録します。

EN: At the end of each session, complete the checklist below and record it in qc_checklist.csv. If any item is "not done," fix it on the spot; if it cannot be fixed, always record it under issues.

6.1 事後チェックリスト / Post-Session Checklist

• [ ] 動画ファイルが正常に保存されている / Video file saved correctly
• [ ] 動画が連続している（途切れなし、1〜3分）/ Video is continuous (no interruption, 1–3 min)
• [ ] 開始位置の床マークを記録した / Start-position floor mark recorded
• [ ] カメラ高さが固定・記録されている / Camera height fixed and recorded
• [ ] 植物の両側から撮影した / Captured both sides of the plants
• [ ] 環境センサデータに欠損がない（9項目）/ Sensor data complete (9 variables)
• [ ] 地上真値を計測した（該当日）/ Ground truth measured (on scheduled days)
• [ ] 栽培管理ログを更新した / Management log updated
• [ ] ファイル名が命名規則どおり / Filenames follow the convention
• [ ] データをアップロードした / Data uploaded
• [ ] バックアップを作成した / Backup created
• [ ] 異常があれば記録した / Any anomaly recorded

7. よくあるトラブルと対処方法 / Troubleshooting

付録 / Appendix

A. 添付テンプレート / Provided Templates

EditableFiles/templates/ に以下の編集可能テンプレートを同梱します。各テンプレートは CSV と Excel（.xlsx） の両形式で提供します。 The following editable templates are provided in EditableFiles/templates/, each in both CSV and Excel (.xlsx) formats.

A2. 提供形式 / Provided Formats

本マニュアルは次の形式で提供します。 This manual is provided in the following formats:

図は PNG・SVG（編集可能なベクター）で提供し、SourceCode/make_figures.py で再生成できます。テンプレートは SourceCode/make_templates_xlsx.py、Web版は SourceCode/build_web.py、PDF版は SourceCode/build_pdf.py で再生成できます。 Figures are provided as PNG and SVG (editable vector) and can be regenerated with SourceCode/make_figures.py. Templates, the web version, and the PDF are regenerable via make_templates_xlsx.py, build_web.py, and build_pdf.py respectively.

B. 用語 / Glossary

C. 公開・ライセンスに関する注意 / Publication and Licensing Notes

JP: - 本マニュアルは研究室Webページでの公開を想定しています。特定の企業名・共同研究先・圃場が識別できる情報は記載していません。 - 図はすべて自作（SourceCode/make_figures.py により再生成可能）、写真は作成者自身が現地で撮影したものです。企業ロゴ・看板・人物・圃場を特定できる情報が写り込まないよう選定・トリミングしています。外部資料は使用していません。外部素材を追加する場合は、著作権・ライセンスを確認し、出典を明記してください。 - 本マニュアルの一部は文章生成AIの支援を用いて作成し、内容は作成者が確認しています。

EN: - This manual is intended for publication on the laboratory website. It contains no information that identifies a specific company, collaborator, or field site. - All diagrams are original (regenerable via SourceCode/make_figures.py), and all photographs were taken by the author on site. Photos were selected and cropped so that no company logo, signage, person, or site-identifying feature is visible. No external materials are used; if external materials are added, verify copyright/license and provide proper attribution. - Parts of this manual were prepared with the assistance of a text-generation AI tool, and the content has been verified by the author.

本マニュアルは静岡大学 峰野研究室のデータ収集標準手順として作成されました。 This manual was prepared as the standard data-collection procedure of the Mineno Laboratory, Shizuoka University.