データ形式変換 & トークン分析
JSON, YAML, TOML, TOON 形式の相互変換を行い、LLMトークン使用量と節約効果をリアルタイムで計算します。
データ形式変換ツールについて
これはLLMプロンプトエンジニアリングとデータ交換のために設計されたツールです。一般的なJSON/YAML/TOMLの相互変換に加え、可読性を犠牲にすることなくトークン使用量を大幅に削減する TOON 形式を導入しました。
トークン計算の仕組み
このツールは tiktoken ライブラリを使用し、cl100k_base エンコードモデルを採用して計算しています。これは OpenAI GPT-4, GPT-3.5-turbo, text-embedding-ada-002 などのモデルで使用される標準トークナイザーであり、実際のAPI使用量と高度に一致する計算結果を保証します。
TOONによる節約効果
構造化データの繰り返し(オブジェクト配列など)において、JSONはキー名の重複により大量のトークンを浪費します。TOON形式はヘッダーの抽出と記号の簡素化により、通常 30% ~ 60% のトークンコストを節約し、コンテキストウィンドウにより多くのデータを含めることを可能にします。
圧縮モード
「圧縮モード」をオンにすると、出力から不要な空白や改行を自動的に削除します(JSONとTOONに特に効果的)。人間にとっての可読性は下がりますが、AIモデルにとっては究極のトークン節約ソリューションであり、コンテキストウィンドウが非常に厳しいシナリオに適しています。
対応フォーマット紹介
JSON (JavaScript Object Notation)
Web APIConfig 最も一般的なデータ交換形式。互換性は最高ですが、構文が冗長(大量の引用符や括弧)であり、通常トークン使用量が最も多くなります。
YAML (YAML Ain't Markup Language)
CI/CDKubernetes インデントで構造を表現し、可読性が非常に優れています。JSONより簡潔で設定ファイルに適しています。しかし、LLMではインデントの解析ミスによりハルシネーションが発生することがあります。
TOML (Tom's Obvious, Minimal Language)
RustPython INIファイルに似た形式で、構造が明確です。フラットな設定ファイルには非常に簡潔ですが、深いネスト構造のデータを扱うと非常に長くなる可能性があります。
TOON (Token-Oriented Object Notation)
LLM OptimizationSince 2025本ツール独自の形式 (2025年作成)。「オブジェクト配列」に最適化されており、CSVに似ていますが型安全性を保持しています。keys[...] でヘッダーを定義し、重複するキーを大幅に削除することで、AIに読ませるための最もコストパフォーマンスの高い選択肢となります。
プライバシーとセキュリティ声明
あなたのデータセキュリティは私たちにとって最も重要です。このツールは Client-side Computing 技術を採用しており、すべての処理はあなたのデバイス(スマホまたはPC)上で即座に実行されます。
これはつまり:あなたが入力した内容は、インターネットや私たちのサーバーには一切アップロードされません。機密ファイル、プライベートな日記、コードなど、安心して貼り付けて処理することができます。
