kabocha
fanbox
【技術的なお話】色移りとBREAK構文【stable diffusion】
🕑 Added 2023-03-30 02:58:19 +0000 UTCstable diffusion（以下ＳＤ）とかautomatic web ui（以下ＵＩ）とかの技術的なお話。
気が向いたときだけ書きます。
ＡＩでイラストを作っていると、「色移り」という現象が起きます。
「yellew eyes」と入れただけなのに、ヘアリボンが黄色に染まる、といった現象。
分析している方の話によると、どうやら原因は、トークンのエンコード時に起きているらしい。と、突然用語が入るので少し説明しますが、詳しく理解しているわけではなく、自分なりの解釈なので間違ってても許してヒヤシンス。
トークン：ＳＤで入力する単語、「1 gilr」とか「silver hair」とか。
プロンプト：75個のトークンの一塊
エンコード：あるデータを別のデータに変換すること。たぶん。
エンベディング：プロンプトをＳＤが扱えるようにしたデータ
そもそものところ、ＳＤは一度に75個のトークンまでしか扱えないように設計されているそうです。それを超えると、本来は76個目以降は切り捨てられるようになっている。つまり、76個目に「silver hair」と入力されても、ＳＤはそれを無視して画像生成をする。
あれ、でも、普通に使うとトークンの数はそれを越えているはず。しかも反映もされている。
なぜそうなるかというと、ＵＩ側で工夫が行われているらしい。ＳＤは確かに75トークンまでしか扱わないのだが、トークンが75個を超えた場合、ＵＩが自動でプロンプトを分割して、複数のエンベディングを作り、エンベディング同士を合成することで、最終的に全部のトークンを反映させるようにしてくれている。
別の言い方をすると、
・トークン（呪文）の段階では、75個以上は同時に扱えない
→75個以下のトークン（呪文）から、「システム的に処理された後のデータ」を掛け合わせることはできる。
という仕組みらしい。
もっと雑な言い方を試みる。
「玉ねぎ、にんじん、カレー粉、etc...」の75個の材料と、それに加えて76個目に「うどん」を加えようとすると、ＳＤは本来、「うどん」の存在を無視してカレーだけ作ってしまう。
なので、「玉ねぎ、にんじん、カレー粉、etc...」が「カレー」になった後で、「うどん」と合成するようにＳＤに指示を送ると、「カレーうどん」になる（ことがある）。
しかし、このカレーうどん法（そんな呼び方はしませんが）、万能かといえばそうでもない。
一つのプロンプト（＝75個のトークン）内で「カレー」と「うどん」が同時に存在している状態と、別のプロンプト（エンベディング）で作った「カレー」と「うどん」を合成する場合では、生成される画像の傾向に違いが生じます。
同一プロンプトの場合は、トークン同士が「混ざりやすい」。あくまでカレーうどんの例を使うならば、「カレーとうどんが一つのどんぶりに入る」傾向がある。
一方で、別のエンベディングを合成した場合は「混ざりにくい」。つまり、「カレーとうどんが別の皿に入っている」状態になりやすい。というか、実際には「カレーかうどん」になりやすい。
イメージでいうと、
同一プロンプト：Ａ and B（カレーandうどん）
別のエンベディング：A with B（カレーwithうどん）
要するに、「別々のエンベディングの要素は分離されやすい」。
先述のように、ＳＤは75以上のトークンを同時に扱えないので、ＵＩは76個～150個なら二つのエンベディングを、151～225個なら三つのエンベディングを、自動で作って合成してくれる。
で、この分割を任意に行うのが「BREAK」という指示。ここで区切って、別のエンベディングを作ってね、とＵＩにお願いするための呪文。
エンベディングを強制で分割するBREAKは、メリットもデメリットもある。
メリットとしては、
色移りの対策としては、これが有効に使えることがある。
例えば、「1 girl,silver hair,BREAK yellow eyes, BREAK green ribbon」のようにすると、それぞれの要素を混ざりにくい状態で合成してくれるために、リボンが黄色くなったりしづらくなる。
デメリットとしては、
要素が混ざらないので狙ったようにいかない場面が出る。
実験した例を載せますが、Ｒ18な内容なので注意。
ざっくりこんな感じのプロンプトを考える。（実験したのはもっと長いプロンプト）
①1 girl,nsfw,nude,naked,doggy style,1 boy,
②1 girl,nsfw,nude,naked,doggy style,BREAK 1 boy,
③1 girl,BREAK nsfw,nude,naked,doggy style,BREAK 1 boy,
どんな場面かは頭の中でのＳＤくんが描いてくれると思うので説明しませんが、完成図はなんとなくわかるはず。
シード次第では全部上手く行くことも、全部失敗することもありますが、傾向として、①が最も狙ったものになりやすく、③がもっとも乖離しやすい。
③のようにプロンプトが分割されると、トークン同士を結び付ける必要がないので、画面上のどこかに「1 girl」「nsfw...」「1boy」の要素があればいい、という解釈になるのでしょう。カレーandうどんか、カレーwithうどんかの違い。色についてが顕著なので目立ちますが、おそらく本質的には、トークン同士の関係（干渉）の度合いの問題なのでしょう。
色移りしないから便利だー、と思ってBREAK構文を使うと、意外な副作用がある、というお話でした。
