<div dir="ltr"><div><div><div><div><div><div>Hi Claude,<br></div>Interesting stuff!<br></div>I triend to run your patch, but I get "./recog~: can't load library" <br>(and pd seems to go into a "watchdog: signaling pd..." loop as soon as I create the Gem window, don't know if that's related).<br></div>I can't find 'recog~' anywhere on my system.<br></div>hint welcome.<br></div>thanks,<br></div>Tim<br><br></div><div class="gmail_extra"><br><div class="gmail_quote">2015-04-07 17:58 GMT+02:00 Claude Heiland-Allen <span dir="ltr"><<a href="mailto:claude@mathr.co.uk" target="_blank">claude@mathr.co.uk</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Antonio,<span class=""><br>
<br>
On 05/04/15 15:51, Antonio Roberts wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
I've been studying the work of Neil Harbisson for awhile and I'm<br>
looking to try and replicate in part the functionality of his eyeborg<br>
using Pure Data. I have already built a simple patch to convert pixels<br>
to sound but now I want to expand on it. Here's my initial research:<br>
<a href="http://www.hellocatfood.com/sonification-studiespixel-waves/" target="_blank">http://www.hellocatfood.com/<u></u>sonification-studiespixel-<u></u>waves/</a><br>
</blockquote>
<br></span>
"I predict the development of an image to audio sequencer in the near future."<br>
<br>
I made a painting program in gridflow years ago, had some very basic sonification - gridflow also had a "how to play a car" example converting a photo by scanlines into audio with FFT.<br>
<br>
<a href="https://archive.org/details/ClaudiusMaximus_-_Emulsion" target="_blank">https://archive.org/details/<u></u>ClaudiusMaximus_-_Emulsion</a><br>
<a href="https://archive.org/details/ClaudiusMaximus_-_DohPaintII_Session_3" target="_blank">https://archive.org/details/<u></u>ClaudiusMaximus_-_DohPaintII_<u></u>Session_3</a><br>
<a href="https://archive.org/details/ClaudiusMaximus_-_DohPaintII_Session_2" target="_blank">https://archive.org/details/<u></u>ClaudiusMaximus_-_DohPaintII_<u></u>Session_2</a><span class=""><br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Colours don't directly relate to sound and so Harbisson and others<br>
must use a scale to assign colours to sounds. Some initial research<br>
brought these up:<br>
<br>
<a href="http://blogs.plos.org/neuroanthropology/files/2014/03/Harbisson-The-Sound-of-Colors-TED.jpg" target="_blank">http://blogs.plos.org/<u></u>neuroanthropology/files/2014/<u></u>03/Harbisson-The-Sound-of-<u></u>Colors-TED.jpg</a><br>
<a href="http://www.bbc.co.uk/news/magazine-16681630" target="_blank">http://www.bbc.co.uk/news/<u></u>magazine-16681630</a><br>
<a href="http://www.lunarplanner.com/Harmonics/planetary-harmonics.html" target="_blank">http://www.lunarplanner.com/<u></u>Harmonics/planetary-harmonics.<u></u>html</a><br>
<a href="http://www.flutopedia.com/sound_color.htm" target="_blank">http://www.flutopedia.com/<u></u>sound_color.htm</a><br>
</blockquote>
<br></span>
The last one, in the section "Converting RGB Colors to Color Frequencies", makes a good point - monochromatic wavelength to RGB works fine, but RGB to wavelength is in general impossible, as colours are spectral power distributions over continuous wavelengths.  Once it's flattened to RGB, too much information is lost to be able to recreate the original spectrum (aka metamerism, where 2 different spectrum give same colour sensation).<br>
<br>
Recently I copy/pasted some colour-related stuff from Wikipedia into a booklet (second link is layed out for printing, first one is better for screen reading, both have the same content):<br>
<br>
<a href="http://mathr.co.uk/misc/2015-04-04_colour.pdf" target="_blank">http://mathr.co.uk/misc/2015-<u></u>04-04_colour.pdf</a><br>
<a href="http://mathr.co.uk/misc/2015-04-04_colour_booklet.pdf" target="_blank">http://mathr.co.uk/misc/2015-<u></u>04-04_colour_booklet.pdf</a><br>
<br>
The approaches you linked seem to convert wavelengths to colour in a straightforward way, but for converting from colour to sound I think a different approach would be better (and indeed needed) - something more akin to the Munsell perceptual colour system:<br>
<br>
<a href="https://en.wikipedia.org/wiki/Munsell_color_system" target="_blank">https://en.wikipedia.org/wiki/<u></u>Munsell_color_system</a><br>
<br>
a grossly simplified version would be HSV, which I used in the attached - a bank of vcf~ fed by noise~, mapping hue to scale note, value to loudness and pitch, and saturation to filter Q - so that white would give high noise, grey gives a lower pitch noise, black gives silence, fully-saturated dark green gives a low note, bright green gives a high pitch at the same scale note.  the filters glitch when the hue jumps from 0 red (orange side) to 1 red (purple side), could be fixed with some cleverness probably.<div class="HOEnZb"><div class="h5"><br>
<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
Can anyone think of a way to translate this into pd? In the end I<br>
would like to be able to display a block of colour on screen and have<br>
that generate a specific note.<br>
<br>
Any help is appreciated.<br>
<br>
Antonio<br>
<br>
</blockquote>
<br>
<br></div></div><span class="HOEnZb"><font color="#888888">
Claude<br>
-- <br>
<a href="http://mathr.co.uk" target="_blank">http://mathr.co.uk</a><br>
<br>
</font></span><br>_______________________________________________<br>
<a href="mailto:Pd-list@lists.iem.at">Pd-list@lists.iem.at</a> mailing list<br>
UNSUBSCRIBE and account-management -> <a href="http://lists.puredata.info/listinfo/pd-list" target="_blank">http://lists.puredata.info/listinfo/pd-list</a><br>
<br></blockquote></div><br></div>