Blindtest und Vorgehensweisen...

[scope]

Diese Idee zur Durchführung eines verblindeten Hörvergleichs stellte HVFanatic in einem anderen Thread vor. Da das Thema dort untergegangen wäre, habe ich es in einen eigenen Thread geholt:

Die Idee ist, keine Umschalteinheit, alles (außer den Lautsprechern) verdeckt aufgebaut, sehr lange Hörsitzungen, der Hörer notiert seine Eindrücke UND um welches Gerät es sich handeln könnte. Piet und Oleg glauben, so könnte es klappen. Wenn wir das gemacht haben, berichten wir auch. Ich bin nicht besonders optimistisch, aber schauen wir mal. Nett wird es sicher werden. Und wenn es uns erkenntnistechnisch nix gebracht hat, werden wir zumindest gut gegessen und getrunken haben.

Hört man sich unterschiedliche Geräte an unterschiedlichen Orten und zu unterschiedlichen Zeiten an, ist die Gefahr der Täuschung riesig. Das gilt besonders für Geräte wie z.B. Verstärker oder CD-Spieler, die aufgrund der mittlerweile ausgereiften Schaltungstechnik kaum Auffälligkeiten zeigen.

Ich habe über die Jahre die Erfahrung gemacht, dass Fans aus der Hifiszene ein derart ausgeprägtes Selbstbewusstsein entwickeln, dass sie ihre Eindrücke oft ohne jeden Zweifel als Faktum darstellen. Nur in seltenen Fällen wird eingeräumt, dass man sich auch getäuscht haben könnte.
Ein kontrollierter Hörvergleich (Blindtest) kann unterm Strich nicht jedes Problem lösen und hat immer kleinere oder eben größere Mängel im Design. So ein Test stellt aber dennoch das mit

Abstand beste und belastbarste Werkzeug zur Untersuchung der tatsächlichen Zustände dar.

Man unterscheidet zwischen ABX Blindtests und AB Blindtests.

Während beim ABX Blindtestdesign zwangsläufig und in der Regel unterbrechungsfrei oft umgeschaltet werden muss, um den unbekannten "Zustand X" entweder Schaltpos. A oder eben Pos. B zuzuordnen,  kann man einen AB-Test  (oder Präferenztest) auch ohne Umschalteinheit oder PC durchführen. 

Man muss dann beim Wechsel der Zustände aber  erhebliche Unterbrechungen von bis zu einer Minute und mehr in Kauf nehmen , was die Sache erschwert.


Aber zurück zum Vorschlag, den HV-Fanatic ausgearbeitet hat. Ein Großteil der Blindtestkritiker sieht das Hauptproblem in der vergleichsweise kurzen Zeit, in der man eine Entscheidung treffen soll. Wer unverblindet oft oder sogar immer "klare" Unterschiede vernommen haben will, kann sich mit den Ergebnissen eines kontrollierten Blindtests nur schwer, in der Regel sogar gar nicht abfinden.

Ich habe in den vergangenen Jahren immer wieder erlebt, dass Hörer -selbst an der eigenen Stereoanlage- keine Unterschiede hören konnten, und mitunter "am Boden zerstört" waren....Einen Tag später war dann aber alles vergessen, und es wurde wie zuvor berichtet, dass sie angeblich doch wieder ganz deutliche Unterschiede hören, und irgendetwas den Test verfälscht haben müsse. Das kam zwischenzeitig immer wieder vor.

HVFanatic schlägt also vor, die beiden Zustände (also Gerät A oder Gerät B)   besser zu erkennen, in dem die Hörsitzungen sehr lang werden. Diese Möglichkeit ist natürlich mit einer Umschalthardware ebenso gegeben, es gibt dann aber ein neues , sehr schwerwiegendes Problem.

Man verzichtet darauf, eine konstante Präferenz sicherzustellen.  Es kann dadurch  nicht mehr "verfestigt" werden, ob eine Erkennung (oder eben eine Präferenz)  in hinreichend großer Übereinstimmung "treffsicher" und konstant erfolgte, da die Zeit nicht ausreicht.

 Je enger die Qualität der geprüften Geräte zusammenrückt, desto größer die Gefahr, dass man eben keine stabile Präferenz erreicht. Die Kontrolle der Präferenz, die erst mit steigender Anzahl von Hörsessions möglich wird, kann mit langen, dafür aber wenigen Sessions nicht erreicht werden.

Es sei denn, so ein Test geht über viele Tage.

Abschliessend noch ein wichtiger Punkt:
Ich vertrete bekanntlich die Behauptung, dass man Geräte mit unauffälligen Meßwerten nicht voneinander unterscheiden kann. In "eurem" Test behauptet der Durchführende das Gegenteili.

Und jetzt bitte genau lesen :   Es ist ausgesprochen schwierig, zwei klanglich unterschiedliche Geräte in einem Test so zu präsentieren, dass sie plötzlich gleich und (nach Aussage der Hörer)  beide gut klingen.
Es ist aber absolut kein Problem, zwei" klanglich" völlig identische Geräte so zu präsentieren, dass sie voneinander abweichen.  Ein leicht unterschiedlicher Pegel oder eine leichte Veränderung der Balance wären die einfachsten Möglichkeiten.

Ich halte es also für ausgesprochen wichtig, dass der Testaufbau und der Ablauf von einer neutralen, besser sogar kritischen Person  mit hohem technischen Verständnis geprüft und begleitet wird, da sonst die Verlockung zu groß wäre, einen "Fake Test" ins Netz zu stellen.  Außerdem müssen die Geräte vor dem Test auf den Meßplatz.

Neben der nicht kontrollierten "konstanten Präferenz" sehe ich die technische Seite bei eurem Design als (zu) großes Problem.

HVFanatic.....Wie siehst du das?

[HVfanatic]

Die Logik der Kritiker der scope'schen Methode ist, dass durch die schnelle Umschaltung Stress aufgebaut wird, der das Urteilsvermögen zerstört. Ich habe keinen Stress empfunden. Ich finde auch die scope'sche Erklärung, dass die Fehler der LS 1-2 Zehnerpotenzen größer als die des Verstärkers sind, sehr überzeugend. Damit müssten dann die Fehler der LS die Fehler der Verstärker überdecken. Vor meinen Blindtesterfahrungen war ich aber totsicher...

Aus diesem Grund will ich mal versuchen, ob ich mit der alternativen Methode erfolgreich sein kann. Ich wäre aber wirklich überrascht.

Ich kann aber jedem empfehlen, einen scope'schen Blindtest zu machen. Es ist eine wirklich interessante Erfahrung, und vermutlich der einzige wissenschaftlich saubere Weg.

[scope]

Die Logik der Kritiker der scope'schen Methode ist, dass durch die schnelle Umschaltung Stress aufgebaut wird

Die schnelle Umschaltung ist nicht vorgegeben. Es gab Hörer, die ein komplettes Stück einmal in pos A, dann in pos B, und dann wieder in pos A gehört, und dann entschieden haben.

Aus diesem Grund will ich mal versuchen, ob ich mit der alternativen Methode erfolgreich sein kann. Ich wäre aber wirklich überrascht.

Diese alternative Methode ist bisher nicht genau beschrieben worden.  Es stellen sich zwei wichtige Fragen:

1. Wie lange dauert EIN Hördurchgang mit Gerät A, und wie lange ein weiterer, der danach auf B umgesteckt wurde.
2. Wie viele  A-B Vergleiche beinhaltet der Test?

[Pio wer?]

Wenn man es als „wissenschaftlich“ bezeichnen kann, einen Parameter vor dem Test bei jeweils beiden Testkandidaten anzugleichen, dann ja.

Abgesehen davon finde ich es prima, das mal ein neuer Weg beschritten wird und Scope das Ganze auch begleiten mag. 

Man darf gespannt sein...

[scope]

Wenn man es als „wissenschaftlich“ bezeichnen kann, einen Parameter vor dem Test bei jeweils beiden Testkandidaten anzugleichen, dann ja.

Da kann ich dir (noch) nicht folgen...Was meinst du damit? Die Lautstärke?

und Scope das Ganze auch begleiten mag.

Ich werde dort nichts begleiten. Das hast du missverstanden.

[Pufftrompeter]

... es ist wenig einsichtig, dass man durch einen groesseren zeitlichen Abstand und laengere Exposition kleine Nuancen in Sinneseindruecken besser wahrnimmt. 

Einen nachlackierten Kotfluegel mit Farbunterschied erkennt man sofort, wenn man ihn ans Auto schraubt, aber nicht, wenn man eine Stunde erst das Auto und dann eine Stunde den Kotfluegel betrachtet. 

Das beste Beispiel sind Dreikopfdecks ... wenn man durch langes, konzentriertes Hoeren irgendwelche Einstellungen sinnstiftend vornehmen koennte, weil man sich Klang "merken" kann, brauchte man die Vor-Hinterband-Umschaltung nicht und wuerde Bias und Pegel nach Gehoer justieren koennen. Kann man aber nicht - nicht mal bei so vergleichsweise grobklotzigen klanglichen Auswirkungen wie dem Bias. 

Anderes Beispiel: Kartoffelchips testen (yep - ich war mal Kartoffelchipstester): Man kriegt in einem abgedunkelten Labor (<=> es geht um Geschmack, nicht Optik) ein paar Chips und kann beliebig mal an der Referenz oder dem Testchip knabbern, um Unterschiede herauszuschmecken. Man kriegt nicht eine Rolle von der einen Charge, verfruehstueckt die ueber einen langen Zeitraum und dann eine Rolle von der anderen Charge und soll dann Unterschiede schmecken und idealerweise beschreiben. Klappt nicht. 

Es gibt nun mal kein dauerhaftes und unbestechliches Gedaechtnis fuer objektive Sinneseindruecke ...

[eric stanton]

Ich kann aber jedem empfehlen, einen scope'schen Blindtest zu machen. Es ist eine wirklich interessante Erfahrung, und vermutlich der einzige wissenschaftlich saubere Weg.

unbedingt
ich träume seit ich mir meine erste anlage gekauft habe von so einem blindtest mit anderen hififreaks zusammen

deshalb  freue ich mich das das thema nun endlich hier auch mal angegangen wird

ich hatte auch bisher das gefühl  das der threadersteller das thema nicht so sehr auf dem radar hatte
deshalb  freuts mich umso mehr das das zur abwechslung nun hier auch mal thema wird

ich wäre bereit und weiss auch schon was ich tragen werde damit ich wirklich auch nichts sehen kann wenns dann  soweit ist





im übrigen biete ich demnächst für interessierte  und gleichgesinnte in meiner umgebung einen verblindeten hörtest bei mir zuhause in entspannter athmosphäre an

vielleicht finden sich ja ein paar die kommen wollen
ich würde mich über pn`s freuen

lg und vielleicht bis bald
eric

[Mosbach]

[leolo]

Wie lief das eigentlich bei den letzten Blindtests, waren die Probanden da auch verblistert ?

[scope]

ich träume seit ich mir meine erste anlage gekauft habe von so einem blindtest mit anderen hififreaks zusammen

Wohl kaum. Du bist offensichtlich vielmehr der Typ, der sich für technischen Ballast nicht mal ansatzweise interessiert, was bereits ein kurzer Blick in deine Beitragshistorie erkennen lässt.
Drum stellt sich die Frage, warum du hier mit blödem Geschreibsel unnötig störst?

[Rheydter]

Jetzt gib hier nicht die Spaßbremse, den ich hab mich eben fast weggehauen, als der humorige Einwurf kam. 

[scope]

Findest du? Ich halte es für "absolut platt und doof"  Es gibt doch genügend andere Bereiche, wo man platten Humor abladen kann. "Witze und Cartoons"  wäre der passende Ort.

[MacMax]

Ich möchte dem seine Browserhistorie nicht wissen, kann mir aber vorstellen, dass sein ganz privater Klamottengeschmack nicht überall ankommt.

Aus dem Test a la tobifix wird nix, siehe Puffi, er hat es doch recht einleuchtend beschrieben.
Was macht ihr eigentlich übernächsten Samstag (Scope & Volka) ?

[scope]

Aus dem Test a la tobifix wird nix, siehe Puffi, er hat es doch recht einleuchtend beschrieben.

Um das zu beurteilen weiss ich noch nicht genug darüber......Ich habe ja weiter oben nochmal nachgefragt.

Rest PM

[Rheydter]

Findest du? Ich halte es für "absolut platt und doof"  Es gibt doch genügend andere Bereiche, wo man platten Humor abladen kann. "Witze und Cartoons"  wäre der passende Ort.

Wirken lassen!
20 mal lesen, oder ne Nacht drüber schlafen, oder 3 Pullen Lambrusco...

[scope]

1 & 2 ändern nichts....Die 3 ?? Gut möglich

[HVfanatic]

scope:

1. Wie lange dauert EIN Hördurchgang mit Gerät A, und wie lange ein weiterer, der danach auf B umgesteckt wurde.
Egal, nach Belieben.

2. Wie viele  A-B Vergleiche beinhaltet der Test?
Vermutlich wird jedes Gerät nur 1x gehört. 

Der Fehler dabei ist, dass man zu 50% richtig liegt. Man müsste wenigstens 10x umstöpseln. Sonst bleibt alles extrem zufällig. Ich denke, wir werden versuchen, 10 Durchgänge zu schaffen.

eric stanton:

Eigentlich wollten die Blindtest Teilnehmer nicht darüber reden, aber ich komme nicht damit klar, so ein Geheimnis für mich zu behalten. In Wirklichkeit lief es ganz anders. Scope hatte 7 Ukrainerinnen im Alter von 18-21 eingeladen. Die haben dann die Probanden entkleidet, und wir haben im scope'schen Whirlpool erstmal gemeinsam entspannt. Naja, es war eher so eine Sache mit lokaler Anspannung und anschließender Entspannung. Die Damen reichten uns dann Erfrischungsgetränke und massierten uns. Scope hat alles gegeben um keinen Stress entstehen zu lassen. Dummerweise hat dann meine Katzenhaarallergie dazu geführt, dass ich Katharina nicht mehr scharf sehen konnte. Ich glaube aber nicht, dass damit eine Sinneseintrübung einherging. Wie auch immer: Der Blindtest war einfach spitze!

[scope]

Vermutlich wird jedes Gerät nur 1x gehört. 

????  Dann wird euer Test kein Ergebnis liefern. Ihr werdet euch also mit Getränken und geselligen Gesprächen begnügen müssen

10 Durchgänge zu schaffen.

Dann werden die einzelnen Sessions aber nicht wie vorher beschrieben "sehr lang", sondern reduzieren sich auf vielleicht max. 20 oder max. 30 Minuten.  
Ich hatte während der Tests stets den Eindruck, dass du  relativ früh zu einer Entscheidung kamst, obwohl du dir deutlich mehr Zeit hättest nehmen können.

Der Test (sofern er  über einen Tag läuft), unterscheidet sich lediglich durch die fehlende Umschalthardware, was die Angelegenheit  unkomfortabel und fehleranfällig macht.
Wenn 10 mal hintereinander die NF Leitungen und die Lautsprecherkabel umgesteckt  werden, baut man sich unnötige Unsicherheiten ein. Es könnten Stecker verwechselt werden, oder Kontaktstörungen entstehen. Die Gefahr ist zwar gering, aber eben unnötig.

Ich sehe eigentlich nur Nachteile, keine Vorteile.  Man verliert lediglich die Möglichkeit, Umschaltzeitpunkte frei zu wählen, und kritische Stellen in der Musik in beiden Schaltstellungen zu wiederholen, um sie nochmal zu vergleichen.

[Rheydter]

Alte audiophile Weisheit:

Der beste Blindtest ist der, der nie stattgefunden hat.


Bin wirklich gespannt, ob HVfanatic bei der Tobifix-Variante zu einem anderen Hörergebnis kommt.

[deleted]

Dummerweise hat dann meine Katzenhaarallergie dazu geführt, dass ich Katharina nicht mehr scharf sehen konnte. Ich glaube aber nicht, dass damit eine Sinneseintrübung einherging. Wie auch immer: Der Blindtest war einfach spitze!

Sehen wird eh überbewertet. Solange du noch was gespürt hast war sie sicherlich da die Katharina...

Im Prinzip denke ich das man keine bis wenig Unterschiede hören dürfte. Irgendwie habe ich trotzdem das Gefühl das der etwas leistungstärkere AR A-07 meine Celestion 300 anders und besser im Griff hat als der MF Caruso. Getreu der hier verkündeten Message wäre ja dann egal was du zusammen stellst. Es klingt immer gleich. Das wäre zwar möglich aber doch irgendwie unwahrscheinlich. Zumindest würde es im Grunde jeglicher Lebenserfahrung widersprechen wonach etwas Ungleiches normalerweise nicht gleich ist. Da ich das aber nicht technisch erklären oder gar beweisen könnte bin ich ja mal gespannt was raus kommt.

VG  Martin

[scope]

Bin wirklich gespannt, ob HVfanatic bei der Tobifix-Variante zu einem anderen Hörergebnis kommt.

Wenn die bisherigen Schilderungen zutreffen, sind ausschliesslich Verschlechterungen für den Hörer zu erwarten.
Die Bedingungen und die Vorgehensweise wurden bisher auch nur sehr oberflächlich beschrieben.

Man verliert anscheinend die Möglichkeit, während der Vergleiche die Lautstärke zu verändern. Die muss also vorher festgelegt werden, da man sicherstellen muss, dass sie vor dem Umsteckvorgang exakt so verbleibt, wie nach dem Wechsel auf das zweite Gerät.
Es bleiben auch einige ganz banale Fragen, wie z.B. die Pegelanpassung, wenn z.B. Endverstärker verwendet werden.

Vielleicht lässt sich HVF noch etwas detaillierter aus.  Vorteile erkenne ich bisher keine. Nur Nachteile und viele Einschränkungen.

[HVfanatic]

Ich vermute, scope wird mit seiner Einschätzung richtig liegen... Schauen wir mal. Es wird ein Blindtest unter schlechteren Bedingungen werden.

[scope]

Getreu der hier verkündeten Message wäre ja dann egal was du zusammen stellst. Es klingt immer gleich.

Das Thema wurde in der Vergangenheit gefühlt 100 mal durchdiskutiert, aber so wie es auschaut kann man es auch noch weitere 100 mal durchkauen. Es wird immer Leute geben, die eben nicht aufmerksam gelesen haben, und daher eine fiktive "message" nachplappern, die so -zumindest von mir- nie ausgesprochen wurde.

Die verkündete "message" lautete stets , dass die Hörer die Geräte nicht sicher unterscheiden können, WENN die für den Testbetrieb relevanten, klassischen Meßwerte im Vorfeld keinen deutlichen Hinweis darauf liefern.
So wurde es stets formuliert.

Zumindest würde es im Grunde jeglicher Lebenserfahrung widersprechen wonach etwas Ungleiches normalerweise nicht gleich ist

Da stellt sich die Frage, was da ungleich ist, und wie diese angebliche Differenz festgestellt wurde?

[Pio wer?]

Und wenn man vorher Variablen zu Konstanten macht...!

[scope]

Ich vermute, scope wird mit seiner Einschätzung richtig liegen... Schauen wir mal. Es wird ein Blindtest unter schlechteren Bedingungen werden.

Dirk...Du hälst dich mit Informationen auffällig zurück.....Weisst du zurzeit überhaupt, was ihr da genau vorhabt, und wie das alles ablaufen soll?  Mir kommen erste Zweifel