Blindtest und Vorgehensweisen...

[deleted]

Danke ich bin ganz zufrieden...

Es ist keine Gotteslästerung anzumerken ob das Equipment vielleicht einmal zu gewerblichen Zwecken angeschafft wurde. Wäre jedenfalls normaler als deine Begründung. Ich kauf dir deine Entrüstung darüber jedenfalls nicht ab....

[Dan_Seweri]

Wenn Du einen Blindtest ohne Berücksichtigung der Laplace-Bedingung (und ohne ausreichende Versuche / Stichproben) machst, hat er letztlich nicht mehr Aussagekraft als ein beliebiger Produkttest aus der Hifi-Presse mit geschwurbelten Klangbeschreibungen.h

Kurz und schmerzlos : Das ist absoluter Unsinn.

Du kannst das Wort "Unsinn" so oft schreiben, wie Du willst. Du ignorierst hartnäckig die Grundlagen der Stochastik. Aus Sicht der Stochastik besitzt ein AB-Test mit 10 Durchgängen keine statistische Signifikanz. Damit liegt er bezüglich Wahrheitsgehalt auf dem Niveau von Produkttests aus der Hifi-Schwurbelpresse: Das Testergebnis kann stimmen, muss es aber nicht.

Du würdest jeden auslachen, der behauptet, dass er Hifi-Geräte entwickeln könne, ohne ein geeignetes Messinstrumentarium zu verwenden. Du selbst behauptest nun aber, dass das mathematisch-statistische Messinstrumentarium bei Deinen AB-Test im Koffer bleiben könne und dass es auf anderem Weg auch prima zum Ziel ginge.

[Jottka]

Aus Sicht der Stochastik besitzt ein AB-Test mit 10 Durchgängen keine statistische Signifikanz. Damit liegt er bezüglich Wahrheitsgehalt auf dem Niveau von Produkttests aus der Hifi-Schwurbelpresse: Das Testergebnis kann stimmen, muss es aber nicht.

Ich bin zwar weder scope noch Stochastiker, gehe aber dennoch davon aus, dass auch ein Ergebnis 10 von 10 Richtigen durch bloßes Raten eher unwahrscheinlich ist...

[Dan_Seweri]

Ich bin zwar weder scope noch Stochastiker, gehe aber dennoch davon aus, dass auch ein Ergebnis 10 von 10 Richtigen durch bloßes Raten eher unwahrscheinlich ist...

Es wäre eher unwahrscheinlich, aber nicht unmöglich. Aus Sicht der Stochastik wäre mit einem Ergebnis von "10 aus 10" die Nullhypothese "Der Proband rät" nicht signifikant widerlegt. Dazu bräuchte es eben eine größere Stichprobe, nämlich mindestens 24 Treffer bei höchstens 36 Versuchen, wenn man ein Ergebnis mit 95% Sicherheit erhalten will. Und bevor man mich wegen dieser Aussage für verrückt erklärt: Leute, ich habe die ganzen stochastischen Geschichten nicht erfunden. Ich habe nur beigebracht bekommen, sie anzuwenden.

[Pufftrompeter]

Von der Mathematik auch nicht. Es wurde bereits alles gesagt.

Noe ... Du hast nur die Bedeutung des Signifikanzniveaus und der Laplace-Bedingung nicht ueberrissen.

Eine geringere Anzahl Messwerte und damit eine Laplace-Bedingung von sigma<3 macht die Signifikanzabschaetzung ungenauer - also es ist nicht gesichert, dass die Statistik auch streng normalverteilt ist und ob wegen einer kleineren Anzahl Messwerten das Signifikanzniveau wirklich exakt 95/5 ist.

Aber 80/20 faende ich z.B. auch hinreichend ueberzeugend ...

Aus Sicht der Stochastik besitzt ein AB-Test mit 10 Durchgängen keine statistische Signifikanz.

Stimmt so nicht - man kann nur nicht davon ausgehen, dass man auch eine hinreiched exakte Normalverteilung vorliegen hat. "KEINE Signifikanz" waere verkehrt, aber "keine exakt vorhersehbare" schon. 

Wie das so ist mit Statistik ... die Mathematik ignoriert die Randbedingungen - die Realitaet nicht. Wenn HVf mit der Erwartungshaltung in den Test geht, dass er Unterschiede wahrnimmt und oft gehoert hat und dann trotzdem nix hoert, obwohl er will und andere das ergebnis bestaetigen, dann ist das ein hinreiched deutlicher Hinweis.

Kleiner Tipp: Die WIRKLICHEN Perlen in Konsumententests findet man in den raren "verbatims", in denen sich viel mehr versteckt als in den Kreuzchen und der Statistik. Die Reduzierung des Tests auf seine zugegeben unvollkommene Statistik ist wirklich Schwachfug und geht an der realen Signifikanz meilenweit vorbei. Ganz ehrlich.

[scope]

Das Testergebnis kann stimmen, muss es aber nicht.

Mit anderen Worten: Werden von 10 Proben nur 5 korrekt zugeordnet, liegt die Wahrscheinlichkeit hoch, dass der Proband die Geräte voneinander unterscheiden konnte ?
Ist das so?
Du kannst deinen solidarischen Textblock ebenfalls wiederholen, so oft du willst.  Ich halte mich an praxisgerechte Quellen.

https://wiki.hydrogenaud.io/index.php?title=ABX

Du würdest jeden auslachen, der behauptet, dass er Hifi-Geräte entwickeln könne, ohne ein geeignetes Messinstrumentarium zu verwenden.

Nein, wenn er am Ende ein Gerät entwickelt hat, dann ist das erst mal so. Was gäbe es denn da zu lachen?  

Du selbst behauptest nun aber, dass das mathematisch-statistische Messinstrumentarium bei Deinen AB-Test im Koffer bleiben könne und dass es auf anderem Weg auch prima zum Ziel ginge.

Nein, das ist ein ganz schlechter Vergleich.  Es gibt bei der Entwicklung von  Hifi-Geräten unterm Strich deutliche Spielräume und eben auch Kompromisse , die man am Ende mit Meßgeräten darstellen und bewerten kann.

Achso....noch was: 
Wenn die Probanden bei 2 Durchgängen mit je 10 Proben zwei mal 9 richtig erraten, ohne irgend etwas gehört zu haben, DANN ist das für mich als Zweifler "absolut in Ordnung" Glückwunsch! 

Ich wiederhole:  Das eigentlich interessante an der Sache ist nicht die Statistik (die ist hier eher uninteressant), sondern die  Reaktionen der Probanden, die einen direkten Vergleich zum ersten mal erleben können.  Nach 2 Stunden Hörzeit -ohne Test- räumen 9 von 10 Leuten ein, keine Unterschiede zu hören.

Interessant...nicht wahr?

[Dan_Seweri]

Mit anderen Worten: Werden von 10 Proben nur 5 korrekt zugeordnet, liegt die Wahrscheinlichkeit hoch, dass der Proband die Geräte voneinander unterscheiden konnte ?
Ist das so?

Das ist nicht so. 5 Proben von 10 korrekt zuzuordnen, bedeutet gar nichts. Das kann man durch Raten schaffen, da die Wahrscheinlichkeit bei 50% liegt, bei den zwei Auswahlmöglichkeiten "A" und "B" den richtigen Buchstaben zu treffen. 5 Treffer bei 10 Versuchen sind exakt der Erwartungswert beim Raten.

5 Proben bei 10 Versuchen korrekt "zuzuordnen", schafft also im Durchschnitt ein Schimpanse, den man mit Pfeilen auf eine Dartscheibe werfen lässt, bei der die Felder abwechselnd mit "A" und "B" beschriftet sind. Der muss gar nichts hören. So gesehen würde sogar ein Tauber im Schnitt auf 5 Treffer bei 10 Versuchen kommen.

[Pio wer?]

scope

Was dann ja auch wieder am geschummelten Versuchsaufbau liegen KANN.

[scope]

Es wäre eher unwahrscheinlich, aber nicht unmöglich

Das wären 24 aus 36 ebenfalls nicht.

5 Proben bei 10 Versuchen korrekt "zuzuordnen", schafft also im Durchschnitt ein Schimpanse, den man mit Pfeilen auf eine Dartscheibe werfen lässt, bei der die Felder abwechselnd mit "A" und "B" beschriftet sind. Der muss gar nichts hören. So gesehen würde sogar ein Tauber im Schnitt auf 5 Treffer bei 10 Versuchen kommen.

Na prima...wieder was gelernt

---

Piower

Was dann ja auch wieder am geschummelten Versuchsaufbau liegen KANN.

Sorry, das macht so keinen Sinn....Dein Bezug fehlt (wiederholt) komplett und wird auch aus dem Verlauf nicht erkennbar. Würde gerne antworten, muss dich aber ignorieren, wenn du nicht nachbesserst

[Dan_Seweri]

Es wäre eher unwahrscheinlich, aber nicht unmöglich

Das wären 24 aus 36 ebenfalls nicht.

Richtig. Aber zumindest hättest Du bei einer so großen Stichprobe eine 95%ige Sicherheit, dass der Proband nicht geraten hat. Oder umgekehrt formuliert: Von 20 Probanden, die 24 oder mehr Treffer schaffen, hat höchstens einer geraten und mindestens 19 haben tatsächlich etwas gehört.

Diese 95% sind eben das Signifikanz-Niveau. Selbiges läge eben bei einer kleinen 10er-Stichprobe deutlich niedriger, so dass man aus einem Testergebnis von z.B. "7 aus 10" oder "8 aus 10" nicht wirklich etwas ableiten könnte. Solche Resultate sind eben noch viel zu wahrscheinlich / zu einfach mit Raten zu erreichen. Auch der Schimpanse mit den Dartpfeilen kommt bei 10 Versuchen öfter mit Glück auf 8 Treffer, wenn man den Versuch etliche Male wiederholt.

[Pio wer?]

Du hast es doch die Tage bereits selbst genannt. 
Wobei es vor allem um die Art und Weise der Lautstärkeanpassung geht, als um die Sache selbst (wobei die grundsätzlich auch diskutiert werden KANN).

[Rheydter]

Statistisch ist das sicher nicht ganz sauber, aber das ist doch nicht das Kernproblem.

Für die Blindtestgegner darf nicht sein, was bei der Geschichte oftmals rauskommt. Da wird es sowieso bei endlosen Debatten bleiben.
Statistische Sauberkeit wird es nicht richten, daher vermutlich Scopes Abwehrhaltung.
Der interessierte Hörer wird nicht raten oder schummeln, denn er gibt in der Einhörphase schon fasziniert auf.

Das spannende ist doch hier, dass Tobifix eine Blindtestvariante ausrichtet. Wenn einer, aus der Erinnerung heraus, kein Befürworter dieser Aktionen war, dann doch er, oder?

Bin gespannt was da wohl rauskommt.

HVfanatic ist da Realist, und wird offen berichten.
Aber wer werden die anderen Probanden sein? Der Jazzbecksche und Kollege Crossover? 

[Pufftrompeter]

Scope - IM PRINZIP ist der Einwand mit der Statistik nicht verkehrt.

Man braucht eine hinreichende Anzahl Messwerte, um die Binomialverteilung durch die Gauss-Verteilung anzunaehern und dann die Signifikanzniveaus entsprechend vereinfacht berechnen zu koennen. 

Mit N=36 liegst Du mit 24-zu-36 zu 95% auf der sicheren Seite, dass das kein Rateergebnis ist. Mit n=10 kannst Du die 95%-Sicherheit nicht behaupten, weil Du durch die geringe Anzahl der Werte nicht annehmen darfst, dass die Verteilungskurve normalverteilt ist. Soweit die Mathematik.

Bloedsinn ist allerdings die Interpretation, dass das daher alles geraten sein koennte ... denn es handelt sich ja bei dem Test um mehr als nur 10 Hoerdurchgaenge und es wird auch kein simples, mechanisches, unbestechliches und klares statistisches Ereignis gemessen und verglichen wie der Fall einer Muenze (Kopf/Zahl).  

Letztendlich formt sich aus den Vergleichstests am Anfang, den Messungen im Labor, der Blindverkostung, der Einstimmigkeit der wechselnden Teilnehmer und aus den immer gleichen Ergebnissen (Messung unauffallig - Klang ununterscheidbar) ein klares Bild, das nur SEHR wenig Spielraum zur Interpretation laesst. 

Ob die Statistik auf dem Signifikanzniveau 95/5 berechenbar ist oder nicht, ist da nur eine Facette. Nicht-Signifikant ist das Ergebnis nicht mal aus stochastischer Sicht. Nur eben nicht SICHER und EXAKT einer bestimmten, hohen Signifikanz zuzuordnen. Und mit all den anderen Kommentaren zusammengenommen kann sich niemand hinstellen und das alles als nicht-signifikant bezeichnen.

[deleted]

Die ABX Blindtestmethode beschäftigt sich vornehmlich mit dem Ausschlus der Placeboeffektes beim Vergleich von Audio- Soundfiles.

https://www.audiohq.de/viewtopic.php?id=18

Niemand spricht dort von Wahrheit, Signifikanz oder gar Kausalität.

Der Test wurde entwickelt um uninformierte Verbraucher vor sinnlosen Produkten zu schützen. Niemand vertritt hier jedoch die These das sündhaft teure grüne CD Marker den Klang verbessern. Es macht aber m. E. keinen Sinn auf völlig normale Überlegungen zur Verstärker und Lautsprecherwahl mit sowas daher zu kommen. Keiner darf in einem HiFi Forum mehr was über Klang schreiben ohne von virtuellen Jedi-Rittern eines besseren belehrt zu werden.

Der Test wird hier missbraucht weil einzelne hier Ihre persönlichen Wahrheiten damit untermauern wollen. Wer jedoch Wahrheit, Signifikanz oder gar Kausalität verkünden möchte darf sich nicht auf ABX stützen sondern auschließlich auf die Mathematik. Der Einwand von Dan_Seweri ist deshalb m. E. völlig berechtigt.

Wer das weg diskutieren will ist für mich auch nichts weiter als ein Neper, Schlepper, Bauernfänger...

[scope]

Solche Resultate sind eben noch viel zu wahrscheinlich / zu einfach mit Raten zu erreichen.

Du scheinst die Hintergründe nicht zu verstehen, oder du blendest sie aus. Es ist in diesem Fall vollkommen in Ordnung , wenn die Resultate durch Raten zustande kommen. Verstehst du was ich meine?
Sie dürfen einen Erfolg in diesem Fall AUCH durch Raten erreichen. Das räume ich ein.

[Dan_Seweri]

Anscheinend verstehst du nicht zu 100%, was ich mit Raten meine. Raten steht für eine Zufallsauswahl. Ersetze einfach das Wort "Raten" durch "Münzwurf".

[scope]

HVfanatic ist da Realist, und wird offen berichten.

Nein, nicht unbedingt Er geht solche Sachen ausgesprochen emotional an.

Leider gibt es keinerlei Informationen zu dem Vorhaben. Welche Gerätegattung verglichen wird ist ebenfalls unbekannt. Es sollte aber jedem klar sein, dass die korrekte Zuordnung
beispielsweise zweier Verstärker unter diesen Bedingungen erheblich (!) schwieriger wird, wenn die beiden Geräte technisch hinreichend "sauber" sind. 
Ich habe Bedenken, ob das Verhalten der Geräte überhaupt -davor oder eben danach- untersucht wird, denn das ist in Verb. mit dem Ergebnis (egal wie es ausfällt) sehr wichtig.

Mehr kann man dazu im Moment eigentlich nicht schreiben....Alles Spekulation.

[Dan_Seweri]

Anscheinend verstehst du nicht zu 100%, was ich mit Raten meine. Raten steht für eine Zufallsauswahl. Ersetze einfach das Wort "Raten" durch "Münzwurf".

[scope]

Anscheinend verstehst du nicht zu 100%, was ich mit Raten meine

Doch...Raten ist in diesem Fall ausdrücklich erlaubt. Nicht unbedingt erwünscht, aber erlaubt. Das schrieb ich doch bereits. Unklar bleibt lediglich, wie du darauf kommst, dass die gewählte Vorgehensweise nicht mehr als "erfundene Geschichten in einer Illustirierten" hergeben soll.

Ich kann mit  2x 9 richtig erratenen Zuordnungen keinen Zusammenhang mit deinem Illustriertenvergleich erkennen. Anscheinend konnten  die Probanden über die Jahre  WEDER Unterschiede wahrnehmen, noch ordentlich raten.

[Goldmakrele]

Danke ich bin ganz zufrieden...

Es ist keine Gotteslästerung anzumerken ob das Equipment vielleicht einmal zu gewerblichen Zwecken angeschafft wurde. Wäre jedenfalls normaler als deine Begründung. Ich kauf dir deine Entrüstung darüber jedenfalls nicht ab....

Ich habe mal ein paar überflüssige Geräte verkloppt, die ich wegen meines Hobbys angeschafft hatte. Vom Erlös war ein Mittelklassewagen drin.

[Pufftrompeter]

Schimi - Du kannst nicht mal ansatzweise beurteilen, ob irgendwelche mathematischen Einwaende von irgendwem Hand und Fuss haben - sonst wuerdest Du das an Hand der Mathematik auch begruenden koennen ... aber da wird der Anzug an den Ellenbogen doch schon wieder ganz schoen duenn.

Statistik hin oder her ... wenn Scopes Test-Teilnehmer seine Umschaltbox hin- und herschalten, hoeren sie im DIREKTEN VERGLEICH exakt nix. Und DAFUER braucht man keine Statistik, keinen Chi-Quadrat-Test, keine Laplace-Bedingung. Nix davon. Die hoeren einfach nix. 

Die Wiener Blindtester, mit denen das mal angefangen hat, haben nix gehoert. Scope hat den Test schon 20x gemacht - jedesmal wieder nix. CD-Spieler, 19Euro-Billig-AD-Wandler, was-auch-immer. Immer wieder Pustekuchen im Direktvergleich, waehrend irgendwelche Stoepselorgien immer riesige Unterschiede offenbaren. Schwarze Baesse, schrille Hoehen, Kontrolle, Unruhe, Buehne, Vorhaenge ... davon bleibt nie IRGENDETWAS uebrig.

Neben all den Erklaerungen, die da aufgeworfen werden (Stress, unbekannte Kette, Schummelei, Einfluesse der Umschaltbox, schlechte Lautsprecher, mangelhafte Statistik, falsche Musik, zu laut, zu leise) ... waere nicht die allernaheliegenste Erklaerung fuer den immer gleichen Ausgang, dass die Tests schlicht und ergreifend die SIMPLE WAHRHEIT zeigen? Und dass all die Stoepselorgien ueber die allersimpelste und ebenso wahrscheinliche Tatsache stolpern - naemlich unterschiedliche Lautstaerke und Autosuggestion durch Erwartungshaltung?

Ich fuer meinen Teil hoere GAR KEINE Unterschiede, ganz egal, was ich wie wild und provisorisch zusammenstoepsele. 2x40W reichen nicht fuer die 901. DAS hoer sogar ich, wenn dem Verstaerker hoerbar der Saft ausgeht und das Clippen beginnt. Stroemungsgeraeusche im BR-Rohr hoere ich auch. Schrille Hoehen, wenn die Hochtonregler an der Box zu hoch stehen? Klar ... 

Aber Unterschiede bei Verstaerkern? Phonopre-Klang? Autoendstufen, die gut oder schlecht klangen? Klangunterschiede zwischen Discman und Vollmetall-Player an der Anlage? Alles Geschwurbel, das ich nie nachvollziehen konnte ...  sorry. Nie gehoert, nie bemerkt. 

Und ich war HEILFROH, als ich von den ersten Blindtests gelesen hab. Ploetzlich machte das alles Sinn - vielleicht sitze ich ja gar nicht auf meinen Ohren - vielleicht IST DA WIRKLICH NIX ... denn was die Blindtester da testen, uebersteigt MEINE Moeglichkeiten schon lange. Da glaube ich sogar das Ergenis von Scopes Tests, ohne dass die Laplace-Bedingung erfuellt ist ...

[scope]

Ich habe mal ein paar überflüssige Geräte verkloppt, die ich wegen meines Hobbys angeschafft hatte. Vom Erlös war ein Mittelklassewagen drin.

Und wenn du jetzt noch deine letzten 20 Cassetten verkaufst, könntest du vom Erlös vermutlich Schimis Wagen kaufen.

---

piower

Wobei es vor allem um die Art und Weise der Lautstärkeanpassung geht, als um die Sache selbst

Könntest du das etwas detaillierter erklären?

[Pio wer?]

Wie erfolgt denn, bei einem DEINER Blindtests, die Anpassung auf 0,1 dB Unterschied?

[deleted]

Ich habe mal ein paar überflüssige Geräte verkloppt, die ich wegen meines Hobbys angeschafft hatte. Vom Erlös war ein Mittelklassewagen drin. 

 Och wem sagst du das. Kenn ich. Wohlstandsballast halt. Mein 964 steht auch nur noch so rum.

[Rheydter]

Och wem sagst du das. Kenn ich. Wohlstandsballast halt. Mein 964 steht auch nur noch so rum.

964 aus deutscher oder schwedischer Produktion?   

Die könnte ich auch blind an der Form unterscheiden.